Титул барона Дадли был создан 15 февраля 1440 года для сэра Джона Саттона (1400—1487), который служил в качестве лорда-лейтенанта Ирландии в 1428—1430 годах. Сэр Джон Саттон был вызван 15 февраля 1440 года в парламент в качестве барона Дадли. Иногда баронский титул упоминается как барон Саттон из Дадли. Титул барона Дадли был создан с правом наследования мужскими и женскими потомками.
Возможно, что баронский титул появился ещё ранее, так как его предок Джон Саттон (умер 1359) получил приказ о вызове в Совет 25 февраля 1342 года, но ни он, ни его сын, Джон Саттон (ум. 1370), ни внук Джон Саттон (ум. 1396) или правнук Джон Саттон (1380—1406) не упоминаются в баронском звании, так что они не могут, вероятно, рассматриваться как пэры.
Правнук лорда Дадли, Джон Саттон, 3-й барон Дадли (1494—1553), попал в долги и вынужден был продать родовой замок Дадли своему кузену, Джону Дадли, 1-му герцогу Нортумберленду. Он стал известен как «Бывший лорд». Тем не менее, замок Дадли и другие семейные поместья были возвращены его сыну, Эдварду Саттону, 4-му барону Дадли (1525—1586). Его преемником стал его сын, Эдвард Саттон, 5-й барон Дадли (1567—1643), который, как и его дед, оказался в большим долгах. Для того, чтобы рассчитаться с долгами, он выдал замуж внучку и наследницу, Фрэнсис Саттон (1611—1697), за сэра Хамбла Уорда, сына богатого ювелира. Френсис Уорд стала его преемницей и 6-й баронессой Дадли. В 1644 году её муж Хамбл Уорд получил по жалованной грамоте титул барона Уорда из Бирмингема в графстве Уорикшир.
Им наследовал их сын, Эдвард Уорд, 7-й барон Дадли и 2-й барон Уорд (ум. 1701). После смерти в 1740 году внука последнего, Уильяма Уорда, 10-го барона Дадли и 5-го барона Уорда (ум. 1740), два титула были разделены. Баронство Уорд, который мог наследоваться только мужской линии, было передано родственнику покойного барона, Джону Уорду, 6-му барону Уорд (1700—1774), а баронский титул Дадли его унаследовал племянник Фердинандо Дадли Ли, 11-й барон Дадли (1710—1757). Он был сыном Фрэнсис Уорд, сестры 10-го барона Дадли, и Уильяма Ли. Тем не менее, после смерти Фердинандо в 1757 году титул барона Дадли оказался в бездействии, на него претендовали сестры покойного. Баронский титул оставался в бездействии в течение 159 лет, но в 1916 году титул был возрождён для Фердинандо Дадли Уильяма Ли Смита (1872—1936), который стал 12-м бароном Дадли. Он был праправнуком Энн Ли (1714—1762), сестры 11-го барона Дадли, и её мужа Уильяма Смита (ум. 1784).
По состоянию на 2010 год носителем титула являлся его внук, Джим Энтони Хилл Уоллес, 15-й барон Дадли (род. 1930), который сменил свою мать в 2002 году (которая, в свою очередь, наследовала своему младшему брату).