Титул графа Альба был учреждён Хуаном II Кастильским в 1429 году. Его первым обладателем стал толедский архиепископ из рода Альварес де Толедо. По причине целибата после его смерти в 1438 г. графский титул унаследовал племянник, маркиз Кориа, от которого и происходят все последующие графы и герцоги Альба. В 1472 г. титул графа Альба был повышен до герцогского.
Женой второго герцога Альбы была графиня Севильская, родная сестра королевы Хуаны Энрикес. Благодаря этому его дети и внуки состояли в родстве с правящими в Испании монархами. Филипп II в начале правления покровительствовал своему кузену, 3-му герцогу Альба. Этот знаменитый в своё время полководец вошёл в историю жестоким подавлением Нидерландской революции (в 1567-73 гг. он управлял от имени короля Испанскими Нидерландами).
Дядя 3-го герцога, Педро Альварес де Толедо, в 1532 г. был назначен первым в истории испанским наместником Неаполитанского королевства. Подобно своему племяннику, он проводил на юге Италии жёсткую репрессивную политику, пытаясь насадить инквизицию. Его сын Гарсия Альварес де Толедо в качестве вице-короля Сицилии освободил Мальту от затяжной турецкой осады, за что был удостоен титула герцога Фернардино, а дочь, Элеонора Толедская, жена великого герцога Тосканского, считается прообразом «первой леди» в современном смысле этого слова. От 1-го герцога Фернардино по прямой мужской линии происходят современные герцоги Медина-Сидония.
Третьему герцогу Альба наследовал сын, 4-й герцог, который прибавил к своим владениям герцогство Уэскар. Титулы переходили от отца к сыну вплоть до Франсиско Альвареса де Толедо (1662—1739), 10-го герцога Альба. Сыновей у него не было, а в мужья своей дочери он выбрал графа Гальве из рода Сильва-Мендоса — младшего сына герцога Инфантада.
В этом браке родился 12-й герцог Альба (1714-1778), известный своими приятельскими отношениями с Руссо. Его сын герцог Уэскар умер раньше отца, но оставил дочь по имени Мария дель Пилар Тереса Кайетана де Сильва и Альварес де Толедо. Она известна своим покровительством художнику Гойе. У герцогини Альба не было детей в браке с 15-м герцогом Медина-Сидония (прямым потомком 1-го герцога Фернардино). После её внезапной смерти в 1802 году герцогский титул унаследовали потомки от брака сестры 12-го герцога Альба с герцогом Бервиком из рода Фитцджеймсов.
Род Фитцджеймсов происходит по мужской линии от внебрачного сына Якова II Стюарта и Арабеллы Черчилль (сестры герцога Мальборо). Старший сын 4-го герцога Бервика и Лириа от брака с принцессой Штольберг-Гедернской унаследовал титулы отца, а младший, Карлос Мигель (1794—1835), стал 14-м герцогом Альба. Следующий герцог, сын и наследник предыдущего, был женат на сестре французской императрицы Евгении, которая умерла в 1920 году в гостях у семейства Альба. 17-й герцог Альба в конце 1930-х представлял в Лондоне интересы Франсиско Франко.