Герцог Альба был потомком одного из знатнейших кастильских родов, традиционно несших воинскую службу — и дед, и отец герцога были военными.

В возрасте трех лет Альба лишился отца, погибшего на войне с маврами, и воспитывался в доме деда, герцога Фердинанда де Толедо, который дал ему превосходное образование и воспитание, а также начальные навыки в овладении воинским искусством. Сам Фердинанд де Толедо продолжал служить и прославился как завоеватель Наварры.

Первые военные походы Альба провел под командованием деда, когда в возрасте шестнадцати лет участвовал в военных действиях против французов. Уже тогда его отличали жестокость, железная воля и неограниченная привязанность к королю, что помогло ему быстро достигнуть высоких военных чинов.

В 25 лет Альба уже был генералом, в 30-летнем возрасте его назначили командующим армией. С его именем были связаны все войны, которые Испания вела при королях Карле V и Филиппе II.

Альба принимал участие в битве при Павии и осаде Туниса, в походе в Венгрию и экспедициях в Алжир и Фонтарабию. Во главе испанских войск он неоднократно наносил поражение протестантам в ходе Шмалькальденской войны 1546–1548 годов, а в истории Германии его имя тесно связано с битвой при Мюльберге в 1547 году. Решительная атака конницы под его командованием позволила испанцам не только одержать победу над саксонцами, но и захватить в плен саксонского курфюрста, которого Альба приговорил к смертной казни.

Военные успехи Альбы были прерваны неудачей под Мецом в 1552 году, и после двухмесячной осады он вынужден был отступить.

В 1556 году Альба командовал испанскими войсками в войне с Пьемонтом, но затем по приказу Филиппа II прервал кампанию и двинул свои войска в Италию против папы Павла IV. Разорив грабежами всю церковную область, Альба уже подошел к Риму, но не решился овладеть силой этим священным для каждого католика городом. Однако он опустошил и разорил всю Италию до Неаполя и таким образом добился у папы заключения выгодного для Испании мира.

В следующем году герцог был назначен наместником в Нидерланды. Два года спустя здесь началось восстание против испанского владычества, которое ему было поручено подавить.

Поход в Нидерланды был организован с целью укрепления в этой стране католической веры и подчинения ее Филиппу II. Для этого герцог должен был «обезглавить» восставших, захватив самых видных руководителей — принца Вильгельма Оранского, Эгмонта, Горна и других. Имущество их, а это были в основном богатые люди, должно было быть передано испанской короне. Эгмонт и Горн были арестованы в сентябре 1567 года. Поставив своей задачей подавить восстание и истребить всех еретиков в Нидерландах, Альба учредил особый инквизиционный трибунал — «Совет мятежей», где он сам руководил пытками. И хотя этот совет, получивший в народе название «Кровавого совета», состоял из лиц, назначаемых лично Альбой, право окончательного решения Альба оставил за собой. За три месяца он отправил на эшафот около двух тысяч человек, привлекая людей к следствию по малейшему подозрению.

Принцу Вильгельму Оранскому и его брату Людвигу удалось избежать ареста, а приглашение явиться в суд они проигнорировали. Вскоре они начали борьбу с испанскими войсками. Несмотря на то что Альба прибыл в Нидерланды с хорошо обученным, закаленным в минувших боях 20-тысячным войском, а противостояли ему плохо обученные и неопытные войска принца Вильгельма Оранского, он так и не смог сломить сопротивление повстанцев. Альбе удалось нанести им целый ряд поражений, и все же шестилетняя борьба завершилась тем, что две богатейшие провинции (Зееланд и Голландия) были потеряны, став независимыми республиками, а Фландрии была возвращена автономия.

В 1573 году Альба был отозван из Нидерландов и вскоре попал в опалу при дворе Филиппа II. В 1580 году он вновь был поставлен во главе армии и завоевал Португалию, захватив Лиссабон и изгнав оттуда короля Антониу I.

Это была последняя кампания герцога. Он прожил еще недолго, скончавшись 11 января 1582 года.

Альбе приписывается введение в армии усовершенствованного ручного огнестрельного оружия, которым он вооружил своих солдат вместо прежних аркебузов.

Однако он вошел в историю, прославившись не столько своими военными талантами, сколько своей жестокостью, которой сопровождались все его походы, и особенно усмирение Нидерландов. Наделенный от природы железной волей, непреклонным характером и огромной энергией, гордый и надменный даже с равными, Альба презирал всех, кто не разделял ею взглядов. Сам Альба был воспитан солдатом и с раннего возраста привык к суровой дисциплине. Никто другой лучше него не мог быть исполнителем воли короля Филиппа II, для которого «цель оправдывала средства». В течение его шестилетнего правления Нидерландами пытки и казни десятками совершались ежедневно.

Альба добился вынесения королевского повеления, согласно которому все жители Нидерландов, отпавшие от католической веры, подлежали смерти. Согласно этому указу, аресты и последующие за ними казни уже исчислялись десятками тысяч. Имущество арестованных конфисковывалось на содержание испанских солдат. Многочисленные казни и конфискации повлекли за собой массовую эмиграцию в Англию.

Альба был так уверен в своей правоте и в том, что он исполняет свой долг перед Богом и королем, что, когда Филипп II из-за массовых протестов в Европе против безумной жестокости Альбы послал ему приказ об отзыве, Альба не поверил этому, и приказ пришлось повторять снова.

Сам Альба был уверен, что не казнил ни одного невинного, и перед своим отъездом доносил Филиппу II, что в Нидерландах теперь все спокойно.