Narodil se 19. března 1905 v Mannheimu rodině architektů a studia zakončil na Berlínském technickém institutu, kde se poté stal asistentem. Tam na návrh svých studentů v prosinci 1930 navštívil shromáždění nacistické strany. Byl uchvácen nejen tím, jak by Hitler řešil komunistickou hrozbu a že odmítal Versailleskou smlouvu, ale především jeho osobou jako takovou. A s nadšením a z přesvědčení vstoupil do nacionálně socialistické strany (NSDAP).
Jedna ze Speerových prvních prací byla rekonstrukce budovy ministerstva propagandy Josefa Göbbelse, který ho pak doporučil Hitlerovi. Tak Speer získal výjimečné postavení v nejužším kruhu kolem Hitlera, který mu byl zvláště nakloněn zejména proto, že se sám dříve chtěl stát alespoň architektem, když už se nestal malířem. A záhy, roku 1934, jmenoval Speera hlavním architektem Třetí říše.
Jedním z prvních úkolů ve Speerově nové funkci bylo v Norimberku, „nejříštějším ze všech měst“ navrhnout nové uspořádání tamního někdejšího vojenského cvičiště o rozloze asi 11 km2, kde se od roku 1933 konaly jednou ročně celoněmecké dny strany. Proto také toto místo dostalo nový název – Reichsparteitagsgelände. Jeho dominantou byla Zeppelintribune, odkud Hitler hovořil ke shromážděným souvěrcům. Pro stranické dny v roce 1934 nechal Speer kolem tohoto prostranství umístit 130 protiletadlových světlometů, čímž vytvořil dojem úchvatné a dechberoucí „světelné“ katedrály“.
I v Norimberku mělo vzniknout mnoho nových státních budov, ale postaveno jich bylo jen málo. Realizace se nedočkal ani Německý stadion o kapacitě 400 000 diváků, a to přesto, jaký důraz kladlo hitlerovské Německo na tělesnou zdatnost reprezentovanou i masovými vystoupeními cvičenců. Na něm se také měly konat Árijské hry, které by po konečném vítězství Německa nahradily Olympijské hry. V roce 1937 navrhl se Speer blýskl i mezinárodně, když pro Německo navrhl pavilon na mezinárodní výstavu v Paříži. Stál tam přímo naproti pavilonu Sovětského svazu, tehdejšímu hlavnímu německému spojenci.
V témže roce byl Speer jmenován generálním stavebním inspektorem pro budoucí říšské hlavní město – Germanii. Po nikdy nevysvětlené letecké havárii a úmrtí ministra zbrojního průmyslu Fritze Todta v roce 1942 Hitler na jeho místo jmenoval právě Speera, i když to byl „jen“ architekt. Speer si dal za cíl přizpůsobit německou ekonomiku válečným podmínkám a podařilo se mu to natolik úspěšně, že po jeho reorganizaci se válečná výroba zvýšila několikrát. I když Německo už bylo v té době bombardováno spojeneckým letectvem.
Jediné, co Speerovi ztěžovalo jeho práci, byla určitá nevstřícnost a nejspíš i závist nacistického vedení a strany. Vlivem pokračující války pracovních sil v průmyslu stále ubývalo a velkým problémem se proto stala nacistická směrnice zakazující ženám, pochopitelně jen těm německým, pracovat v továrnách. Speer to vyřešil tím, že začal ve velké míře využívat na práci v průmyslu jako novodobé otroky totálně nasazené zahraniční dělníky a vězně z koncentračních táborů. A stal se tak vlastně největším otrokářem.
Po II. světové válce se Speer dostal do zajetí k Američanům a v norimberském procesu byl odsouzen k dvaceti letům vězení v berlínské věznici Spandau, hlavně právě za využívání otrocké práce. Poté, co si odpykal celý trest, byl ve svých šedesáti letech propuštěn a napsal několik autobiografických knih. Zemřel po mozkové příhodě 1. září 1981 v Londýně.
Jeho syn Albert Speer ml. (1934 – 2017) mimo jiné projektoval roku 2000 světovou výstavu v Hannoveru a čínská vláda si ho vybrala jako generálního projektanta olympijských her, které se konaly v roce 2008 v Pekingu.
