Kostel byl založen Karlem IV. v roce 1362. Byl průsečíkem „kříže pražských kostelů“, tedy pěti klášterních kostelů postavených v jižní části pražského Nového Města po jeho založení císařem; označení vychází z jejich vzájemného geografického uspořádání a souvisí s hypotézou, že tyto kostely s kláštery a jejich uspořádání měly v rámci založeného města svůj hlubší, křesťansko-mystický význam.
Jednolodní gotická stavba vznikla zhruba mezi lety 1360 až 1390. Je možné, že na vrchu zvaném Větrov v té době již stála kaple sv. Jiljí, ale bylo-li tomu tak, byla před postavením kostela sv. Apolináře bez jakýchkoliv pozůstatků odstraněna a nová stavba na ni nemá žádnou architektonickou vazbu.
Husitské bouře se kostela sv. Apolináře nedotkly, patrně proto, že jeden z jeho kanovníků, Petr z Kroměříže, se přidal k husitům. Zato koncem roku 1670 poškodila svatyni silná vichřice, když srazila sanktusní věžičku, čímž se poškodily i krovy. Kostel byl opraven hned následujícího roku, ovšem už v barokizovaném pojetí. Novou barokní sanktusní věžičku s cibulovou bání a nový barokizovaný interiér vytvořil zřejmě Daniel Rynda (1620 v Praze – ?).
V roce 1689 byl interiér kostela poškozen protestanty, v roce 1757 obsadilo kostel pruské vojsko a zřídilo si zde provizorní zbrojní dílnu. Při bojích o kostel byly značně poškozeny omítky a zdivo.
V 19. století se na kostele objevily statické trhliny, proto bylo rozhodnuto, že kostel bude opraven a regotizován. Přestavby se ujal architekt Josef Mocker (1835 v Cítolibech na Lounsku – 1899 v Praze) a vzal to vpravdě z gruntu.
V interiéru Mocker odhalil původní gotické nástěnné malby z období tzv. krásného stylu z konce 14. století. Na jižní stěně lodi znázorňují fresky výjev Krista, předávajícího klíče sv. Petru. Na protější stěně je zobrazena stojící Panna Marie, jež má na sobě ochranný plášť.
Velká část vybavení kostela sem byla po roce 1780 převezena z chrámu Panny Marie na Karlově, který byl v té době zrušen.
Celý závěr presbytáře je zabrán hlavním oltářem Nanebevzetí Panny Marie (z let 1740–44) právě z Karlova.
Další oltář v presbytáři, oltář Kalvárie, se nachází na jeho jižní straně. Je zdoben sochami nejspíš českého barokního sochaře Jana Antonína Quitainera (1709 v Praze – 1765) asi z roku 1730. V menze oltáře je truhlice s ostatky karlovských řeholníků, již byli pobiti v únoru 1611 ozbrojenou lůzou při vpádu Pasovských do Prahy.
V lodi kostela jsou další oltáře. Na jižní straně je oltář Panny Marie Karlovské s obrazem z roku 1679 od česko-německého barokního malíře Jana Jiřího Heinsche (1647 v polském Kladsku – 1712 v Praze). Obraz se proslavil jako zázračný. Těhotné ženy se k němu modlily a obětovaly mu spoustu zlatých a stříbrných předmětů.
Kostel sv. Apolináře, biskupa v Classe u Ravenny, žijícího zhruba před dvěma tisíci lety, si lze prohlédnout při exkurzi Pražské informační služby s průvodkyní Miladou Rackovou ve středu 20. března od tří hodin.