První opevnění nad pravým břehem Labe vzniklo již kolem roku 1100. Asi v roce 1218 převzal území od slovanského majitele Moyka ze Stolpen míšeňský biskup Bruno II. Ten začal na skále stavět hrad, jenž vybudoval na čedičové kupě na okraji stejnojmenného městečka. Roku 1241 připadl hrad po sporu s českým králem již definitivně biskupství a stal se střediskem biskupské správy. V roce 1429 jej neúspěšně obléhali husité. V letech 1451 – 1437 byl přestavěn do podoby novověké pevnosti. Roku 1632 hrad vypálili císařští Chorvati a od roku 1634 zde sídlila saská posádka.
Zajímavostí hradu je studna, kterou vyhloubili krušnohorští havíři v čedičové skále. Na studni pracovali čtyři horníci po celý svůj život v letech 1607 – 1632. Je hluboká 84 metrů.
Za pozoruhodnou postavu v dějinách hradu lze bezpochyby považovat hraběnku Annu Constantinu von Cosel. Narodila se v Holštýnsku v Depenau 17. října 1680. Pocházela ze starého šlechtického rodu pánů z Brockdorffu. Mládí strávila jako dvorní dáma na zámku Gottdorff. Osmiletý pobyt u dvora ukončilo její těhotenství. O osudu dítěte ani o jeho otci se nedochovaly žádné zprávy. Po ostudě s nemanželským dítětem se Anna později vdala za saského tajného radu Adolfa Magnuse von Hoyma a díky tomu se dostala do Drážďan. Manželství však nebylo šťastné a roku 1705 se Hoym rozvedl.
Na jednom z plesů pořádaných Hoymem si krásné hraběnky všiml August Silný. Hraběnka se odmítla stát jeho milenkou, ale přesto se přestěhovala do Paláce Taschenberg v blízkosti zámku. V prosinci roku 1705 obdržela tajnou smlouvu, která ji prohlašovala za manželku – a August jí přísahal věrnost. Rovněž ji povýšil na hraběnku von Cosel.
Žádný strom však neroste do nebe a hraběnčino vystupování a neustálé požadavky přesahovaly společenský rámec tehdejší doby. August si proto našel novou Metresu z Polska, vhodnou i pro jeho mocenské zájmy – a hraběnku von Cosel nechal zbavit moci. Nakonec se musela stáhnout do zámku Pillnitz. Neshody však pokračovaly, a tak byla na Štědrý večer roku 1716 zatčena a odvezena na hrad Stolpen. Bylo jí tehdy pouhých 36 let. Ve vězení zemřela ve věku 84 let jako ponížená a zapomenutá. Hrob můžeme najít ve zdejší hradní kapli. Její příběh vypráví expozice ve věži zvané Jánská nebo také Coselovská, kde hraběnka prožila zbytek svého nesvobodného života. O jejím pohnutém životním příběhu byl také natočen televizní seriál a sepsáno mnoho knih.
Za povšimnutí stojí rovněž skutečnost, že pod hradem Stolpen v roce 1756 padly první výstřely sedmileté války, která se v Evropě rozpoutala. 3. září 1756 dorazili ze Slezska husaři pruského pluku plukovníka von Warneryho a požadovali vydání hradu. Warnery se vydal vyjednávat v doprovodu bubeníka a jednoho z husarů. Při vyjednávání saský velitel von Libenau odmítl hrad vydat a Warnery ho ve vzteku postřelil do boku. Hrad vzápětí obsadilo třicet husarů. Zanedlouho, v září 1758, se Sasům za pomoci rakouské armády podařilo získat hrad zpět. Po smrti Augusta III. roku 1764 byla posádka hradu zrušena a již v roce 1773 musely být některé budovy zbourány.
Od roku 1877 mohou hrad navštěvovat turisté. Dobrá dostupnost hradu i z turisticky atraktivní lokality Hřensko láká nemálo českých návštěvníků. V okolí rovněž můžeme vidět nejrůznější zajímavé přírodní skalní útvary, a to jak na české, tak na německé straně. K návštěvě této oblasti zvou i početné další hrady a zámky. Za všechny připomenu alespoň nejznámější a nejrozlehlejší pevnost Königstein.
