Hrad byl založen ve třetí čtvrtině 13. století bohatým východočeským šlechticem panem Tasem. O tom, že pan Tas byl významná osobnost své doby, svědčí skutečnost, že byl členem družiny krále Václava II. Před rokem 1295 dokonce zastával úřad zemského hejtmana v Krakově. V roce 1303 se stal královským podkomořím v Čechách. V roce 1304 byl však v Praze zavražděn svým sousedem Janem Vlkem, kterého Tas připravil o majetek a kvůli němuž se následně Vlk stal psancem.
Další zajímavou osobností v dějinách hradu je Jiřík z Dubé a Vízmburka, jenž byl původně na straně husitů a husitská posádka tak byla trnem v oku Slezanům. Jistě se jim ulevilo, když se Jiří nakonec přidal na stranu Zikmunda, a dokonce mu zapůjčil 15 000 kop grošů. Král mu odměnou za půjčku svěřil statky Drobovice, Vildštejn, Chotěboř a Žleby. Na Žleby se nakonec Jiří přestěhoval, aby byl blíže politickému životu. V roce 1440 se tak stal jedním z velitelů českého krále a jako stoupenec Poděbradské jednoty měl přední slovo na jejím kutnohorském sjezdu. Roku 1447 se stal členem poselstva k římskému králi Fridrichovi III. do Vídně. Jiří zemřel jako bezdětný na Žlebech v roce 1450.
V té době se pomalu naplňoval i osud Vízmburka, neboť na hradě pravděpodobně sídlil správce, který se svojí posádkou napadal slezská města. Slezská knížata a města ve Slezsku jako například Svídnice, Zhořelec, Žitava a další nakonec vytvořila vojenský spolek a později vykoupila hrad od Jiřího z Dubé. Hrad byl pobořen a spálen, což byl ve své době opravdu nezvyklý konec hradu, jenž – jak se nakonec ukázalo při archeologickém výzkumu – byl na tehdejší poměry velmi výstavný.
Až do archeologického výzkumu profesora Hejny v roce 1972 byla tato památka téměř zapomenuta a skryta pod hromadou suti. Když profesor Hejna s výzkumem začal, ani on nečekal více než základy hradu. Po zjištění, že nádvoří se nachází až sedm metrů hluboko – a po objevu velmi zajímavých architektonických prvků se rozhodl hrad vykopat celý. Toto rozhodnutí se mu nakonec stalo doživotní vášní.
V době výzkumu byl hrad dokonce nazván českými Pompejemi, a to kvůli neporušenosti jeho původního vzhledu z konce 13. století bez jakýchkoliv přestaveb. V roce 1985 výzkum skončil a o rok později profesor Hejna zemřel. Veškerý zájem o hrad pomalu ustal. Ve stavu zapomnění zůstával hrad až do roku 2002, kdy vzniklo Sdružení pro Vízmburk. V roce 2008 se ke spolku připojili i místní občané z Havlovic a společnými silami začali obnovovat již znovu chátrající hrad. Spolku se již povedlo zpřístupnit jádro středověkého objektu. Doufejme, že spolek dostane i tolik potřebné dotace na další nezbytnou obnovu. Každopádně díky těmto nadšencům dnes hrad opět pomalu vstává z popela.
V současné době se na hradě již konají i nejrůznější akce. K této zajímavé památce se pohodlně dostaneme po turistické značce od nádraží z Červeného Kostelce. Cesta vede i kolem pomníku Devět křížů, k němuž se váže zajímavá pověst o krvavém střetu mezi majiteli hradu a místními poddanými. Celá turistická trasa je doplněna informačními tabulemi.
