Janovicové spravují panství nejpozději do roku 1370, kdy z neznámých důvodů propadá jejich majetek královské koruně. Po několika letech se pak hrad na delší dobu ocitá v rukou Kaplířů ze Sulevic. Kaplíři ze Sulevic reagují na rozvoj dělostřelby opevňovacími pracemi – vzniká předsunuté opevnění Haselburg a hrad je spojen s nově opevněným městem v jeden „pevný“ celek.
Počátkem 17. století kupují panství Novohradští z Kolovrat a proměňují zámek ve své rodové sídlo. Volf Novohradský z Kolovrat s manželkou Juditou a synem Jáchymem stojí za rozsáhlými renesančními úpravami Horního zámku a rovněž i za vybudováním renesančního Dolního zámku. Rozsáhlá stavební činnost Novohradských z Kolovrat však vede k zadlužení a nakonec i ke ztrátě majetku.
Přes rod Eggenbergů se od roku 1719 zámek ocitá mezi majetky Schwarzenbergů. Ti během 18. století přestavují nejednu zámeckou budovu do barokní podoby. Poslední rozsáhlá rekonstrukce je vynucena požárem způsobeným úderem blesku v létě roku 1857, kdy vyhoří drtivá většina Horního zámku. V té době je však již zámek využíván zejména jako centrum správy rozsáhlého panství a schwarzenberského hospodaření v šumavských lesích.
Během období první republiky zámek šlechtický rod Schwarzenbergů pronajímá Československé armádě a po válce rodina o zámek přichází. Kanceláře správy velkostatku se stávají kancelářemi Jihočeských státních lesů a od roku 1961 část zámku využívá ještě i městské muzeum.
V roce 2010 je zámek prohlášen národní kulturní památkou a na pokraji havarijního stavu jej v roce 2015 přebírá Národní památkový ústav. Ten rozšiřuje zpřístupnění zámku, navazuje na tradici muzea, nyní pod názvem Muzeum Vimperska, a započíná s postupnou památkovou obnovou areálu.
Se zahájením letošní turistické sezony se návštěvníkům poprvé v historii zámku otevřely dva velmi zajímavé turistické okruhy.První okruh se nachází na Horním zámku a návštěvník se dozví zajímavé informace o životě na zámku v období renesance a o rodu Novohradských z Kolovrat. Okruh Dolního zámku pak nabízí jedinečnou příležitost navštívit prostory před začátkem jejich rekonstrukce. Zámecké prostory jsou zde prezentovány zatím stále ještě v původním stavu, zdevastované nedostatkem údržby a nevhodnými zásahy v průběhu minulého století. Na základě výsledků archeologických, restaurátorských a archivních průzkumů se zde však návštěvníci například dozví, co vše je možné vyčíst z výmaleb na stěnách.
Zdroj: zámek Vimperk