Po vymření krumlovské větve Vítkovců přešel hrad v roce 1302 do vlastnictví rodu Rožmberků. V roce 1394 v době povstání panstva zde byl krátkou dobu vězněn Václav IV.
V 16. století byl pak rozšířen obranný systém hradu o nový pás hradeb, které byly zesíleny pěti nárožními dělovými baštami. Zásobování posádky vodou bylo řešeno zazděnými rourami, které sváděly dešťovou vodu do přízemní nádrže.
V roce 1602 byl poslední rožmberský pán Petr Vok donucen hrad prodat, a to včetně krumlovského panství, císaři Rudolfu II.
Hrad postupně vystřídal další majitele jako Ferdinanda II., rod Eggenberků, kteří zde během třicetileté války drželi až do roku 1648 ozbrojenou posádku, a knížata ze Schwarzenbergu.
Po roce 1725 hrad ztratil svoji původní roli a stal se romantickým zdrojem umělců. Za všechny jmenujme alespoň básníka Adolfa Hejduka, který tomuto místu věnoval dvě poémy – Pod Vítkovým Kamenem a Dřevorubec.
V červenci roku 1861 navštívil hrádek i korunní princ Rudolf. Vybudováním hraničního pásma a vojenské pozorovatelny byla pak po 2. světové válce návštěva tohoto místa nemožná. Ke změně došlo až v roce 1990. Dnes se o hrádek vzorně stará Sdružení Vítkův Hrádek. Z věže je nádherný rozhled do okolí a při dobré viditelnosti i do rakouských Alp s panoramaty Dachsteinu a Watzmanu.
Za vidění stojí i schwarzenberská lesovna z roku 1872, dnes krásně zrekonstruovaná, ve které se nachází hotel. Nenechte si ujít ani kostel sv. Tomáše, který najdete po pravé straně za hotelem. Gotický, dříve farní a poutní kostel, je zasvěcený Kristovu utrpení. Kostel je cennou stavební památkou. Byl postaven kolem roku 1348 z příkazu Petra I. z Rožmberka. Sakristie na severní straně je však daleko starší. Pochází údajně již z románské doby, z kostela, který dal postavit v roce 1275 Vok z Rožmberka. Kostel byl přebudován v letech 1510 – 1517 ve slohu pozdní gotiky a v letech 1858 – 1874 v novogotickém stylu.
V okolí pak samozřejmě naleznete i mnoho turistických tras vedoucích na další zajímavá místa, takže díky široké škále možných výletů do okolí se zde určitě nikdo nudit nebude.
