Dnes již smutná ruina zámku zarostlého kopřivami má přitom velice zajímavou historii. Samotná ves Brnky se poprvé uvádí již v roce 1227 jako majetek svatojiřského kláštera. Za husitské revoluce se ves dostala pod správu Starého města a v jeho majetku byla až do roku 1547.
Po roce 1620 byly Brnky vypleněny a vypáleny a roku 1641 prodány. Po jedenácti letech koupil ves s tvrzí a vším příslušenstvím novoměstský měšťan a doktor medicíny Jan Křtitel Birka z Birknštejna a jeho manželka Apolena Víznerová z Nevítkova. Manželé začali s přestavbou nepohodlné tvrze na zámek. Roku 1661 postoupili zámek rektorovi novoměstské jezuitské koleje Janu z Vrbna a posléze i jeho nástupcům v rektorské hodnosti. Rok po převzetí zámku ho jezuité dostavěli do dnešní známé podoby.
V průběhu dalších let se majitelé velmi často střídali. V letech 1721 – 1723 byl zámek ještě barokně upravován a v těchto letech jej také získal zbrojmistr polní maršál Damián von Sickingem. Pak stavbu získal říšský hrabě Carreto Millesim a později ji od tohoto rodu koupil majitel blízkých Klecan hostinský František Vobořil. Od něj ho po dvaceti letech získal pražský měšťan Jan Gallus. V 1861 je pak jako majitel uveden Jan Brabec. Ještě v té době k zámku náležely pivovar, poplužní dvůr a vinopalna.
Během druhé světové války zámek užívala německá armáda. Na konci války zde došlo k násilnostem. Tehdy si neozbrojení zajatí Němci museli na zahradě zámku vykopat hrob a byli zde popraveni. Po znárodnění v roce 1948 připadl zámek Státnímu statku se sídlem v Ďáblicích. Ten ho převzal ještě v relativně dobrém stavu, ale v jeho péči začalo postupné chátrání. Po střídání majitelů, kteří do stavby investovali jen minimálně, získal v restituci zámek Jan Caha, syn původního vlastníka. Ten zámek obratem prodal. Z kupce se nakonec vyklubal podvodník a začaly vleklé soudní spory. Po roce 2008, kdy spadla střecha, byl zámek převeden na Občanské sdružení pro obnovu zámku Brnky, která nevyvíjela žádnou viditelnou činnost.
Zámek je nemovitou kulturní památkou a architektonicky cenný. Dnes je jen cílem vyznavačů urbexu a milovníků historie, kteří při pohledu na tento zámek musí propadnout smutku. V naší zemi je mnoho takových chátrajících a rozpadajících se staveb, které čekají na záchranu – a mnohé se jí asi už bohužel ani nedočkají…
