Według tradycyjnych przekazów kamienną twierdzę w Zagórzu zbudował w 1189 roku syn Władysława Wygnańca, książę Bolesław I Wysoki. Bardziej prawdopodobne wydaje się, że budowę warowni w ramach tworzenia strategicznego pasa obronnego przeciwko Czechom rozpoczął na przełomie XIII i XIV stulecia książę świdnicko-jaworski Bolko I.
Obwodowe mury zamku założone były na planie wieloboku, ze skarpami w narożnikach oraz niewielką wieżą, wysuniętą przed lico południowej kurtyny.. W narożniku południowo-wschodnim umieszczono basztę bramną z żelazną broną, ubezpieczaną przez przerzucony nad suchą fosą zwodzony most. Zabudowa wewnętrzna ograniczała się w pierwszym etapie do dwóch murowanych domów dostawionych do południowego odcinka muru obwodowego, obok których na utworzonym w ten sposób dziedzińcu wykuto cysternę na wodę. Średniowieczny zamek zajmował obszar około 950 metrów kwadratowych.
Podczas XVI-wiecznej przebudowy powstała długa szyja bramna z zewnętrzną bramą i mieszkalnym piętrem. Dostawiono wtedy ośmiościenną część wieży głównej, wymurowano także attyki nad zewnętrznymi elewacjami skrzydeł mieszkalnych, a zamek wysoki otrzymał nowe przedbramie i dodatkowy pierścień murów zewnętrznych z bastejami i strzelnicami. Równocześnie rozbudowano przedzamcze zachodnie. Składało się ono z wydłużonego dziedzińca oraz dwukondygnacyjnego budynku bramnego w ścianie północno-zachodniej, ozdobionego w 1570 roku ornamentyką roślinną i bogatą dekoracją sgraffitową. W wyniku przebudowy obiekt przekształcił się w potężną, doskonale przygotowaną do obrony artyleryjskiej rezydencją, której długość dochodziła do 170, zaś obwód murów przekraczał 400 metrów.
W roku 1823 wykupił Grodno i z jego inicjatywy oraz pod nadzorem mistrza Schlossena z Walimia już w roku następnym rozpoczęto prace remontowe Przez cały XIX wiek kontynuowano działania konserwacyjne, w wyniku których częściowo regotyzowano i wzmocniono zamkowe mury, odnowiono sgraffita oraz zrekonstruowano część umocnień.
W roku 1904 otwarto tutaj schronisko z gospodą, letnim teatrem oraz muzeum, w którego zbiorach znalazły się meble, malarstwo, stara broń, zbroje rycerskie, naczynia i gobeliny. W latach 50-ych XX wieku prace remontowe wznowiono, a w roku 1965 na terenie warowni otwarto Muzeum Regionalne PTTK. Zamek otrzymał wówczas popularną dziś nazwę Grodno.
