Zgodnie z legendą wartownia na górze zamkowej stała już w IX w. jednak nie ma na to żadnych dowodów. W 807 r. miał zostać wzniesiony przez pogańskiego księcia Bolecka. Prawdopodobnie pierwsza została wybudowana kamienna wieża usytuowana w najwyższym punkcie wzgórza, otoczona drewnianą zabudową, jednak nie ma na to dowodów w postaci pisanej. Pierwsza wzmianka o zamku pochodzi z 1277 r. gdzie książę Bolesław II legnicki pisze o Hain castro nostro.