På slutten av 1200-tallet var det den danske greve Jacob av Halland som lot oppføre et festningsverk på fjellet. Det besto av bygninger i nord og sør som var sammenbundet med en mur i vest. Bygningen i nord eksisterer fremdeles. Den svenske kongen Magnus Eriksson bodde her på midten av 1300-tallet .Den danske kongen Valdemar Atterdag inntok Varberg slott i 1366, og Varberg og Halland forble i hovedsak under Danmark fram til 1645.
På 1500-tallet ble det gjort store ødeleggelser, men det har i etterfølgende tider blitt gjenoppbygd og blitt gjort store forandringer fram til det vi ser i dag.
Kilde: Oppslag på stedet.