Olsborg lå på en høyde ved Södra Bullaresjön i Västergötland. Kildene forteller at Nils Ragvaldson, den mektigste mann i Viken, anla borgen i 1502 som en svensk befestning som base for angrep mot det danske veldet. Dette var i en tid med innbyrdes stridigheter i Norge og Sverige. Trolig er borgen bygget på en forhistorisk borg fra jernalderen, i følge folketradisjonen ble den bygget av Olav den hellige.