Valdemar den Store bygget omkring 1160 den første Vordingborg, en liten treborg på en jordvoll like ved havet helt sør på Sjælland. Men allerede i vikingetiden var det en befestet havn her med sperringer av trepåler i vannet. Valdemar den Store og biskop Absalon kjempet i mange år mot de hedenske venderne syd for Østersjøen. Mange av disse toktene gikk ut fra Vordingborg.
Etter at Valdemar Seier ble konge i 1202, rev han den gamle borgen, og bygget en ny i rød mursten. Langs ringmuren mot syd ble kongens representasjonsbolig bygget.
Den hadde flere etasjer og var nesten 30 meter langt. Det var her at Jyske Lov – Danmarks første moderne , nedskrevne lov ble gitt i 1241. På denne tiden ble også borgkirken St. Andreas bygget ferdig.
På 1360-tallet, under Valdemar Atterdag, så en ny borg dagens lys. Nå som en moderne borg etter nordeuropeisk standard med den 775 meter lange ringmuren rundt hele anlegget. Det var bare den gamle representasjonsbygningen tilbake av den gamle borgen.
Det nåværende Gåsetårnet var det største av 9 forsvarstårn. Det er det best bevarte borgtårn i Danmark, og har orginalt murverk. Det er bare spiret og inngangsdøren som er nytt. Den gamle inngangen til tårnet var 6 meter over bakken, man gikk inn fra ringmurens skyttergang. Nederst var det fangehull, hvor fangene ble heist ned i fra svennestuen i 1. etasje. Tårnet har 5 etasjer i tillegg til fangehullet. På taket går brystvern rundt tårnet hvor man har god utsikt utover fjorden. Etter Valdemar Atterdags død forsvant Vordingborg litt etter litt ut av bildet og forfalt etter hvert.
Kilder: Oppslag på stedet og museets brosjyrer.