Antvorskov var kloster for johanitterne, indtil reformationen i 1536. Sjovt nok var den største danske reformator, Hans Tausen katolsk munk her, før han blev grebet af Luthers lære. I 1580 byggede Frederik den Anden klostret om til slot, og da de lokale tilsyneladende blev ved med at kalde det kloster, indførte han en bøde på en okse til alle, der brugte den forkerte betegnelse. Han døde selv på slottet i 1588, men hans søn Christian den Fjerde fattede aldrig den samme interesse for slottet.