Kort na 1500 werd stadskasteel Wageningen gebouwd in opdracht van Karel van Egmond, hertog van Gelre, ter verdediging van de stad. In het rampjaar 1672 werd het kasteel grotendeels verwoest door Franse troepen. Een kaart van B. Elshoff uit 1722 laat zien dat op de plek van het poortgebouw nieuwbouw was gekomen, waaromheen tuinen en boomgaarden waren aangelegd. Het kasteelterrein had de functie van buitenplaats gekregen. Nadat het in 1829 door grootgrondbezitter Jacob Marcus Rosenik werd opgekocht, werd de oude woning grotendeels gesloopt en vervangen door een villa. Deze kreeg in 1894 de naam `Villa Vada’ en werd deels op een van de poortgebouwen opgetrokken. kreeg. De groei van de stad heeft uiteindelijk de groene plek van een ‘buiten’ opgeslokt. Sinds 1986 is in de villa, Museum Casteelse Poort gehuisvest.