De Vijverberg behoorde oorspronkelijk tot de landerijen van het in 1580 opgeheven klooster Mariënborn. Rond 1650 werd het als ontginningslandgoed gesticht. Op de Vijverberg ontspringen diverse beekjes, dieper vergraven tot sprengen. De sprengen vormden een belangrijk onderdeel van het landschapspark met beukenaanplant, slingerende paden, vijvers, watervalletjes en bruggetjes dat in de negentiende eeuw werd aangelegd. In 1872-1873 werd het huis de Vijverberg gebouwd, waarschijnlijk als pachterswoning van Warnsborn. Op de Vijverberg liggen zeven grafheuvels van ongeveer 4000 jaar oud. Begin twintigste eeuw werd de Vijverberg gekocht door N.V. Thorhem te Doorn, die in 1929 ook Warnsborn zou aankopen en deze landgoederen wilde verkavelen tot villaterrein. Grootschalige weerstand resulteerde in onteigening van het gebied ten behoeve van het behoud van natuur en landschap. In 1932 kwam het in handen van Geldersch Landschap.