Oorspronkelijk was hier sprake van de Preekstoelhegge, die in 1728 voor het eerst genoemd wordt. De Pietersberg maakte oorspronkelijk deel uit van landgoed De Hemelse Berg, totdat mr. Robidé van der Aa eigenaar werd en hier in 1836 voor zijn zoon Pieter een landhuis bouwde. Het werd daarna dikwijls samengevoegd en verkaveld. In 1858 huurde de familie Van Eeghen de buitenplaats en kocht deze in 1863. Nadien kocht deze familie steeds meer gronden en villa’s in Oosterbeek, zoals de villa’s Oosterpark en Otium en pension Beau Sejour. In 1890 liet H. Copijn zijn sporen na in de vorm van de aanleg rond het huis. Na de Tweede Wereldoorlog werd het park gereorganiseerd door de in de omgeving woonachtige tuinarchitect Samuel Voorhoeve. In 1948 wordt de dan 5 hectare grote buitenplaats verkocht aan gemeente Renkum. Tegenwoordig wordt het landhuis gebruikt door Stichting De Pietersberg als Het Missionair Diaconaal Centrum De Herberg.