In 1853 kocht R.D. Wolterbeek landgoed De Oorsprong. Op het landgoed trof hij een huis aan dat hij de naam `Valkenburg’ gaf. Voorheen was in dit huis een herberg gevestigd. Na een brand in 1835 werd ter plekke een nieuw buitenhuis gebouwd. Om de herberg als zodanig niet verloren te laten gaan, bracht Wolterbeek een grondruil tot stand met de eigenaar van grond aan de overzijde van de Utrechtseweg. Daar is toen, wat kleiner van omvang, een nieuwe herberg gebouwd. De Valkenburg werd Wolterbeeks buitengoed. Het huis is in 1975 gesloopt.