Oorspronkelijk behoorde dit gebied tot de domeinbossen van Doorwerth. In het midden van de achttiende eeuw werd het in cultuur gebracht. Het terrein kwam rond 1830 in bezit van mr. J.M. de Kempenaer, tevens stichter van Bato’s Wijk. In 1894 kocht familie Wolterbeek het landgoed. In de tweede helft van de negentiende eeuw werd de Bilderberg samengevoegd met Sonnenbergh tot één groot park. In 1918 liet eigenaar mr. dr. P.G. van Tienhoven het herenhuis bouwen. Het landgoed, met uitzondering van het landhuis en directe omgeving, werd in 1923 aangekocht door gemeente Renkum. In 1926 kocht N.V. hotel maatschappij de Tafelberg het herenhuis, dat sindsdien uitgroeide tot het befaamde hotelcomplex. In 1954 werd hier, onder voorzitterschap van prins Bernhard, de eerste Bilderbergconferentie georganiseerd: een zeer geheime politieke bijeenkomst over internationale ontwikkelingen en ideeën.