Tussen 1684 en 1748 was huis Hardenbroek niet in het bezit van de familie Van Hardenbroek. Hendrik Gijsbert van Hardenbroek (overleden 1697) zag zich in 1684 vanwege schulden gedwongen om huis Hardenbroek te verkopen. Op 16 februari 1684 kocht Cornelis Aerssen van Juchen de ridderhofstad en op dezelfde dag droeg hij die over aan Adriaen van Rossem die er ook daadwerkelijk ging wonen. Diens zoon Pieter Godaert van Rossem werd in 1687 met Hardenbroek beleend. Deze liet na 1694 het kasteel ombouwen tot een landhuis. *  Op 22 september 1733 kwam Hardenbroek in handen van Willem Kerckrinck (Kerkering), van Westfaalse adel, die het eerst in leen ontving, en daarna kocht. Het interieur van het huis onderging in deze jaren de nodige wijzigingen. Achter het huis liet Kerckrinck een formele tuin aanleggen door Ludovicus lven met terrassen, grand canal en zichtas. *  Zijn weduwe, Aldegonda Moeyaert, hertrouwde met Johan George van Raesveld. Deze liet Hardenbroek in 1748 publiek verkopen. Bij deze gelegenheid kocht Johan Adolf van Hardenbroek het stamhuis en landgoed Hardenbroek terug, om er een jaar later mee te worden beleend. Naast de ridderhofstad Hardenbroek omvatte dit complex ruim 100 morgen land, waarvan 15 morgen te Cothen, 2 morgen te Werkhoven, en de rest in Nederlangbroek en de ambachtsheerlijkheid Hardenbroek.

Johan Adolf mocht zich echter geen ambachtsheer van Hardenbroek noemen. De ambachtsheerlijkheid had Hendrik Gijsbert van Hardenbroek in 1684 namelijk verkocht aan Johan van Hardenbroek (1644-1695), die was getrouwd met Florentina van Matenesse (1665-1729), tot 1726 eigenaresse van Sterkenburg. In 1762 liet Johan Adolf van Hardenbroek een nieuwe voorgevel optrekken en later heeft hij het kasteel ook van vier hoektorens voorzien.

Een zoon van Johan Adolph, Gijsbert Carel Duco van Hardenbroek (1769-1851), kocht de ambachtsheerlijkheid Hardenbroek (sedert 1815 verenigd met die van Sterkenburg) in 1829 alsnog terug om te voorkomen dat anderen zich de titel heer van Hardenbroek aan zich zouden trekken. In zijn opdracht werd in 1825 de tuin door de firma Copijn opnieuw aangelegd in Engelse landschapstijl.

Na diens overlijden woonden Johan Adolph van Hardenbroek jr. (1821-1865), en van 1860 tot 1891 Gijsbert Carel Duco d’Aumale van Hardenbroek (1832-1891) op kasteel Hardenbroek. In deze periode onderging het kasteel nog verschillende uitbreidingen en verbouwingen.

Gijsbert Carel Duco d’Aumale van Hardenbroek (1862-1933) was weliswaar vanaf 1892 de eigenaar van huis Hardenbroek, maar tussen 1917 en 1932 verhuurde hij het kasteel aan de Nederlandse Christelijke Studenten Vereniging, die er haar kantoor vestigde en het gebruikte als conferentieoord en er vakantiekampen hield. *  In 1938 werd er een klein museum ingericht door de Stichting Nationaal Centrum, die voorlichting en inzicht wilde geven in de 'groote prestaties' van Nederland, rond de troon van Oranje. * 

Vanaf 1942 gebruikte Reynoud Adolph van Hardenbroek (1874-1946) het kasteel opnieuw als woonhuis. Al in 1929 had hij het huis met de landerijen gekocht van zijn oom G.C.D. d’Aumale van Hardenbroek. Ook zijn zoon Gijsbert Carel Duco van Hardenbroek (1902-1960) en zijn vrouw Henriette Arnoldine Snouck van Hardenbroek-Snouck Hurgronje (1912-1994) bewoonden het huis maar verbleven het grootste deel van het jaar in Den Haag. De huidige bewoner is Francis John Loudon (geboren 1938), zoon uit het eerste huwelijk van H.A. van Hardenbroek-Snouck Hurgronje, die na het overlijden van zijn moeder in 1994 eigenaar werd van het huis.