Drie jaar na zijn broer Gijsbert Jan kwam in 1791 echter ook Johan Adolf te overlijden. Delen van diens omvangrijke nalatenschap werden daarna beheerd door Susanne Civilla (Civelle) d’Aumale (1768-1822), zijn tweede vrouw, die pas in 1822 overleed. Nog datzelfde jaar werd de bibliotheek van Johan Adolf in Utrecht ter veiling gebracht. *  Zijn titels gingen na 1791 echter over op zijn beide oudste zoons, van wie Gijsbert Carel Duco van Hardenbroek (1769-1851) in 1791 werd beleend met de heerlijkheid ’s-Heeraartsberg, Bergambacht en Ammerstol, de Kleine Lindt en Bergestein, en Ernst Louis van Hardenbroek (1774-1843) met de Lockhorst. Gijsbert Carel Duco werd in 1793 lid van de Ridderschap en had vanaf dat jaar tevens zitting in de Staten van Utrecht. Gedurende de Franse tijd moest hij afstand doen van al zijn titels maar hij hield wel de beschikking over al zijn bezittingen. Na het aantreden van koning Willem I werden hij en Ernst Louis hersteld in hun adellijke titels en vanaf 1814 maakten zij weer deel uit van de Utrechtse Ridderschap en het bestuur van de Provinciale Staten in Utrecht.

In 1807 kocht Ernst Louis de aan Lockhorst grenzende buitenplaats de Heiligenberg aan van zijn broer. Hij liet het oude huis afbreken en een nieuw landhuis bouwen, het middelste gedeelte van het tegenwoordige landhuis. Voor het ontwerp heeft hij waarschijnlijk architect J.D. Zocher jr. in de arm genomen. Tegelijkertijd werd een nieuwe tuin in Engelse landschapsstijl aangelegd.

Het huwelijk van Ernst Louis met Anna Maria Munter (1774-1858) bleef kinderloos. Zij liet haar bezit na aan haar neef, de derde zoon van Gijsbert Carel Duco, Ernest Louis van Hardenbroek (1829-1877), die zich voortaan ‘heer van Lockhorst’ mocht noemen. Vanaf 1859 had hij zitting in de Provinciale Staten van Utrecht en vier jaar later werd hij ook burgemeester van Leusden en Stoutenburg. Van 1866 tot 1874 was hij bovendien lid van de Tweede Kamer. Samen met zijn vrouw Sophia Adriana Johanna Huydecoper (1832-1904) woonden hij op de Heiligenberg, waar twee vleugels aanbouwen naar een ontwerp van 'Architect des Konings' L.H. Eberson. Na het overlijden van zijn vrouw in 1904 ging de Heiligenberg over op haar zwager Reynoud Adolph van Hardenbroek van Lockhorst (1874-1946) en haar zoon Ernest Louis van Hardenbroek van Lockhorst (1864-1912), die de buitenplaats verkochten. Hetzelfde gebeurde één generatie later, in 1927, met de Lockhorst. Anders dan bij de Lockhorst bleef een deel van de administratie over de Heiligenberg bij het archief van huis Hardenbroek bewaard. * 

Johan Adolf had ook nog een derde zoon, Govert Johan Adolph (1780-1830). Deze was vanaf 1816 lid van de Provinciale Staten van Gelderland werd een jaar ook lid van Gedeputeerde Staten. Daarnaast was hij kamerheer van koning Willem I. Hij was getrouwd met Justine van Spaen (1780-1853). Na overlijden van haar broer Alexander Jacob baron van Spaen en heer van Biljoen in 1848 vererfde het huis Biljoen bij Rheden op hun enige zoon Govert Johan Adolph Johan Frederik Willem Carel van Hardenbroek. Van hem zijn interessante stukken bewaard van zijn deelname aan de Tiendaagse Veldtocht in 1833. Later werd hij kamerheer van Anna Paulowna, de weduwe van koning Willem II, aan wie hij Biljoen tijdelijk verhuurde, en van koning Willem III.

Hij woonde overwegend in Parijs en gebruikte Biljoen zelf als buitenverblijf. Hij bleef ongehuwd maar kreeg in Parijs een dochter bij Victorine Louise Albrie, Pauline Albertine van Hardenbroek (1837-1889), die in 1885 de tweede vrouw werd van Gijsbert Carel Duco d’Aumale van Hardenbroek (1832-1891). Na het overlijden van haar vader in 1871 verkocht Pauline Albertine huis Biljoen. Archiefstukken van haar vader en grootvader belandden echter bij Gijsbert Carel Duco op huis Hardenbroek. *