De naam duidt het al aan, we zijn hier op het 'eind' van de geestgronden. Aan de zuidwestzijde van Endegeest had de Rijn door herhaalde overstromingen het land in een moeras herschapen - de zogenaamde 'Koeievennen' - en zodoende het einde van de geestgronden gevormd.
Voor het eerst wordt van het huis melding gemaakt, wanneer 17 maart 1307 Vrouwe Hasekine van Endegeest door haar neef Hendrik van Alkemade met Endegeest en 12 morgen land wordt beleend na de dood van haar broer Jacob van Endegeest. Evenals bij Poelgeest zien we dus ook in de oudste geschiedenis van Endegeest het geslacht van Alkemade optreden. 21 Maart 1364 werd een Floris van Endegeest met de helft van Endegeest beleend door burggraaf Dirk van Wassenaar. Endegeest was voor de helft leenroerig aan het huis Alkemade en voor de andere helft aan de burggraven van Leiden. Tussen 1430 en 1450 was er nog een Geryt van Endegeest, die schepen en burgemeester van Leiden was. In 1439 werd de nieuwe heer van Endegeest Dirck van Swieten. In 1447 kreeg deze het schoutambt van Oegstgeest en tevens een nieuw leen, namelijk om een paar broedende zwanen op Endegeest te mogen houden. Het schoutambt schijnt hem gegeven te zijn met het recht van vererving op zijn oudste dochter. De vader van Dirck: Bouwen van Swieten zat met een verre neef Boudyn van Swieten, de stichter van Mariënpoel (Mariënpoelstraat). Deze Dirck vinden we in 1448 genoemd als raad van Philips van Bourgondië en bewaarder van 's Hertogs Thesaurie en registers. In 1461 wordt hem verteld dat hij tot zieletroost van een oom Dirk Pieterszoon van Poelgeest een kapel van St. Bartholomeus, van St. Barbara en Catharina stichtte in de St. Pieterskerk te Leiden en in 1463 een kapel met graf en gestoelte aan de noordzijde van de kerk. Bovendien had hij nog een grafkapel in de St. Jacobskerk in den Haag. Op 23 januari 1482 werd hij in zijn kapel in de St. Pieterskerk te Leiden bijgezet. Daar zijn kinderen al eerder waren overleden ging de eigendom van Endegeest over op de nakomelingen van zijn zusters. Hoe het verder is gegaan, is niet duidelijk maar Jan II, burggraaf van Leiden, heeft zich steeds als hoge bezitter der hoge heerlijkheid Oegstgeest gedragen en diens nakomelingen, de prinsen de Ligne, hebben deze in 1615 aan de regering van de stad Leiden overgedragen. Tot 1850 heeft Leiden (zij het dan ook tot ambtsheerlijkheid vervormd) deze behouden en toen verkocht aan de toenmalige heer van Endegeest, Jhr. Mr. D. Th. Gevers. Omstreeks 1500 was er een Dirk van Berckel die des winters in Leiden woonde en des zomers op Endegeest, waar hij tevens het schoutambacht van Oegstgeest uitoefende. De Van Berckels noemden zich bij voorkeur 'van Endegeest'.
Het huis heeft tijdens het beleg van Leiden deerlijk te lijden gehad. Slechts de twee torens bleven staan. In 1627 zien we een Nicolaas van Schouwen, Jonker van Endegeest, die in het jaar, door Frederik Hendrik, Prins van Oranje als bezitter der Wassenaarse heerlijkheden - ook nu nog heeft het huis van Oranje uitgebreide bezittingen onder Wassenaar - met Endegeest werd beleend. In 1641 wordt melding gemaakt van een Jonker Pieter van Foreest van Schouwen, die in dat jaar Endegeest verhuurde aan de beroemde wijsgeer René Descartes, die na de uitgave van zijn 'Meditations' verzorgd te hebben zijn verder werk wilde voorbereiden op dit rustige plekje, waar hij toch niet ver verwijderd was van zijn Leidse en Haagse geleerde vriendenkring. 1643 ging hij naar Egmond aan Zee. Endegeest is blijkbaar weer wat opgeknapt want er wordt vermeld dat Descartes er een uitgebreid personeel op na hield en een eigen rijtuig had. Hij ontving hier bezoek van vele geleerden, waaronder ook Huygens uit den Haag. Vermoedelijk was de nabijheid van de Calvinistische theologen uit het nabije Leiden en de universiteit hem toch niet aangenaam. Want hoe vrij Descartes in zijn denken ook mocht zijn, hij bleef een trouw zoon van de Moederkerk. Aangenomen mag dan ook worden dat hij gedurende zijn verblijf te Oegstgeest, het kerkje van de Katholieken dat zij steeds behouden hebben, meermalen heeft bezocht. In 1646 kwam Endegeest in handen van Elisabeth van Schouwen tot Endegeest, die later huwde met Jhr. Jacob van Berchem en later lid van de Raad van State. Deze hebben het kasteel weer doen herbouwen en ook de poort met de zijvleugels, die zich op het terrein bevinden, doen oprichten. Zij woonden echter meestal in den Haag, waar zij in de Grote of St. Jacobskerk zijn begraven. In 1660 kwam het gezin Willem van der Rijt op Endegeest wonen. In de Lakenhal (museum te Leiden) kunt u nog een schilderij zien, waarop dit gezin is afgebeeld en welk schilderij vroeger op Endegeest heeft gehangen. Na diens overlijden in 1663 was Endegeest weer een poos onbewoond. In 1705 werd Endegeest verhuurd aan Statius Philip, graaf van Bentheim die er een kleine hofhouding had. Om geloofsreden was indertijd zijn moeder met hem uit Duitsland naar Holland uitgeweken. Er werd een grote staat gevoerd en zoals de heer Bijleveld, aan wiens beschrijving van het kasteel Endegeest, ik al deze bijzonderheden ontleen, zegt: "Men kan zich voorstellen welk een statige optocht het was, wanneer deze hoge personages met hun gevolg des zondags Oegstgeests Groene Kerkje binnentraden om bijna alle banken van het zuidelijk transept in beslag te nemen. Daartegenover verzonk al de Deftigheid van de gravin douarière de Thoms (Boerhaave's dochter, die oud-Poelgeest bewoonde), die de hoge banken in het noorder transept had, in het niet". Over hoe goede betrekkingen men beschikte, blijkt wel hieruit dat bij de doop van een kind op 23 juli 1749, wat bij afwezigheid van de predikant te Oegstgeest, gedoopt werd in de Pieterskerk te Leiden door Ds. Wesselius. Als peten en meters werden vermeld: Willem Carel Hendrik Friso, prins van Oranje en Nassau, erfstadhouder; Anna, Prinses van Oranje en Nassau, geboren kroonprinses van Groot-Brittannië Maria Louise, prinses douarière van Oranje en Nassau, geboren landgravin van Hessen. 2 Juli 1750 zijn in tegenwoordigheid van de kerkeraad op het kasteel Endegeest getrouwd Z.H. Rijksgraaf Exc. Graaf Maurits Cazimir, graaf tot Bentheim Tecklenborg, Steinfurt en Limborg, Heer tot Rheda, Wevelinkhoven Alphen en Helfenstein en Gravin Amalia Isabella Sydonia, Gravin van Bentheim Steinfurt.
Een en ander is ontleend aan de kerkelijke registers van Oegstgeest, die bewaard worden in het Rijksarchief te den Haag. Over dit huwelijk is nog wat te doen geweest. Ds. Oosterdijk, de toenmalige predikant, had er bezwaar tegen dat het huwelijk op Endegeest werd voltrokken en niet in de kerk. Maar uiteindelijk is het toch op Endegeest geschied, echter in tegenwoordigheid van de voltallige kerkeraad. Mevrouw De Thoms-Boerhaave, de bewoonster van Oud-Poelgeest, vond echter dat dit privilege niet alleen aan Endegeest verbonden mocht zijn en toen haar dochter met de Heer van Oostvoorne zou trouwen, wist zij door te zetten dat dit huwelijk op het kasteel Oud-Poelgeest ook in tegenwoordigheid van de voltallige kerkeraad werd voltrokken. 4 November 1787 is Endegeest verkocht aan een zekere Samuel Radermacher. Deze was een Amsterdamse koopman, die in Amsterdam een huis had en slechts enkele weken des zomers op Endegeest vertoefde.
31 December 1800 werd het kasteel met de bijbehorende gronden voor fl. 38.000,-- voor het comité van civiele justitie te Oegstgeest (we leefden in de Franse tijd) verkocht aan Mr. Dirck Cornelis Gevers, oud-secretaris van Rotterdam. Deze kreeg veel invloed in de omgeving, werd vrederechter, commissaris-generaal van de waterstaat en in 1814 lid van Gedeputeerde Staten. Zijn (2e) vrouw deed veel goed in de gemeente. Zij overleed in 1823, 50 jaar oud. De kleine sarcophaag in het noorder transept van de Groene Kerk herinnert aan haar: Der Vrouw van Endegeest door liefde en trouw gewijd, Haar Godsvreugd, geest en deugd, zijn boven graf en tijd. Mr. Dirck Cornelis Gevers van Endegeest huwt -voor de 3e keer- met Jannetje Schaay (oud 36 jaar) op 13 mei 1835. Het leeftijdsverschil (36 jaar) is erg groot. Waarschijnlijk was dit derde huwelijk beneden stand: Jannetje was de schoonzus van de koetsier; zijn zoons gaan met hun vrouwen op vakantie naar Engeland om het huwelijk niet te hoeven bijwonen!
Zijn zoon vestigde zich, na het overlijden van zijn vader in 1839, op 1 mei 1840 op Endegeest. Deze zoon was Jhr. D.Th. Gevers van Endegeest, gehuwd met Jkvr. J.M. Deutz van Assendelft. Aan haar herinneren de namen Deutzstraat en van Assendelftstraat. Deze overleed in 1895 en zij was o.m. de stichtster van de Gevers-Deutz kleuterschool. Rhijngeest, toen nog slechts de villa, werd bewoond door een schoonzuster, Jkvr. M. Deutz van Assendelft, weduwe van de Engelse generaal van Tuyll, en gewoonlijk Lady de Tuyll genoemd. Jhr. Gevers kocht veel land rondom Endegeest en kocht bovendien voor fl. 1.050,-- de heerlijkheid van Oegstgeest en Poelgeest van Leiden. Hieraan was het collatierecht verbonden en het recht op de heerlijkheidsbank in de kerk. Hij was een groot man, voorzitter van de Tweede Kamer, Minister van Buitenlandse Zaken, curator van de universiteit, enz. Ook voor de Groene Kerk deed hij veel. Ik vermoed zo, dat hij het leeuwenaandeel van de kerkelijke onkosten voldeed. Kinderen waren er niet. Een neef die de bezittingen erfde, verkocht deze in 1896 aan Leiden, die er een krankzinnigengesticht vestigde.