Het huis Zuilen, aan de oostzijde van de Vecht, dankt zijn naam en bestaan aan de familie Van Zuilen, waarvan veel leden zich in de loop van de dertiende eeuw in het Nedersticht gevestigd hebben, mogelijk aangetrokken door de ontginningen van nieuwe gronden aldaar en de uitgifte in leen van ontgonnen gebieden. Zij kwamen uit het Kleefse, waar zij sinds 1169 voorkomen in de oorkonden als ministerialen van de graven van Kleef *  . Blijkens de rangorde van getuigen in de oorkonden vertoonde hun aanzien een stijgende lijn *  . Hun naam, Van Sulen - later Van Zuilen -, ontleenden zij aan het goed Sulen, tussen Rees en Emmerik gelegen. Of zij dit in eigen bezit gehad hebben is niet zeker; wel zijn er aanwijzingen dat de familie vanaf 1280 bezittingen rond Anholt heeft gehad, misschien ook het kasteel zelf *  .

Sinds het midden van de dertiende eeuw komt hun naam herhaaldelijk voor in het Sticht. Als eerste kennen we Gijsbert van Zuilen, schout van Jutphaas, die al in 1244 als getuige vermeld werd *  . Hij stichtte het huis Zuilenburg in Neerlangbroek; zijn zoon Zweder werd later heer van Abcoude en noemde zich toen Zweder van Abcoude, maar bleef wel het wapen van Zuilen voeren. Leden van de in de tweede helft van de dertiende eeuw in Utrecht zo invloedrijke familie Van Beusichem voerden eveneens het Zuilense wapen, waarop zij van moederszijde recht hadden. Twee leden van deze familie zijn bekend als stichters van kastelen in respectievelijk Vianen en Culemborg, waar omheen steden ontstonden waarnaar hun nazaten zich zouden gaan noemen *  .

Dat wapen van Zuilen - drie rode zuilen op een wit schild - vinden we ook elders in het Sticht, bijvoorbeeld bij de kastelen Beverweerd, Natewisch en Zuilenstein, die alle hun bestaan aan een lid van de familie Van Zuilen te danken hebben *  . Het laat duidelijk zien hoe groot het aanzien was van de familie die het kasteel Zuilen, dat het onderwerp is van deze inventaris, heeft doen bouwen en daar ruim honderd jaar eigenaar van is geweest. Het huis Zuilen is in de tweede helft van de dertiende eeuw gebouwd, zoals uit recente opgravingen blijkt. Men is tegenwoordig geneigd Steven van Zuilen als stichter te zien, die als eerste in de bronnen "dominus de Sulen" - heer van Zuilen - genoemd wordt, namelijk in 1278, toen hij met andere Stichtse edelen een verdrag sloot met graaf Floris V van Holland *  .

Hij koos dus de kant van de bisschop in diens strijd tegen de stad Utrecht en de heren van Amstel en Woerden, een politiek die door zijn zoon Jan werd voortgezet *  . Aan het eind van de veertiende eeuw waren de Van Zuilens op het huis Zuilen in mannelijke lijn uitgestorven, waarop Zuilen door het huwelijk van Eleanora van Zuilen met Frank van Borssele overging op de Van Borsseles. Na het overlijden van een latere Frank van Borssele, bekend als de echtgenoot van Jacoba van Beieren, bleef zijn zuster Eleanora tot haar dood in 1485 vrouwe van Zuilen, waarna haar kleinzoon, Jaspar van Culemborg, met Zuilen werd beleend *  . Deze had alleen dochters, en na een korte periode waarin de oudste, Elisabeth, vrouwe van Zuilen was, volgde haar zuster Cornelia haar in 1510 op, die als echtgenoot Willem van Rennenberg had *  . Hij en zijn nakomelingen hebben Zuilen tot 1580 bestuurd, waarna een nieuwe periode aanbrak, waarover later.

De heren van Zuilen waren door de bisschop van Utrecht beleend met tienden in Westbroek, Jutphaas en Schalkwijk en met de rechtsmacht in Zuilen, Zwezereng en Westbroek. Zwezereng was een strook land aan de westzijde van de Vecht, dat waarschijnlijk nooit als afzonderlijk gerecht heeft gefunctioneerd, maar al vroeg bij Zuilen is getrokken. Wanneer in latere koopakten in de heerlijkheid Zuilen wordt genoemd, wordt Zwezereng daar mede onder verstaan.

Het huis Zuilen wordt in de leenakten niet genoemd en we moeten dus aannemen dat dit eigendom was van de heren van Zuilen. Verschillende malen liep het in een oorlog schade op; één keer rond 1296, waarop het snel gerestaureerd werd, één keer in 1422, maar toen duurde het bijna honderd jaar voor Willem van Rennenberg het "omvergeworpen" huis weer liet opbouwen *  . Het huis werd in 1536 tot de riddermatige hofsteden gerekend; de heren van Zuilen waren doorgaans tevens lid van de ridderschap van Utrecht.

De grond waar het kasteel op stond, drie morgen binnen de slotgracht, was erfpachtsgoed van de abdij van Sint Laurens te Oostbroek. Behalve die grond hadden de heren van Zuilen nog meer goederen in erfpacht van de abdij, namelijk twee hoeven land in Zuilen, evenveel in Westbroek, en voorts landerijen in Vleuten, Maarssen, Harmelen en Loenen. Ten slotte ook nog 153 akkers in de buurt van Wilnis, ook wel de "Zuilense tijnsakkers" genoemd *  .

Aan die wat ingewikkelde verhoudingen kwam in het begin van de zeventiende eeuw een eind. Het was al eenvoudiger geworden doordat de staten van Utrecht sinds 1580 in de rechten van de bisschop waren getreden en bovendien het beheer van kloostergoederen op zich hadden genomen, waaronder die van de abdij van Sint Laurens. Dat betekende echter nog geen verandering in de leen- en erfpachtverhoudingen. Daartoe werden pas stappen ondernomen door de Amsterdamse koopman Jaspar Quingett, die Zuilen in 1611 gekocht had van Antonie van Lalaing en toen merkte dat de verkoper nog in een proces gewikkeld was waarbij die erfpachtgoederen als inzet fungeerden. Dat proces was de allerlaatste fase van een in 1485 begonnen strijd tussen twee families om het bezit van Zuilen. In dat jaar had Eleanora van Borssele vlak voor haar dood Zuilen verkocht aan Jan van Egmond, stadhouder van Holland, maar de bisschop van Utrecht erkende deze verkoop niet en beleende haar kleinzoon Jaspar van Culemborg met de heerlijkheid.

De Van Egmonds legden zich daar niet bij neer, maar zij kregen pas de kans om Zuilen te verwerven in 1580. In dat jaar hadden de staten van Utrecht de goederen verbeurd verklaard van George van Lalaing, graaf van Rennenberg en heer van Zuilen, omdat hij de opstandige gewesten in de steek had gelaten en zich weer gevoegd had naar de regering in Brussel. Hij was van moederszijde een kleinzoon van Willem van Rennenberg en Cornelia van Culemborg. Zijn broer was Antonie van Lalaing, graaf van Hoogstraten, die in 1568 in het leger van de prins van Oranje was gesneuveld. In 1579 had hun oom Herman van Rennenberg, die als laatste mannelijke telg van zijn geslacht sinds 1561 heer van Zuilen was, de heerlijkheid aan hem afgestaan *  .

Na Rennenbergs "verraad" hebben de staten van Utrecht Lamoraal van Egmond, zoon van de 1568 onthoofde graaf van Egmond, met Zuilen beleend. Zij zullen daar al spoedig spijt van gehad hebben, want berooid als de Van Egmonds waren geworden, kon de nieuwe heer van Zuilen het goed niet beheren zoals het behoorde. In 1605 week hij uit naar het buitenland om de hier opgelopen schulden te ontwijken, waarop een beheerder van Zuilen werd aangesteld ten behoeve van zijn schuldeisers. Om toch nog aan wat geld te komen verkocht Van Egmond in 1610 zijn aanspraken op Zuilen aan Antonie van Lalaing, kleinzoon van de hiervoor genoemde Antonie van Lalaing, graaf van Hoogstraten *  . Het jaar daarop verkocht deze Zuilen aan Jaspar Quingett *  .

Toen er nog enige onzekerheid bleek te zijn over de positie van de erfpachtsgoederen wendde Quingett zich tot de staten van Utrecht om hierin klaarheid te krijgen, waarbij hij tevens voorstelde de erfpacht van het merendeel van de goederen af te lossen en de overige om te zetten in een stichts leen. Aldus geschiedde, met dien verstande dat het huis Zuilen, tot dusver allodiaal bezit van de heren van Zuilen, nu ook tot een stichts leen werd geconverteerd. Voortaan werden de heren van Zuilen dus beleend met het huis en de heerlijkheid van Zuilen, Zwezereng en Westbroek, drie morgen waar het huis op staat, twee hoeven land in Zuilen en tienden in Jutphaas, Westbroek en Schalkwijk. De zaak was rond in 1615. Kort daarop, in 1617, verkocht Quingett de bezitting aan Adam van Lokhorst, zoon van de rijke Amsterdamse papierhandelaar Cornelis van Lokhorst die dat jaar overleden was *  .

De koopsom voor de leengoederen plus de Zuilense tijnsakkers bedroeg 106.000 gulden. Afzonderlijk verkocht Quingett nog veertig morgen land te Westbroek aan hem, die wel dezelfde zullen zijn geweest als de twee hoeven erfpacht in Westbroek, die in de erfpachtsakten genoemd zijn *  .

Daarmee brak een nieuwe tijd aan, waarin de bezitting goed werd onderhouden, meer landerijen werden aangekocht en de eigendomsovergangen geen problemen opleverden, althans niet betwist werden. Van Lokhorst voltooide de door Quingett begonnen herstelwerkzaamheden aan het kasteel en wist bovendien te bewijzen dat hij uit een riddermatig geslacht stamde, zodat hij in 1642 kon toetreden tot de ridderschap van Utrecht. Toen hij in 1656 stierf liet hij echter alleen een vierjarige kleindochter na, Anna Elisabeth van Reede, geboren uit het huwelijk van zijn dochter met Gerard van Reede van Nederhorst. In zijn testament had hij voogden benoemd uit de familie van zijn vrouw, Swana van Ledenberg, om het door hem en zijn vrouw nagelaten fortuin voor die kleindochter te beheren. Onder hen was het vooral Johan de Casembroot, echtgenoot van Charlotte van Ledenberg, die zich geducht weerde, telkens wanneer hij meende te bespeuren dat Gerard van Reede zich niet hield aan de in het testament vastgelegde bepalingen. Toch kon hij niet beletten dat Anna Elisabeth van Reede op dertienjarige leeftijd trouwde met Hendrik Jacob van Tuyll van Serooskerken. Dat was de zoon van Reinoud en Agnes van Reede van Drakenstein, die als weduwe hertrouwd was met Gerard van Reede, de vader van Anna Elisabeth. Zo bleef het Lokhorst-vermogen toch in de familie. Sindsdien zijn altijd Van Tuylls heer van Zuilen geweest, totdat in 1951 de Zuilense goederen zijn ondergebracht in de Stichting Slot Zuylen.

Het goederenbezit was sinds de dagen van Adam van Lokhorst uitgebreid. In het begin van de twintigste eeuw waren de heren van Zuilen de belangrijkste grondeigenaren geworden in Zuilen en Westbroek. Het kasteel was in het midden van de achttiende eeuw ingrijpend gewijzigd doordat het een verbouwing had ondergaan volgens plannen van de architect Jacob Marot. De slotgracht was toen gedeeltelijk gedempt en er was een nieuwe façade gekomen in de stijl van een achttiende-eeuws landhuis *  . Tot het midden van de twintigste eeuw is het huis door de familie Van Tuyll bewoond, daarna is het een museum geworden.