Het huis de Haar met ambachtsgerecht werd door de heren van Vianen in leen gehouden van de bisschop van Utrecht en door hen in achterleen gegeven aan de heren van de Haar. De oudste beleningsakte, die uit de Utrechtse leenregisters bekend is, is weliswaar eerst van 1497, doch gaat terug op een niet meer aanwezig leenregister van bisschop Arnold van Horne (1371-1378). *  Het opschrift luidt zeer sober: ‘Dat huys ther Haer mytten vrijthoff ende myt synen toebehoeren’. Meer komen we te weten uit de oudst bekende uitgifte in achterleen door de heer van Vianen aan Boekel van der Haer van het jaar 1391. Behalve met 9 hoeven land op Haarveld wordt Boekel beleend met ‘dat huus ter Haer vrythof ende gherecht, tins ende tienden mit alle sinen toebehoeren soe als dat gelegen is, daer vornen naest geland is die heer van Abcoude mit sinen ambocht van Themaet ende beneden naest gelandt her Peter Uten Hamme mit 2 hoeven lands dat sijn gerecht is, te behouden tot enen rechten onversteerfliken erfleen ende te verhergewaden alser verscijnt mit 12 pont goets gelds’. *  De heerlijkheid was 252 morgen groot. Het huis behoorde tot de in 1535 erkende ridderhofsteden. Een vereniging in 1534 van de gerechten Spengen en Kockengen met de Haar op verzoek van Steven van Zuylen, ambachtsheer van deze drie gerechten, waarbij een schepenbank werd ingesteld, die een einde zou maken aan het heersende buurrecht, werd in 1535 op verzoek van Spengen en Kockengen ongedaan gemaakt. Daarna duurde het tot 1632 voordat aan Johan van Zuylen door de Staten van Utrecht de uitoefening van het schepenrecht werd toegestaan. * 

Het huis stond op Haarveld. Er was een kapel aan verbonden, waarin, sinds paus Paulus IV daartoe in 1535 verlof had gegeven, gedoopt mocht worden. Dirk van Zuylen had deze gunst gevraagd, omdat de parochiekerk (te Kockengen) voor de in- en omwonenden van het huis te ver verwijderd om haar geregeld te kunnen bezoeken. De heer mocht zelf een functionaris kiezen. *  Veel gebruik schijnt er niet van gemaakt te zijn, althans: in 1634 heropende Johan van Zuylen de kapel na grondige restauratie en gaven de classis en de Staten van Utrecht toestemming tot het bedienen van de kapel door de predikant van Kockengen. * 

Omstreeks 1168 zou de Haar bewoond zijn geweest door Godschalk, broeder van Herman van Woerden, die de naam Van der Haer aannam. *  Josine, dochter van Gijsbert van der Haer bracht door haar huwelijk met Dirk van Zuylen in het jaar 1434 de heerlijkheid aan het geslacht Van Zuylen, dat zich sindsdien Van Zuylen van de Haar noemt. Dirks zoon Dirk nam in 1481 deel aan de Hoekse en Kabeljauwse twisten aan de zijde der Hoeksen en tegen bisschop David van Bourgondië. Ook was hij betrokken bij de inneming van Vianen door de Utrechtenaren. Een en ander had tot gevolg dat de Haar door brand verwoest werd en zijn goederen door zijn leenheer Walraven van Brederode verbeurd verklaard werden. Zijn zoon Steven kreeg deze evenwel in 1505 terug en bouwde het huis weer op. Diens zoon Dirk vermeerderde de goederen van de Van Zuylens met de heerlijkheden Drakenburg en Oudaen door zijn huwelijk met Josina van Drakenburg, Oudaen verkochten zij in 1578. Dirk werd schout van Utrecht in 1564, welke waardigheid tot 1622 door opeenvolgende heren van de Haar werd bekleed.

Na de dood van Johan van Zuylen van de Haar in 1641 volgde de kleinzoon van zijn zuster Cornelia, Johan van Renesse van Moermont, hem op, die zijn erfenis eerst na overlijden van Johans vrouw Geertruyd van Lennep in 1654 zou aanvaarden. Johan van Renesse van Zuylen van de Haar en zijn vrouw Antonia van Lynden lieten slechts één dochter na, die de Haar door huwelijk in 1679 aan het geslacht Van Stembor bracht. Antony van Stembor, heer van Isschot (bij Antwerpen), en Gijsberta Antonia van Renesse van Zuylen van de Haar hadden drie zoons en een dochter. Na het kinderloos overlijden van de drie broeders Johan Philips, Willem en Carel, die achtereenvolgens heer van de Haar zijn geweest, vererfde de heerlijkheid op de zoon van hun zuster Antonia uit haar huwelijk met Rudolph Frederik van Zuylen van Nyevelt, heer van Wickevorst, Roelant en Snaafburg.

In 1672 werd de Haar ten tweede male verwoest, nu door de Fransen, echter niet zó of de Stembors konden het huis blijven bewonen. Antony Martinus van Zuylen van Nyevelt, die in 1761 zijn oom Carel van Stembor opvolgde, bleef op het huis Snaafburg in Maarssen wonen, daar de Haar intussen in een vervallen toestand was geraakt. Toen hij in 1801 ongehuwd overleed en zijn broeders en zusters hem, eveneens ongehuwd, waren voorgegaan, was de naaste erfgenaam Jan Jacob Ghislain van Zuylen van Nyevelt, wiens grootvader, Pieter Andreas, een broeder was van Antony Martinus’ grootvader.

Deze Pieter Andreas had zich ca. 1680 te Brugge gevestigd en was in dienst van de prins van Thurn und Taxis, die hem tot postmeester te Brugge benoemde, welk ambt ook zijn zoon en kleinzoon uitoefenden. Jan Jacob van Zuylen van Nyevelt bleef in Brugge wonen en had in Nederland alleen een pied à terre in Utrecht op de Kromme Nieuwegracht, want het enige, wat er nog in het begin van de negentiende eeuw van het kasteel de Haar was overgebleven, waren de kapel en enkele onderaardse gangen en kelders, welke beide nog in een tamelijk goede toestand verkeerden.

Jan Jacobs zoon Gustave huwde in eerste echt met Julie Alexandrine gravin Visart de Bocarmé. De meeste tijd bewoonden zij haar kasteel St. Etienne te Nice. Hun zoon Etienne huwde in 1887 met Hélène Caroline Betsy barones de Rotschild. Deze gaven in 1892 de architect P. Cuypers de opdracht de Haar in de oude geest op te bouwen, maar dan met grote pracht en praal. In begin 1900 was het kasteel voltooid. Een prachtig park werd aangelegd en daar het dorpje Haarzuilens (het bestond maar uit ongeveer vijf huizen) in de weg stond, werd het afgebroken en een kwartier verder weer opgebouwd.

De tegenwoordige eigenaar is Egmond Gustave Etienne Adelin Marie Ghislain baron van Zuylen van Nyevelt, die elk jaar enige tijd op de Haar vertoeft. Hij heeft twee kinderen, een zoon en een dochter, die beiden gehuwd zijn.

Deze tak Van Zuylen van Nyevelt behoort niet meer tot de Nederlandse adel, doch tot de Belgische. In tegenstelling tot de Nederlandse tak, welke in het begin van de twintigste eeuw is uitgestorven, is deze katholiek.