Hørbygaard kendes første gang fra ca 1320 hvor Esben Tuesen nævnes som ejer af Hørbygaard. Kirken nævnes første gang i 1200tallet.
I middelalderen er der en lang række ejerere, men Hørbygaard overgår ca 1420 til Roskilde Stift.
Ved reformationen overtager Kronen Hørbygaard og ejendommen gives som fortjeneste til en række ejere og familier.
Den sidste er lensbaron van der Lühe der tilsyneladende var en dygtig hofmand men uden megen interesse for landbrug.
Han sælger i 1748 Hørbygaard til Jacoba von Holten der året før blev enke efter Johan Lorentz Castenskiold.
Familien Castenskiold har gennem 7 generationer ejet Hørbygaard siden.
