Das Anwesen von Les Ormes hatte eine Reihe von Besitzern: Familie der Marans zu Beginn des Mittelalters, die Brüder Pussort in der zweiten Hälfte des 17. Jh., dann 1729 Graf Marc-Pierre de Voyer de Paulmy d'Argenson (1696-1764), Staatsrat, Kriegsminister von Ludwig XV. Es war sein Sohn Marc-René, der 1783 das Schloss fertigstellte. Der Haupttrakt - heute ersetzt durch einen Bau des frühen 20. Jh. - wurde in einem damals beliebten Stil vom großen Pariser Architekten Charles de Wailly (1730-1798) errichtet. Letzterer entwarf auch das Odeon-Theater in Paris und das prestigeträchtige Schloss Laeken, Residenz des belgischen Königshauses. Alfred Coulomb (1838-1929), Architekt der Belle Epoque, verdanken wir die verschiedenen Umbauten des Schlosses zu Beginn des 20. Jh.
Dank seiner Architektur, seiner bemerkenswerten Inneneinrichtung und seiner Sammlungen ist das Schloss nicht nur eine Sehenswürdigkeit, sondern auch ein Ort für außergewöhnliche Empfänge und ein geschätzter Rahmen für kulturelle Veranstaltungen.
Dieser eindrucksvolle, 80 m lange Bau aus der Mitte des 18. Jh. ist vollkommen symmetrisch und weist eine sehenswerte Sonnenuhr auf.
Am Ende der baumgesäumten Allee verteilen sich die Flügel und das Gebäude symmetrisch rund um den Ehrenhof. Der Haupttrakt, früher der Haupteingang, birgt das große Vestibül. Dieser lichtdurchflutete Ort verfügt über eine monumentale Treppe und öffnet sich zu drei prächtigen Salons, die ihrerseits zum Terrassengarten und dem Ufer der Vienne liegen.
Zu beiden Seiten des zentralen Baukörpers führen Galerien zu den Flügeln mit einigen bemerkenswerten Räumen wie unter anderem zwei Küchen (eine aus dem 18. und die andere aus dem 19. Jh.), einem Speisesaal mit seiner Inneneinrichtung von 1908, einer Bibliothek und einer sorgfältig restaurierten Orangerie aus dem 17. Jh.
Der Wirtschaftshof des Schlosses wartet mit einer weiteren Sehenswürdigkeit auf: „Suzette II“, ein Motorboot von 1902, das vor kurzem restauriert und unter Denkmalschutz gestellt wurde. Im Park befindet sich ein restauriertes Eishaus aus dem 18. Jh. und eine Anlage zur Stromerzeugung aus dem Jahr 1906, ein seltenes erhaltenes Beispiel dieses Typs.