C'est tout ce qui reste du château que fit construire à la fin du XVIIIème siècle Jean-Louis Loiseau de Béranger, fermier général guillotiné le 8 mai 1794. Il y recevait l'écrivain Marmontel. Louis XVI y faisait halte lorsqu'il venait chasser dans les environs.
Cette demeure avait été édifiée sur les plans de Guillaume Trepsat (1743-1813) qui fut plus tard architecte de l'empereur Napoléon 1er et travailla à Versailles, au Trianon, à l'hôtel des Invalides et au château de Rambouillet.
Vendu comme bien national sous la Révolution, le domaine fut acheté par un riche banquier, Monsieur Michel, beau-frère de Madame Récamier ; celle-ci y fit un séjour en 1803. Il fut ensuite acquis en 1812 par le prince de Talleyrand-Périgord, ministre de Napoléon 1er. Il y résida jusqu'en 1814 avec sa nièce, la duchesse de Dino. On suppose qu'il fut démoli sous la Restauration.
Alors qu'elles étaient dans un état de délabrement extrême, ces écuries ont fait l'objet d'une remarquable restauration.
