La présence d’un château à "Torcy" remonte au XIVème siècle. Le pavillon Louis XV (c’est ainsi qu’il était appelé jusqu’en 1762) fait place à une nouvelle construction, édifié par Mathias Léonard Raphaël Villedieu. C’est le seigneur de "Torcy" à l’époque. bien que n’y résidant que l’été. Ses armes : "D’azur à deux pals d’or, au chef d’hermine" ; sa devise "Virtute ducti" ("Conduits par la vertu") sont ses attributs de Marquis Villedieu de Torcy. Après être passé dans le domaine public, plusieurs propriétaire se sont succédés, dont la famille Schneider.