Longtemps considérée comme la maison des castrats italiens de Louis XIV, cette maison était, en réalité, la demeure de plaisance de la comtesse d'Argenson, Anne Larcher (1706-1764), épouse de Marc-Pierre, comte d'Argenson (1696-1764), ministre de la Guerre de Louis XV.
Elle la fit rebâtir en 1752, sur les conseils de son fils, Marc-René, marquis de Voyer (1722-1782), par Jacques Hardouin-Mansart de Sagonne, architecte du marquis à Asnières.
La demeure abrita les amours de la comtesse avec le marquis de Valfons (1710-1786), célèbre mémorialiste du siècle, tandis que le comte abritait les siennes avec la comtesse d'Estrades à l'autre bout de Montreuil, en sa maison sur l'actuelle place Alexandre Ier.
La comtesse d'Argenson conserva le domaine jusqu'en 1757.
Il devint ensuite celui du grand botaniste et premier médecin du roi, Louis-Guillaume Lemonnier (1717-1799), lequel fit du parc, qu'il augmenta à dessein, un des grands sites botaniques de France. Lemonnier décéda dans la maison en 1799.
Le parc demeura le jardin botanique de Versailles jusqu'aux années 1840 et fixa, jusqu'aux années 1950, les vocations maraîchère et florale de ce quartier de la ville : les fameuses pépinières Truffaud naquirent là.
Les ornements rocailles sont du sculpteur ornemaniste Nicolas Pineau (1684-1754) qui œuvrait alors à la cathédrale Saint-Louis de Versailles, ainsi qu'au château d'Asnières. Ils présentent la particularité d'avoir été remployés à l'autre bout de l'Ile-de-France, en 1753, au château de Jossigny (Seine-et-Marne), autre chantier éminent de Mansart de Sagonne, dont le propriétaire se trouvait être le voisin de la comtesse d'Argenson à Paris.
On trouvera l'historique complet de la demeure dans mon article pour les Cahiers Philidor, Centre de musique baroque de Versailles, 2008.
Voir également mon article sur le château de Jossigny en 2012.