Longtemps considérée comme la maison des castrats italiens de Louis XIV, cette maison est en réalité la demeure de plaisance de la comtesse d'Argenson, Anne Larcher (1706-1764), épouse du ministre de la Guerre de Louis XV, Marc-Pierre, comte d'Argenson (1696-1764). Elle la fit rebâtir en 1752, sur les conseils de son fils, Marc-René, marquis de Voyer (1722-1782), par Jacques Hardouin-Mansart de Sagonne, architecte du marquis à Asnières.
La demeure abrita les amours de la comtesse avec le marquis de Valfons (1710-1786), un des célèbres mémorialistes du XVIIIe siècle tandis que le comte abritait les siennes avec la comtesse d'Estrades à l'autre bout de Montreuil (actuel place Alexandre Ier). La comtesse d'Argenson conserva le domaine jusqu'en 1757.
Il devint ensuite celui du grand botaniste et premier médecin du roi, Louis-Guillaume Lemonnier (1717-1799) qui fit du parc - qu'il augmenta - un des grands sites botaniques français. Ce parc demeura le jardin botanique de Versailles jusqu'aux années 1840 et fixa jusqu'aux années 1950 la vocation florale de ce quartier de la ville (les fameuses pépinières Truffaud sont nées là). Lemonnier décéda dans sa maison en 1799.
Les ornements rocailles sont du sculpteur ornemaniste Nicolas Pineau (1684-1754) qui oeuvrait alors à la cathédrale Saint-Louis de Versailles et à Asnières. Ils présentent la particularité d'avoir été remployés à l'opposé de l'Ile-de-France, en 1753, au château de Jossigny (Seine-et-Marne), autre chantier de Mansart de Sagonne et dont le propriétaire était le voisin de la comtesse d'Argenson à Paris.
Historique complet dans notre article des Cahiers Philidor du Centre de musique baroque de Versailles, 2008. Voir également notre article sur le château de Jossigny, 2012.