La maison est trop petite, vétuste et sans confort. Mais qu’importe ! Elle est imprégnée d’un peu d’atmosphère familiale et il suffit de “l’agrandir”. Avec l'aide de l'architecte Albert Laprade qui fut son collaborateur au Maroc, il fait construire à l'aplomb du logis deux ailes. L'une se prolonge par une grande demeure, aux toits de tuiles inclinés, agrémentée d'une tour et s’ouvrant sur le parc. L'autre se termine par une petite tour carrée équilibrant le tout. La tour est reliée au nouveau bâtiment par un passage avec des arcades franchissant la cour de l'ancienne demeure.
Les travaux commencés en 1920 s'achevèrent en 1924. Au dehors, il avait aménagé, tel qu’il apparaît aujourd’hui, le parc bordé par le cours du Brénon, en traçant des allées, créant des massifs fleuris, plantant de nouvelles essences, creusant une pièce d'eau et mettant en valeur les statues des Quatre Saisons de Guibal rescapées du désastre de Crévic .
Il vient s’y installer à partir de novembre 1925, à son retour du Maroc,  : il a 71 ans. Pendant plusieurs mois, il met un soin particulier à mettre tout en place, à mêler l’ancien et le contemporain, à décorer, bref à donner une âme à sa demeure. Et puis, c’est un dérivatif contre l’ennui qui le ronge, lui qui venait d’assumer des responsabilités équivalentes à celles d’un Chef d’Etat. C’est aussi pour oublier les conditions humiliantes de sa relève au Maroc et de son retour. Il se passionne d’autant plus qu’il aime la décoration et la mise en scène : ne répétait-il pas depuis toujours qu’il aurait voulu être tapissier !
Il va partager son temps entre son appartement parisien de la rue Bonaparte, surtout en hiver et Thorey  où tout a été prévu pour accueillir avec faste ses invités de marque et mettre à l’aise ses amis. A partir de 1927, la responsabilité de Commissaire Général de l’Exposition Coloniale de 1931 le contraindra à de nombreux séjour à Paris.

1926 - Le Sultan Moulay Youssef reçu à Thorey

Le Général Weygand chez Lyautey