Seigneur de Saint Romain à partir de 1415, le Maréchal de France, Gilbert de LAFAYETTE fit d’importants travaux dans son château , le rendant ainsi plus confortable à habiter et plus difficile à conquérir.
La branche Saint Romain des LAFAYETTE poursuivit son oeuvre de développement de la seigneurie, mais elle s’éteignit à la fin du XVème siècle, l’un de ses derniers descendants mâles fut le Père JOSEPH, l’Eminence Grise, conseiller particulier de Richelieu. Domaine de la Duchesse d’Uzès au XVIIème siècle, le château n’abrite alors que des gardes et des officiers seigneuriaux