La tour du XIe siècle et son escalier voûté du XIe siècle, le mur de courtine, la salle voûtée du sous-sol, les tours demi-rondes à l’angle ouest du château, la tour transformée en maison d’habitation à l’est, constituent ce qui reste de la forteresse médiévale remaniée au XVIe siècle.
Construit au XVIIe siècle, le « Château-neuf » fut complètement rasé à la Révolution française et l’on peut en voir une représentation à la porte Conti. Les révolutionnaires ne laissèrent debout que la tour, en hommage à Jean-Jacques Rousseau, l’un des principaux écrivains-philosophes du siècle des Lumières et précurseur d’idées nouvelles dont les révolutionnaires se réclamèrent. Après la parution du Contrat social et de Émile ou De l’éducation, l’arrêté du Parlement de Paris du 9 juin 1762 décrète que : « Jean-Jacques Rousseau sera pris et appréhendé au corps et amené ès prisons de la Conciergerie du Palais… ».
Dès lors l’auteur n’a de cesse de fuir et Louis François de Bourbon, dernier prince de Conti lui offre sa protection et l’asile en son château de Trye. Ce refuge, situé à moins d’une lieue de Gisors, qui dépendait de la juridiction du parlement de Rouen, permettait ainsi une échappée facile. Il s’installa dans la chambre au dernier étage de la tour, sous le nom de Renou, de juin 1767 à juin 1768.
De 1857 à 1878, le comte Joseph Arthur de Gobineau, diplomate, écrivain et maire de Trie-Château, en fut le propriétaire.
Cet ensemble est Inscrit Monument Historique depuis 1956.
