À sa construction vers 1723, le château était constitué d’un grand corps de logis flanqué de deux pavillons latéraux aux toits légèrement surélevés. Au centre se trouvait un embryon de pavillon légèrement en saillie surmonté d’un fronton triangulaire qui ne dépassait pas la hauteur des lucarnes du corps de logis. Celui-ci était relié aux bâtiments de service.
Lors de la rénovation du château après la Révolution française, le château est séparé des communs, les pavillons central et oriental sont encastrés de pilastres de granit gris-bleu de Lanhélin et le pavillon central est surmonté d’un nouveau fronton de pierre blanche où est gravé le blason de la famille des Caradeuc accolé à celui des Martel (épouse de Raoul Caradeuc de la Chalotais) ainsi que la devise des Caradeuc : « Arreste ton cœur ». Le péristyle d’entrée est édifié, mais le pavillon occidental est laissé en mauvais état.
L’architecture actuelle du château date de la fin du XIXe siècle. Sous la direction de l’architecte Mellet, les toitures des pavillons sont rehaussées — le pavillon ouest a entre-temps été supprimé — afin de leur donner un aspect à la Mansart, les lucarnes de pierre blanche sont remplacée par de nouvelles en granit de Kérinan. Les anciennes colonnes du péristyle sont supprimées ; il est actuellement constitué de deux paires de colonnes jumelées surmontées d’une balustrade en pierre. Sur la façade nord, un imposant escalier à double révolution mène à deux terrasses munies de balustrades courant au long du corps de logis.