Ce château fort primitif date sans doute du XIIIème siècle et avait été construit sur un promontoire rocheux dominant la Vallée de la Vie. Les deux magnifiques tours actuelles faisaient partie d’un château Renaissance construit dans la première moitié du XVIème siècle par Philippe CHABOT de BRION, Amiral de France et ami du Roi François 1er, à l’emplacement d’une partie de la forteresse médiévale. Le Roi Louis XIII y séjourna le 17 avril 1622 après sa victoire à Riez sur les troupes protestantes de Soubise.