Construit sur l'emplacement d'un camp gallo-romain, Brandon, jusqu'au XVIeme siècle, constituait un élément de défense du Duché de Bourgogne, puis fut aménagé en résidence.
Brandon est inscrit à l’Inventaire Supplémentaire des Monuments Historiques depuis le 10 juin 1975.