La légende raconte que Victor, officier des légions romaines converti au christianisme, est supplicié vers 228 parce qu'il refuse d'offrir de l'encens à Jupiter et renverse l'autel. L'empereur Maximien lui fait couper un pied, le fait écraser par une meule puis décapiter avec ses compagnons évangélisateurs. Leurs corps, jetés à la mer, sont ramenés par un ange dans une petite grotte, au-dessus de laquelle Cassien fonde vers 413 un monastère en son honneur.
Détruite par les Sarrasins, l'église est reconstruite au XIe siècle, puis fortifiée par Urbain V au XIVe. Les cryptes contiennent la basilique primitive.
L'esplanade offre une vue magnifique sur le Vieux-Port, à l'entrée duquel on peut apercevoir le fort Saint-Nicolas, le fort Saint-Jean et la Major.