Ce bel hôtel particulier du XVIIe accueillit de nombreux artistes illustres tels Cocteau, Leiris et surtout Picasso qui y avait un atelier (les portraits qu'il a réalisés de son hôtesse figurent parmi les fleurons du musée). Les collections qui occupent ces murs vénérables couvrent une période allant du XIIIe siècle à nos jours.