Le musée fut fondé en 1821 par la volonté des élus et notables locaux de redonner à la cité son ancien lustre de capitale comtoise.
Un fonds de peintures et de sculptures anciennes a constitué essentiellement par donations, dans un premier temps, le noyau des collections.
Puis, une section archéologique a enrichi significativement le musée au tournant du XXe siècle.
Depuis 1980, le pavillon des officiers, bel exemple d’architecture militaire comtoise du XVIIIe siècle, accueille les collections et les expositions temporaires. Il a été rénové par l’architecte Louis Miquel, dans l’esprit de Le Corbusier dont il fut l’élève.
Comme le bâtiment qui articule une architecture ancienne et une rénovation contemporaine, les collections et le programme d’expositions temporaires instaurent un dialogue entre art contemporain et art ancien.