L’edificio, risalente al XVI secolo, ha subito rimaneggiamenti nei secoli XVII e XVIII che ne hanno modificato l’aspetto originario. Si contraddistingue per una facciata maestosa e un portale bugnato. È stato proprietà dei Conti Moroni e prima della metà del XX secolo venne acquistato dal Cardinale Cento. Dopo la sua morte passò alla Curia e da questa al Comune.

Al primo piano si apre con una statua femminile frammentaria e acefala, nelle sale sono esposti una serie di reperti archeologici.
Il museo si articola in due nuclei principali: il primo, da ritrovamenti occasionali a Montefrancolo, include un torso maschile in marmo probabilmente di Apollo, una statua femminile con chitone e mantello di pelle ferina con testa “a melone” e una testa femminile in arenaria.
Il secondo nucleo proviene da scavi degli anni ’40, sempre a Montefrancolo, con reperti dall’età del Bronzo all’età del Ferro: corno di cervo lavorato, ceramiche, vasi, oggetti di bronzo e vaghi di collana.
Al piano terra sono esposti mosaici pavimentali repubblicani, tra Silla e Augusto, con un prezioso èmblema di caccia al cinghiale, realizzato con tesserine di marmo, terracotta e pasta vitrea, incorniciato da un motivo a rombi (opus vermiculatum) con sfumature che vanno dall’azzurro al verde mare.
L’edificio ospita inoltre una pinacoteca, una raffinata collezione di ceramiche prodotte a Pollenza tra il 1810 e il 1905, mobili d’epoca e una rara raccolta di crocefissi.