L’impianto originario dell’edificio risale al XVI secolo ma esso ha subito vari rimaneggiamenti nel corso del tempo che ne hanno modificato l’assetto originario.
È stato proprietà dei Conti Moroni di Roma e intorno al 1940 fu acquistato dal Cardinale Cento, come attesta lo stemma collocato sopra il portone d’ingresso in bugnato. Dopo la sua morte, nel 1974, per sua espressa volontà testamentaria, il palazzo passò alla Curia e da questa al Comune che lo acquistò con l’intento di farne un vero e proprio polo culturale cittadino. Nel Palazzo, infatti, venne presto trasferita l’intera collezione di proprietà del Cardinale, già presente negli archivi comunali.
Il palazzo ospitò anche la famiglia Leopardi di Recanati, che lo utilizzava come luogo di villeggiatura, ospitando anche l’allora giovanissimo Giacomo Leopardi.
Il nucleo principale del museo è costituito dalle pazienti raccolte di due concittadini: Giuseppe Fammilume e don Nazzareno Buldorini che fin dal 1928 iniziarono a ricercare, catalogare e conservare oggetti, carte, documenti e quant’altro testimoniasse l’evoluzione storica della città. Altro materiale venne ad arricchire il museo con le donazioni degli eredi del cardinale Fernando Cento e delle famiglie Niccolai, Monti, Failla e di altri cittadini. Oltre alle ceramiche e ai reperti archeologici databili al IX e VII secolo a.C., a statue e teste del periodo romano, si conservano nel Museo arredi del XVIII secolo; oggetti appartenenti al Cardinale Fernando Cento, documenti napoleonici, costumi del folklore marchigiano, un’esposizione di armi, vessilli delle società artigiane locali, dipinti provenienti da antiche chiese del territorio e dal patrimonio comunale oltre a dipinti di arte contemporanea di pittori pollentini. Interessante è la collezione di crocifissi, in gran parte appartenuti al cardinale Cento, con l’integrazione di altri crocifissi e statue lignee del luogo.
