Il palazzo fu proprietà dei Conti Moroni di Roma e intorno al 1940 fu acquistato dal Cardinale Fernando Cento (1883-1973), come attesta lo stemma collocato sopra il portone d’ingresso in bugnato. Dopo la sua morte, nel 1974, per sua espressa volontà testamentaria, il palazzo passò alla Curia e da questa al Comune che lo acquistò con l’intento di farne un vero e proprio polo culturale cittadino. Nel Palazzo venne presto trasferita l’intera collezione di proprietà del Cardinale, già presente negli archivi comunali.
Il palazzo ospitò anche la famiglia Leopardi di Recanati, che lo utilizzava come luogo di villeggiatura, ospitando anche l’allora giovanissimo Giacomo.
Il Museo Civico, situato al secondo piano, nasce con lo scopo di raccogliere opere d’arte e materiale relativo alla vicenda storica e culturale di Pollenza.
Il nucleo principale del museo è costituito dalle pazienti raccolte di due concittadini: Giuseppe Fammilume e don Nazzareno Buldorini che fin dal 1928 iniziarono a ricercare, catalogare e conservare oggetti, carte, documenti e quant’altro testimoniasse l’evoluzione storica della città. Altro materiale venne ad arricchire il museo con le donazioni degli eredi del cardinale Fernando Cento e delle famiglie Niccolai, Monti, Failla e di altri cittadini. Le sue sale ospitano anche ceramiche, reperti archeologici databili al IX e VII secolo a.C., statue e teste del periodo romano, arredi del XVIII secolo, oggetti appartenenti al Cardinale Fernando Cento, documenti napoleonici, costumi del folklore marchigiano, armi, vessilli delle società artigiane locali, dipinti provenienti da antiche chiese del territorio e dal patrimonio comunale, e anche dipinti di arte contemporanea di pittori pollentini. Interessante è la collezione di crocifissi, in gran parte appartenuti al cardinale Cento, con l’integrazione di altri crocifissi e statue lignee del luogo.