L'origine dei Museo Oliveriano di Pesaro si deve, come per la biblioteca, al lascito di Annibale degli Abbati Olivieri Giordani che lasciò alla città di Pesaro la sua raccolta di materiale archeologico e numismatico, comprendente anche la collezione assegnatagli sotto forma di legato dall'amico Giovan Battista Passeri. A queste prime collezioni si aggiunsero in seguito la raccolta di lapidi che Passeri aveva scelto di conservare nella propria casa e che in seguito era divenuto di proprietà dei Padri Cappuccini di Pesaro, altre donazioni di cittadini e le numerose iscrizioni e sculture del Cassi.