Nel 1756 il pesarese Annibale degli Abbati Olivieri (1708-1789), uno degli eruditi più acuti e geniali del Settecento italiano, cedeva con un atto di donazione alla Comunità – oltre ad una raccolta antiquaria, formata essenzialmente da materiale di scavo quasi tutto pesarese - la sua “libreria” dotata di quasi duemila pergamene e di molte migliaia di opere a stampa e manoscritte di alto valore e significato per la storia e per la cultura della città e, come tale, destinata a costituire il primo nucleo della attuale Biblioteca Oliveriana.

La Biblioteca e l’annesso Museo Archeologico ebbero la loro prima sistemazione in piazzetta San Giacomo, oggi piazza Olivieri, al pianterreno del settecentesco palazzo Olivieri - opera dell’architetto e pittore pesarese Giannandrea Lazzarini (1710 – 1801) - nell’antico centro storico, ove il pubblico degli studiosi fu ammesso per la prima volta il 2 maggio del 1793.

Con la cerimonia inaugurale del 31 luglio 1892 il palazzo Almerici, situato in via Mazza, è divenuto l’attuale sede della Biblioteca e dei Musei Oliveriani.

Le tre sale di lettura sono rispettivamente denominate Olivieri, Passeri e Perticari: nella prima è conservato il busto in marmo bianco di Carrara del fondatore dell’Oliveriana Annibale degli Abbati Olivieri, realizzato dallo scultore pesarese Sebastiano Pantanelli (+ 1792) tra la fine del 1791 e l’inizio del 1792; nella seconda è presente un quadro con il ritratto di Giovanbattista Passeri (1694-1780), uno dei più apprezzati eruditi e archeologi del suo tempo; nella terza è conservata una preziosa parte della biblioteca dell’illustre letterato e linguista Giulio Perticari (1779-1822).

Nel secondo piano è sistemato l’Archivio Storico Comunale unitamente ad una consistente parte del ricco patrimonio librario, che, assieme a quello manoscritto, fa dell’Oliveriana una delle più importanti biblioteche delle Marche.

La Biblioteca Oliveriana è riconosciuta dalla Regione Marche come biblioteca di interesse pubblico locale ai sensi della L. R. n. 53/74 e fa parte di diritto, in ragione di tale qualifica, del sistema bibliografico istituito con la successiva L. R. n. 39/87. Gode del diritto di stampa ai sensi della legge 2/2/1939 n. 347 e successive integrazioni ed è legittimata ad esercitare il diritto di prestito con tutte le biblioteche italiane e straniere.