L'origine della chiesa di San Pietro e Paolo al Caveoso presenta parecchi elementi di incertezza. Si ritiene che la sua edificazione risalga al 1218; poi, nel corso degli anni la chiesa ha subito modifiche e cambiamenti che ne hanno determinato l'attuale conformazione. La facciata ha subito diversi interventi di ristrutturazione; è molto semplice e presenta elementi che richiamano il barocco; vi sono tre portali sui quali sono collocate altrettante nicchie che ospitano delle statue: sul portale maggiore la Madonna, a sinistra San Pietro e a destra San Paolo. Nel XVII secolo è stato edificato il campanile a base quadrata che presenta una balaustra adornata con elementi geometrici. Nel 1752 la chiesa fu riaperta al culto dall'arcivescovo Lanfranchi, in questa occasione furono apportate ulteriori modifiche: al campanile fu aggiunta una cuspide simile a quella della Cattedrale, mentre all'interno venne collocato un controsoffitto in legno decorato da notevoli opere di pittura realizzate da artisti locali. L'interno è a tre navate con transetto. Nella navata centrale è collocato l'altare maggiore in legno intagliato e dorato, realizzato nel Settecento da maestranze locali; al di sopra vi è un polittico del Cinquecento. La navata di sinistra è adornata da quattro cappelle, mentre in quella di destra sono rimasti solo i segni: questo lato ha subito un pesante rimaneggiamento quando la chiesa fu distaccata dalla rupe di Monterrone per favorire la realizzazione di un oratorio e di un accesso carrabile ai rioni Malve e Casalnuovo. All'interno vi sono molti elementi artistici di pregevole fattura.