La fortezza fu radicalmente trasformata da Innocenzo III e da Urbano V. Quest'ultimo la scelse come residenza estiva durante gli anni in cui rimase in Italia: dal 1367 al 1370. Durante il periodo della cattività avignonese, era il centro degli affari politici dell’intero Patrimonio di San Pietro in Tuscia, termine con cui si indicava l’attuale provincia di Viterbo. Ha avuto un ruolo fondamentale soprattutto grazie al cardinale Egidio Albornoz. Verso la fine del XV secolo, Alessandro IV avviò un programma di adeguamento militare delle fortezze papali, e Antonio da Sangallo il Vecchio elaborò un progetto per il rifacimento della Fortezza di Montefiascone, al fine di adattarla alle nuove esigenze belliche derivanti dall’uso della polvere da sparo e dei cannoni. Nei primissimi anni del XVI secolo, papa Giulio II ordinò che si proseguissero i lavori di restauro e poi Leone X affidò la direzione dei lavori ad Antonio da Sangallo il Giovane. L'inizio del declino del monumento viene attribuito a Paolo III Farnese, che trasferì i cannoni dalla Rocca alla fortezza che aveva fatto costruire a Perugia e spostò la sede del Rettore del Patrimonio a Viterbo. Alla fine del XVII secolo, la fortezza fu ceduta in usufrutto al cardinale Barbarigo, che ne prelevò il materiale per la costruzione del seminario e utilizzò le strutture rimaste come magazzino e tipografia.