Nadat het pauselijk hof zich in de XIVe eeuw geïnstalleerd had in Avignon werd het complex, dat eigenlijk uit 2 paleizen bestaat, gebouwd tussen 1334 en 1352.

Het is een van de grootste feodale kastelen en beslaat een oppervlakte van meer dan 15.000m2.