Construit entre le XVIIème et XVIIIème siècle, adossé à la Cathédrale de Saint-Sauveur, le palais était le centre du pouvoir ecclésiastique jusqu’à la Révolution.
Il est bâti plus précisément de 1650 à 1730 par l’architecte Laurent Vallon qui se charge de créer un logement pour les archevêques aixois.
La façade ouest comporte un gigantesque portail, fermé par une magnifique porte en noyer. Bernard Turreau (ou Toro) s'est chargé de la sculptée. Elle est caractérisée par le style Régence : moulures épaisses, fines arabesques, chute de fleurs du battement central, large traverse d’imposte avec une frise végétale et un masque de jeune homme enturbanné.
Le palais prendra de l'importance sous le Premier Empire grâce au cardinal Joseph Fesch. Il deviendra un marqueur du lien fort entre Aix et la famille royale.
Le cardinal Fesch est l’oncle de Napoléon. Il fit ses premiers séminaires à Aix, il y sera également ordonné prêtre. Son neveu, Lucien Bonaparte fera, lui aussi, son séminaire là-bas jusqu'au début de la Révolution.
L’ancien Palais ne fut pas un lieu de résidence directe pour la famille royale mais il est témoin du lien entre la ville d’Aix et cette dernière. De plus, il symbolise l’ancrage de la famille Bonaparte dans l’instruction religieuse.
Il servira néanmoins d'hôtel occasionnel à certaines grandes figures : François 1er, Charles IX, Catherine de Médicis, Anne d'Autriche, la duchesse d'Angoulême...
Dans le palais se trouve un souvenir impérial, visible au public : une plaque commémorative de la Légion d’Honneur sur le pilastre gauche du portail d’entrée. Cette plaque permet de rappeler que la ville d’Aix était un siège de cohorte sous l’Empire.
Il a été classé en 1942. Aujourd'hui, il accueille le Festival international d’art lyrique, chaque été et il abrite désormais le Musée des Tapisseries. Le visiter permet d’apprécier l’architecture de cet ancien palais.