En 1387, Guichard de Villeneuve reçoit ce fief des Comtes de Provence. La famille de Villeneuve fait construire l’actuel château en 1430 en aménageant la Tour datant du XIIe siècle.
Il est constitué de trois étages. Il abrite l’Hôtel de Ville depuis la Révolution et la fuite du dernier des Villeneuve, César. L’escalier monumental datant du XVIIe siècle a été restauré à la fin du XXe siècle.
