Dès le XIIIème siècle, expulsée du Royaume de France, une communauté juive rejoindra le Comtat Venaissin et habitera la Place de la Juiverie (ancienne Carrière) fermée par deux portes pendant la nuit.
Sous l’égide des Papes, les Juifs vivront relativement libres et participeront activement à la prospérité de la ville. Entre le XVème et le XVIIème siècle, la réglementation papale à leur encontre se durcit et ils sont relégués dans quatre villes dont L’Isle-sur-la Sorgue, Cavaillon, Carpentras, et Avignon. Ce n’est qu’en 1791, lors du rattachement du Comtat Venaissin à la France qu’ils recouvrent leur indépendance.
Autrefois, il existait une synagogue. A présent, il reste une bâtisse sur quatre niveaux, seul témoignage de l’ancienne carrière.
Entrée par la Rue Lopez ou la Rue Alfred de Musset ou la Rue de l’Hôtel de Ville.
Les informations touristiques disposées sur une signalisation sur la place centrale sont accessibles aux personnes en fauteuil grâce à une pente aménagée dans l'un des quatre coins de cette place.