Le passé historique de Bargème est étroitement lié à la dynastie des Pontevès.
Le château de Pontevès est mentionné dès 1225 et fut détruit pendant les guerres de religion. une grande partie des constructions intérieures a été démolie, mais sa silhouette se dessine encore, grâce aux éléments défensifs conservés. C'est un vaste quadrilatère flanqué de tours rondes et d'un imposant donjon carré.
