La chapelle aurait été érigée par Charles Martel, ou un de ses lieutenants, en reconnaissance d'une victoire des Francs sur les Sarrasins à l'aube d'une journée. La tradition populaire a pourtant fait de Charlemagne l'édificateur de cette chapelle, malgré un siècle et demi d'écart. Une légende entoure l'histoire de cet édifice: Le Diable, mécontent de cette construction, décide de détruire la chapelle et de précipiter un rocher du haut de la crête la surplombant. La vierge bienveillante...