L'appellation de l'édifice s'explique par une vieille coûtume locale : les femmes stériles ou désirant un enfant montaient à la chapelle avec deux oeufs. Arrivées sur place, elles devaient en gober un et déposer l'autre dans la chapelle, pour venir le reprendre l'année suivante. Il y a peu de temps encore, on pouvait effectivement voir quelques oeufs disposés à l'intérieur, sur les côtés ou dans les niches aménagées.