Det lilla och dåligt underhållna kapellet byggdes till ett helgons ära då helgonet hade räddat en präst från en säker död, enligt texten på en vägg.