O culto a Nossa Senhora da Penha começou como culto a Nossa Senhora dos Prazeres, ou Nossa Senhora das Alegrias, a virgem representada no quadro trazido da Espanha por Frei Pedro Palácios
Quando o frei começou a erguer a capela da virgem, ao lado da ermida de São Francisco, no campinho, perto das palmeiras, ele encomendou uma imagem a um portador que ia para Portugal