L’ermitage de Santa Ana, comme c’est la règle générale dans ce type de construction, était situé à la périphérie de la ville. Sa construction, probablement née d’une initiative populaire, s’est déroulée dans le premier tiers du XVIe siècle. En plus de la construction de l’ermitage lui-même, la construction de la maison de l’ermite ou « santero » qui était chargé de prendre soin du bâtiment et des biens qu’il contenait a été réalisée en parallèle.
Selon les travaux de D. Antonio Verdejo Martín La confrérie et l’ermitage de Santa Ana de Íllora, bien que les travaux de construction et les réparations continues aient été très longs dans le temps, le culte a été pratiqué dans l’ermitage dès les premiers instants, et c’était même lieu de sépulture de plusieurs habitants de la ville.
L’édifice, probablement de plan rectangulaire, avait une structure voûtée et possédait une tour contenant un gros clocher et un hangar, et devant l’ermitage, il y avait une croix en bois et un puits couvert. À de nombreuses reprises, l’ermitage a dû être réparé, jusqu’à ce qu’il s’effondre en 1766, bien que sa reconstruction ait été effectuée peu de temps après, entre 1770 et 1774.