Κτισμένη σε περίβλεπτο σημείο, ορατή από όλα τα σημεία του ορίζοντα, η εκκλησία είναι αφιερωμένη στην Παναγία. Οι ντόπιοι την ονόμασαν Παναγία Γκρεμιώτισσα και ο θρύλος λέει πως η θαυματουργή εικόνα ταξίδεψε πάνω σε μια σχεδία, με ένα αναμμένο καντήλι συνέχεια δίπλα της, που δεν έσβησε ούτε από τα κύματα ούτε από τους ανέμους, οδηγώντας τους πιστούς από την τουρκοκρατούμενη Κρήτη μέχρι τις ακτές της Ίου. Μια άλλη τοπική παράδοση θέλει την εικόνα της Παναγίας με τον Χριστό να έχει βρεθεί στον όρμο του Μυλοπότα, μέσα στα βράχια, φωτισμένη από ένα καντήλι. Οι κάτοικοι την μετέφεραν στο ναό του Τιμίου Σταυρού. Ως εκ θαύματος όμως, η εικόνα μεταφερόταν τη νύχτα στο σημείο που τη βλέπετε σήμερα -κι έτσι κτίστηκε εκεί η νέα εκκλησία προς τιμήν της Παναγίας.
Ανηφορίζοντας μέχρι το προαύλιο της Γκρεμιώτισσας κι ακόμα πιο πάνω, στα τρία εκκλησάκια που υπάρχουν στη διαδρομή μέχρι την ψηλότερη κορυφή του βράχου (Άγιος Νικόλαος, Άγιος Ιωάννης, Άγιος Ελευθέριος), θα καταλάβετε γιατί οι άνθρωποι του νησιού πιστεύουν ότι βρίσκονται διαρκώς υπό τη σκέπη της Παναγίας.