Από τα βυζαντινά χρόνια το μεγαλύτερο πρόβλημα των νησιών του Αιγαίου ήταν η πειρατεία. Οι κάτοικοι για να προστατευτούν δημιούργησαν κάστρα στα οποία προσέφευγαν όταν δινόταν το σήμα συναγερμού. Από τα χρόνια της Φραγκοκρατίας στη Θήρα αναφέρεται η ύπαρξη πέντε κάστρων τα οποία πρέπει να κτίστηκαν μεταξύ 14ου και 18ου αι. Ο Σκάρος στο Ημεροβίγλι ήταν το σημαντικότερο. Δεύτερο κατά σειρά ερχόταν το Καστέλι της Επάνω Μεριάς, της σημερινής Οίας, το οποίο ονομάστηκε του Αγίου Νικολάου. Το τρίτο βρισκόταν στην περιοχή του Πύργου, το τέταρτο στο Εμπορείο και το πέμπτο στον οικισμό του Ακρωτηρίου. Τα τέσσερα τελευταία πριν από τον καταστροφικό σεισμό του 1956 διατηρούνταν σε πολύ καλή κατάσταση.
Χαρακτηριστικό των Καστελιών ήταν οι αμυντικοί πύργοι-παρατηρητήρια, που ονομάζονται Γουλάδες (από την τουρκική λέξη κουλές). Ηταν πολυώροφοι, με χοντρούς τοίχους και ορθογώνιες κατόψεις. Αποτελούσαν τα ύστατα καταφύγια των κατοίκων σε περίπτωση επίθεσης. Οι Γουλάδες βρίσκονταν μέσα στα Καστέλια (όπως στην Οία και στο Ακρωτήρι), ή έξω από αυτά (όπως στα Φηρά και στο Εμπορείο) ώστε να καταφεύγουν εκεί οι αγρότες.
