Ο οικισμός είναι κτισμένος σε δυο φυσικούς κόλπους και άλλοτε είχε 15 συνοικίες και πολλά καπετανόσπιτα. Οι πλοιοκτήτες, που αποτελούσαν την ανώτερη κοινωνική τάξη του μικρού νησιού, έκτισαν τα πολύ εντυπωσιακά σπίτια τους στη γειτονιά του Κάβου. Τα σπίτια άρχισαν να ερημώνουν λίγο καιρό μετά την παράδοση του Καστελόριζου από τους Γάλλους στους Ιταλούς, το 1921. Το 1943 τα Γερμανικά αεροπλάνα βομβάρδισαν το νησί προκαλώντας μεγάλες καταστροφές και οι κάτοικοι που απέμειναν μεταφέρθηκαν στην Παλαιστίνη. Το 1945 πήραν φωτιά οι αποθήκες καυσίμων του στρατοπέδου που υπήρχε στο νησί με αποτέλεσμα να καούν 1.400 σπίτια. Κάποιοι από τους ξενιτεμένους που επέστρεψαν αναστήλωσαν ορισμένα από τα σπίτια, τα οποία αποτελούν αυθεντικά δείγματα της Δωδεκανησιακής αρχιτεκτονικής. Βρίσκονται στην προκυμαία, στο λεγόμενο Κορδόνι. Είναι βαμμένα με έντονα χρώματα, διώροφα ή τριώροφα, με στενό μέτωπο και δίριχτη κεραμοσκεπή. Σπάνια έχουν αυλή και είναι δομημένα σε επίπεδα που κατανέμονται ανάλογα με τις λειτουργίες τους. Για την κατασκευή τους χρησιμοποιήθηκαν υλικά όπως η ντόπια πέτρα, το ξύλο από την Μικρά Ασία, σιδεριές και κεραμίδια από την Αττάλεια και τη Μασσαλία.