Κάτασπρα σπίτια με μπλε παράθυρα ανηφορίζουν από το λιμάνι του Πέρα Γιαλού προς τα ριζά του βενετσιάνικου κάστρου, καβαλάνε τον «αυχένα» και ατενίζουν τον όρμο του Λιβαδιού. Η Χώρα της Αστυπάλαιας θα μπορούσε να είναι μια από τις γραφικότερες πρωτεύουσες …των Κυκλάδων, αν δεν ανήκε διοικητικά στα Δωδεκάνησα. Και να σκεφτείτε ότι πριν από 180 χρόνια εδώ υπήρχε μόνο το κάστρο, καθώς ο φόβος των πειρατών δεν επέτρεπε στους κατοίκους την επέκταση του οικισμού έξω από τα τείχη. Μόνο μετά το 1830 άρχιζαν να κτίζονται οι δυο πλευρές του δρόμου που συνέδεε το παλιό λιμάνι με τον οχυρωμένο λόφο και ως το 1947 είχαν διαμορφωθεί επτά συνοικίες: Ασβεστωτή,Καράη, Πορταΐτισσα, Μεγάλη Παναγιά, Σταυρός, Παπαδάκη και Πέρα Γιαλός.
Τα σπίτια του οικισμού δεν διαφέρουν από τα παραδοσιακά κυκλαδίτικα, καθώς κι εδώ κυριαρχεί η κυβιστική φόρμα, οι ασβεστωμένοι τοίχοι και η εσωτερική διαρρύθμιση σε κατώγι και ανώγι. Πολλά έχουν ξύλινα μπαλκόνια και υπέρθυρα με βενετσιάνικες επιρροές.
Για να μπείτε στον οικισμό περνάτε υποχρεωτικά από τους οκτώ ανεμόμυλους. Στο πλάτωμα μπροστά τους σταθμεύουν όλα τα αυτοκίνητα που έρχονται ως εδώ.
Στην πλατεία της Χώρας βρίσκεται το Δημαρχείο, η Δημοτική Βιβλιοθήκη και λίγο πιο κάτω το παραδοσιακό καφενείο του «Μουγγού». Από το ύψος του Δημαρχείου ξεκινούν τα δυο κεντρικά καλντερίμια που καταλήγουν στο κάστρο. Το ένα διασχίζει την ενορία της Πορταΐτισσας με θέα προς τον όρμο του Λιβαδιού. Το άλλο περνάει από την Μεγάλη Παναγιά, έναν κομψότατο αιγαιοπελαγίτικο ναό με γαλάζιο τρούλο και βοτσαλωτό προαύλιο, αγναντεύοντας τον Πέρα Γιαλό.