Λόγω του ότι στην Κάσο δούλεψαν σχεδόν αποκλειστικά Καρπάθιοι τεχνίτες, η παραδοσιακή αρχιτεκτονική του νησιού είναι σχεδόν πανομοιότυπη με αυτήν της Καρπάθου. Συναντάμε κι εδώ την απλή μονόχωρη κατοικία και το «χοχλάκι», το ασπρόμαυρο βοτσαλωτό στην μικρή αυλή. Χαρακτηριστική είναι η παρουσία του σουφά, όπου κοιμόταν η οικογένεια, και η έκθεση των περίτεχνα διακοσμημένων πιάτων σε ξύλινα ράφια στους τοίχους. Σε αντίθεση με τα υπόλοιπα Δωδεκάνησα, όπου η Ιταλοκρατία άφησε έντονα τα σημάδια της, η ιταλική αρχιτεκτονική είναι εμφανής μόνο στο κτίριο του Διοικητηρίου, όπου σήμερα στεγάζει όλες τις δημόσιες υπηρεσίες.
Σε πολλές ορεινές περιοχές της Κάσου συναντάμε τα γνωστά από την Κρήτη μητάτα, τα αυτοσχέδια θολωτά ξηρολιθικά κτίσματα που χρησίμευαν ως εφήμερες κατοικίες για τους βοσκούς. Ενδιαφέρον παρουσιάζουν το παραδοσιακό «Σπίτι της Μπουρέκας» κοντά στο ναό της Αγίας Μαρίνας, το «Κονάκι» στο Φρυ, και οι οικίες Παπαδάκη, Πελαγιάς και Φονάρη στο Αρβανιτοχώρι.