Την εποχή των ιστορικών χρόνων, αν και οι κάτοικοι ήταν Δωριείς και βρίσκονταν κάτω από την επιρροή της Σπάρτης, η Ανάφη προσχώρησε στην Αθηναϊκή Συμμαχία καταβάλλοντας ετησίως 1000 δραχμές. Μετά την Αλωση της Πόλης το 1204 από τους Φράγκους, περιήλθε στον Μάρκο Σανούδο, ο οποίος την παρεχώρησε το 1207 στον Βενετό Λεονάρδο Φώσκολο. Την εποχή εκείνη το νησί ήταν γνωστό με την παραφθαρμένη ονομασία Namfio.
To 1269 ο τρομερός Αναφιώτης πειρατής Ιωάννης Δελοκάβος την απελευθέρωσε από τους Λατίνους, όμως το 1307 βρέθηκε κάτω από την εξουσία του Γιαννούλη Γκοτζαντίνι από τη Μπολώνια. Από το 1397 η Ανάφη αποδόθηκε στον οίκο των Κρίσπι.
Με την συνθήκη του 1419 ανάμεσα στους Οθωμανούς και τους Βενετούς, μαζί με τα υπόλοιπα κυκλαδονήσια παρέμεινε στην κυριαρχία των Βενετών. Τότε ο Ιάκωβος Κρίσπι την έδωσε στον αδελφό του Γουλιέλμο, ο οποίος μετά τον θάνατο του ανιψιού του και διαδόχου του δουκικού θρόνου Ιωάννη Ιακώβου Κρίσπι, το 1453 αναγορεύθηκε Δούκας της Νάξου και παραχώρησε την Ανάφη στη κόρη του Φιορέντζα. Το 1528 με κληρονομικό δικαίωμα ήρθε η σειρά του οίκου Πιζάνι να ηγεμονεύσει στο νησί, αλλά το 1537 καταλήφθηκε από τον Χαϊρεντίν Μπαρμπαρόσα για να γίνει φόρου υποτελής στον Βενετό βαϊλο (πρόξενο) στη Κωνσταντινούπολη. Οσον αφορά την εκκλησιαστική κατάσταση, η Ανάφη από το 1571 ανήκε ως εξαρχία στην Αρχιεπίσκοπο της Σαντορίνης, ενώ το 1646 υπάχθηκε στην αρχιεπισκοπή της Σίφνου.
Το νησί υπέφερε συνεχώς από πειρατικές επιδρομές, ιδιαίτερα τον 15o αιώνα από Τούρκους και Καταλανούς, κι έτσι πολλοί κάτοικοι αναζήτησαν καταφύγιο στη Κρήτη. Με τις πειρατικές επιδρομές σχετίζεται η ανέγερση από τον Γουλιέλμο Β’ Κρίσπι του κάστρου Gibitroli στα ανατολικά του νησιού, κοντά στην Παναγία την Καλαμιώτισσα. Θλιβερή ανάμνηση αποτελεί η λεηλασία το 1799 από πειρατές. Την εποχή του βασιλιά Οθωνα κάτοικοι της Ανάφης πήγαν στην Αθήνα για να προσφέρουν την εργασία τους στην ανοικοδόμηση της νέας πρωτεύουσας. Δημιούργησαν τη γραφική συνοικία των Αναφιώτικων κάτω από τη βόρεια πλευρά του βράχου της Ακρόπολης.