Ιδρύθηκε από τον Βενετό αξιωματούχο του Δουκάτου της Νάξου, Giovanni Querini το 1413, σε μια εποχή που το νησί είχε ερημώσει από τις αλλεπάλληλες πειρατικές επιδρομές. Το κτίσιμό του από ντόπιο σιδηρούχο πέτρωμα στη θέση που κατείχε η αρχαία ακρόπολη του νησιού, αναγέννησε τον οικισμό και εξασφάλισε την επιβίωσή του έναντι των επίδοξων εισβολέων.Ακόμη και σήμερα εντυπωσιάζει για την οχυρωματική αρχιτεκτονική του. Η μοναδική είσοδός του βρίσκεται στην ΝΔ πλευρά και δεν είναι παρά ένα χαμηλό διαβατικό σκεπασμένο με σταυροθόλια. Σε αρκετά σημεία το περιτείχισμα ακουμπούσε σε ενισχυμένους τοίχους κατοικιών. Ονομάζονται «ξώκαστρα» και σχημάτιζαν γύρω του έναν δακτύλιο σαν δεύτερη γραμμή άμυνας. Κάποια σώζονται ακόμα κι έχουν αρχίσει να αναπαλαιώνονται. Εντός των τειχών τα περισσότερα οικήματα έπεσαν από σεισμό το 1956. Σώζεται πύργος στο νότιο άκρο του κάστρου, το λεγόμενο «σαράι» και δυο εκκλησίες οι οποίες με τους ασβεστωμένους τοίχους τους διακόπτουν την κυριαρχία της γκρίζας πέτρας. Η πρώτη, κοντά στην είσοδο είναι η Παναγία του Κάστρου, κτισμένη το 1853 κι αφιερωμένη στον Ευαγγελισμό της Θεοτόκου. Για την ανέγερσή της χρησιμοποιήθηκε δομικό υλικό από τις κατοικίες των Querini. Πιο μέσα στο κάστρο σε άλλο σημείο βρίσκεται ο ναός του Αγίου Γεωργίου. Χρονολογείται από το 1790 και ο ανοιχτός χώρος μπροστά του αποτελούσε την «πλάτσα», την κεντρική πλατεία όπου γίνονταν οι συναθροίσεις της καστροπολιτείας.