Ο έρημος, πλέον, βράχος του Ξώμπουργου κυριαρχεί στο μέσον του νοτίου τμήματος της Τήνου. Ανεβαίνοντας ως την κορυφή του μέσα από τα λιγοστά ερείπια που έχουν απομείνει, θα απολαύσετε μοναδική θέα στην Τήνο και στα γειτονικά νησιά. Στη φυσικά οχυρή αυτή θέση έκτισαν οι Ενετοί το κάστρο τους, μέσα στο οποίο υπήρχαν κατοικίες, μαγαζιά, εκκλησίες. Εξω από το κάστρο κτίστηκε το Ξώμπουργο (από την ιταλική λέξη soborgo, που σημαίνει προάστιο).
Η παλαιότερη οχύρωση στο Ξώμπουργο, ένα κυκλώπειο τείχος του οποίου σώζεται ένα μικρό τμήμα στη ΒΔ πλευρά του λόφου, δημιουργήθηκε γύρω στον 12ο αιώνα π.Χ. Τον 6ο αιώνα π.Χ., κατασκευάστηκε μεγαλύτερο τείχος. Στα βυζαντινά χρόνια που η πειρατεία ανθούσε, το Ξώμπουργο ξανακατοικήθηκε. Οταν το 1207 κατέλαβαν την Τήνο οι αδελφοί Γκίζι, αμέσως ξεκίνησαν την οχύρωση του βράχου, κτίζοντας ένα απόρθητο φρούριο, το κάστρο της Αγίας Ελένης, όπως το έλεγαν, από το εκκλησάκι που υπήρχε στην κορυφή του λόφου.
Οι Τούρκοι κατέλαβαν το κάστρο καθυστερημένα, το 1715, και το γκρέμισαν ολοσχερώς. Οι κάτοικοι του Ξώμπουργου αρχισαν να εγκαταλείπουν τον οικισμό και μέχρι τις αρχές του 20ού αιώνα, είχαν φύγει και οι τελευταίοι.
Στη ρίζα του βράχου έχουν απομείνει δυο ορθόδοξα ξωκλήσια -ο Αγιος Μηνάς και η Ελεούσα- καθώς και το μοναστήρι της Ιεράς Καρδίας του Ιησού, ένα από τα σημαντικότερα καθολικά προσκυνήματα στην Ελλάδα. Ιδρύθηκε αμέσως μετά την κατάληψη του νησιού από τους Τούρκους, από Ιησουίτες μοναχούς. Το αρχικό εκκλησάκι, αφιερωμένο στην Αγία Σοφία, ανακαινίστηκε εκ βάθρων το 1895 και τιμήθηκε στο όνομα της Ιεράς Καρδίας. Η εκκλησία είναι εντυπωσιακή, με ένα μεγάλο άγαλμα του Χριστού στο εσωτερικό της και εικόνες του 17ου αιώνα. Στο προαύλιο θα δείτε το ηρώο με το άγαλμα του Χριστού, έργο του γλύπτη Ιωάννη Φιλιππότη (1951).