Το Απάνω Κάστρο της Δρυμαλίας υψώνεται στο λεκανοπέδιο της Τραγαίας. Η γεωγραφική του θέση υποδηλώνει τη σημασία που είχε το κάστρο στην αρχαιότητα για ολόκληρο το νησί της Νάξου.

Βρίσκεται σε καίριο σημείο και αυτό αποδεικνύει ότι χρησίμευε ως φρούριο για την φύλαξη της περιοχής από τους πειρατές. Κατά μήκος των τοίχων του κάστρου υπάρχουν τα εκκλησάκια της Βυζαντινής περιόδου Άγιος Γεώργιος και Παναγιά η Καστριανή.
Το σημαντικότερο όμως μνημείο του κάστρου είναι τα δύο αρχαία νεκροταφεία. Εκεί υπάρχουν τα τοπωνύμια «Σκλάβες» και «Μνηματάκια των σκλάβων», τα οποία συνδέονται άμεσα με την ιστορία του κάστρου και τις επιθέσεις που αυτό δέχτηκε από τους πειρατές. Δυστυχώς στις επιθέσεις αυτές, οι περισσότεροι κάτοικοι πιάνονταν αιχμάλωτοι και βασανίζονταν βάναυσα από τους κατακτητές.

Υπάρχουν πολλοί σχετικοί μύθοι και θρύλοι στους οποίους οι πειρατές ξεγελώντας συνήθως μια γριά έπαιρναν τα κλειδιά του κάστρου, αιχμαλωτίζοντας και σκοτώνοντας στη συνέχεια τόσο την ίδια όσο και τους υπόλοιπους κατοίκους. Ακόμη και σήμερα, στέκουν επιβλητικά τα απομεινάρια εκείνης της τρικυμιώδους εποχής, οι παλιές πολεμίστρες, οι στοές, τα μισογκρεμισμένα τείχη, τα εγκαταλελειμμένα νεκροταφεία και τα ξωκλήσια.

Το κάστρο ανοικοδομήθηκε από τον Μάρκο Σανούδο για να το κατοικήσει, άλλα τελικά επέλεξε το κάστρο της χώρας. Το κάστρο τελικά αποτέλεσε μόνιμη κατοικία του Δούκα του νησιού. Η επίσκεψη στο απάνω κάστρο, είναι μια μοναδική εμπειρία, που κάθε επισκέπτης της Νάξου δεν πρέπει να παραλείψει. Η θέα είναι μοναδική και η περιήγηση στο χώρο του κάστρου αναβιώνει ιστορίες με δούκες και πρίγκιπες, πειρατές και χαμένους θησαυρούς.