Από τον 5ο αιώνα π.Χ., η Καβάλα περιβαλλόταν από προστατευτικό τείχος. Μια σημαντική αλλαγή σημειώθηκε το 1307, επί της βασιλείας του Ανδρόνικου Β’ Παλαιολόγου, οπότε κατασκευάστηκαν εκτεταμένα τείχη που εκτείνονταν από τη θάλασσα έως την κορυφή του λόφου. Το 1391, το βυζαντινό κάστρο κατεδαφίστηκε ολοσχερώς όταν οι Τούρκοι κατέλαβαν την πόλη. Οι Οθωμανοί ανακατασκεύασαν το κάστρο το 1425 και η μορφή που βλέπουμε σήμερα αντικατοπτρίζει σε μεγάλο βαθμό εκείνη την αναστήλωση.