Η πόλη της Καστοριάς, σ' όλη τη διάρκεια της πολυτάραχης ιστορίας της, εκτός από τη φυσική οχύρωση που της προσέφερε περιμετρικά η λίμνη, περιβαλλόταν από ισχυρά τείχη, τα οποία της παρείχαν επιπλέον ασφάλεια. Μία στενή λωρίδα γης προσέφερε τη μοναδική είσοδο από την ξηρά. Από τα χρόνια του Ιουστινιανού υψώνονταν στον λαιμό της χερσονήσου ισχυρότατα τείχη, τα οποία οικοδομήθηκαν στην απότομη πλαγιά ενισχυμένα με στρόγγυλους και τετράγωνους πύργους. Από ισχυρά τείχη περικλειόταν και η βυζαντινή πόλη πάνω στη χερσόνησο. Οι Βυζαντινοί κατοικούσαν και έξω από την περιτειχισμένη πόλη, όπου υπήρχαν σημαντικοί ναοί, μικρά και μεγάλα μοναστήρια και νεκροταφεία. Τα Ιουστινιάνεια τείχη της Καστοριάς ανακαινίστηκαν στα μεσοβυζαντινά και υστεροβυζαντινά χρόνια, προκειμένου να ενισχυθεί η οχύρωση της πόλης και να εξασφαλιστεί η σπουδαία από στρατηγικής άποψης θέση της Καστοριάς. Το "δύσβατο" και "οχυρόν" της Καστοριάς τονίζουν τόσο οι βυζαντινοί συγγραφείς, όσο και οι ξένοι περιηγητές που επισκέφτηκαν την πόλη. Στα πρώτα χρόνια της Τουρκοκρατίας, οι επεμβάσεις στα βυζαντινά τείχη της πόλης ήταν ελάχιστες και αποσκοπούσαν κυρίως στη συντήρησή τους. Στα τέλη του 19ου αιώνα, κατατσράφηκαν τμήματα του τείχους του λαιμού της χερσονήσου, για να ανοικοδομηθούν κτίρια της ήδη παρακμάζουσας τουρκικής διοίκησης.