В 1655 г. замок пострадал от длительной осады шведов, в 1705 г. они вторично напали на замок и сожгли его. Сильно разрушен замок и во время Отечественной войны 1812 г. Дважды — в июле и ноябре этого года — между русскими и французскими войсками в Мире велись ожесточенные бои. Тогда была взорвана северо-восточная башня замка, в которой находился пороховой склад, сожжен дворец, были сильно разрушены и фортификационные сооружения.
Реставрация продолжается.
Регистрация 
