В 1562 г. литовский князь Николай Радзивил Рудой с 4000 человек войска двинулся на Невель, где разбил 15 000 войско во главе с князем Андреем Курбским. Эта битва произошла недалеко от озера Черстно, на землях былого поместья Еменец. Вот как эту битву описывает псковская летопись: "Того же лета августа приходили литовские люди под Невлю городок великого князя, и волость воевали, и пошли прочь. И ходили за ними Андрей Курбский и с иными воеводами и языков наши взяли у них". Иван Грозный в своём письме к Курбскому, написанном через два года после этих происшествий, попрекал его этим поражением: "А как же под городом Невелем: пятнадцатью тысячами человек вы не смогли победить 4000, и не только не победили, но и сами от них едва возвратились, ничего не добившись?".
Но в этом же году Невель снова был завоёван войсками Московской державы. Белорусский историк Ткачёв так написал об этом: "В 1562 г. Невелем завладели войска Ивана Грозного, которые оставались здесь до 1580 г. За это время замок был укреплён, в насыпь вала ввели конструкцию из брусьев. Со стороны города выкопали ров, на вале поставили деревянные срубы".
В 1563 г. в Великие Луки во главе с Иваном Грозным пришли московские войска. Тут царь приказал "под наряд по рекам мосты делати к городу Невелю… а от Невеля и до Полоцка, понеже бо та дорога лесна и тесна." По пути к Полоцку, Иван Грозный остановился на некоторое время в Невеле.
Летом 1564 г. московский воевода Ю. Токмаков с отрядом в 13 000 осадил Езерище. Так об этих событиях пишет в своём письме к метропалиту Макарию Иван Грозный: "Месяца июля в 22 день, царев и великого князя воевода князь Юрья Иванович Токмаков ходил к Озерищу с конными людьми, с пешими да и судовами людми, а людей имал в наседях и наряд с собой имал лёгкой. И стоял у города 4 дни и над городом промышлял…".
В 1565 г. возможна под Невелем была какя-то битва, т. к. есть гравюра, которая демонстрирует битву под Невелем 1565 г. По другим сведениям, гравюра сообщает о битве 1563 г.
В 1566 г. в Невеле бушевала чума. В 1579 г. вновь избранный литовский князь Стефан Баторий, остановившийся в Усвяте, послал полоцкого воеводу Николая Дорогостайского к Невелю, т. к. планировал возвращаться этой дорогой. Войска, не имевшие опыта осады, начали её с той стороны, где крепость была наиболее укреплена. После взятия Великих Лук Баторий в 1580 г. направил в помощь осаждающим сначала 500 тыс. человек, а позже ещё Ивана Борнемиссу с венгерскими полками, позже ещё и Замойского.
15 января 1582 г. было заключено перемирье, по которому Невель достался Московскому государству. При этом проводилась, как всегда при переходе любого города в состав другой страны, "списание стрельбы". С него видно, что тогда в замке находились 4 медных пушки по 3 метра длинной, привезённые из Полоцка. Ядра к ним были калибра с гусиное яйцо. Было также 4 московские пушки аналогичного калибра и др.
История Невеля: