28 ноября 1936 г., спустя два месяца после смещения Г.Г. Ягоды с поста, в ходе проведенной новым наркомом руководителя органов госбезопасности Н.И. Ежовым реорганизации НКВД, из Особого отдела был выделен Контрразведывательный отдел ГУГБ (25 декабря того же года отделам были присвоены номера; отдел контрразведки до февраля 1941 г. именовался 3-м отделом). М.И. Гай, называвший себя и своих коллег «жандармами социализма», был переведен начальником управления НКВД в Иркутск; контрразведку возглавил бывший начальник Экономического отдела ГУГБ комиссар госбезопасности 2 ранга Л.Г. Миронов. Период его руководства был непродолжителен. В апреле-мае 1937 г. Миронов возглавлял специальную группу НКВД в Сибири и на Дальнем Востоке, направленную для «выявления и разгрома шпионско-вредительских троцкистских и иных групп на железных дорогах... и в армии»; 14 июня того же года был арестован (сыграла роль его прежняя близость к Прокофьеву и Ягоде).

Новым начальником 3 отдела стал (по совместительству) заместитель наркома внутренних дел комиссар госбезопасности 3-го ранга В.М. Курский, в 20-х гг. руководивший контрразведкой в полномочном представительстве ОГПУ по Северо-Кавказскому краю, один из руководителей операции «Заморское», а с декабря 1936 г. по июнь 1937 г. являвшийся руководителем 4-го (секретно-политического) и 1-го (охрана руководителей партии и правительства) отделов ГУГБ НКВД. В КРО он проработал меньше месяца. 8 июля, через шесть дней после награждения орденом Ленина, В.М. Курский застрелился. 3-й отдел возглавил (в качестве временно исполняющего должность) комиссар госбезопасности 3-го ранга A.M. Минаев-Цикановский (его фамилия также писалась Циконовский, Цекановский, Цехановский), бывший эсер, отбывший 8 лет царской каторги, работавший в ЧК с 1918 г. - на Украине, Северном Кавказе, в Москве, Средней Азии, на Урале и в Сталинграде, заместитель начальника 3-го отдела с апреля 1937 г. Этот работник стал одним из ближайших помощников Ежова в проведении репрессий. В 1937-1938 гг. контрразведка, как и другие подразделения НКВД, понесла тяжелые потери. Одним из первых был арестован в конце 1935 г. Ю.И. Маковский, к тому времени начальник Особого отдела управления НКВД по Омской области. Погибли бывшие руководители советской контрразведки А.Х. Артузов, Я.К.Ольский, Г.Е. Прокофьев, М.И. Гай, И.М. Леплевский, Л.Г. Миронов, их заместители - Р.А. Пилляр, Э.П. Салынь, С.В. Пузицкий, И.И. Сосновский, Н.И. Добродицкий, М.С. Горб, С.М. Деноткин, С.Г. Волынский, B.C. Валик, начальники отделений и оперуполномоченные в Центре и на местах (многие из них сами участвовали в незаконных репрессиях). КРО, в частности, вел дела сотрудников Коминтерна, Коминтерна молодежи (КИМ), Красного интернационала профсоюзов (Профинтерн), МОПР и других международных организаций, иностранных коммунистов, политэмигрантов.

В то же время продолжалась борьба со шпионажем, хотя ее эффективность была снижена участием КРО в политических репрессиях. Контрразведка НКВД в 1936-1938 гг. наибольших результатов добилась в пресечении деятельности германской разведки и ее резидентов в Белоруссии, Москве и Ленинграде, легально работавших в СССР в качестве немецких специалистов. В Средней Азии, Донбассе, Днепропетровской области УССР и Приморье резидентурами, как было установлено контрразведчиками, руководили германские консулы.

На Дальнем Востоке контрразведчики пресекали попытки японских спецслужб перебросить через советскую границу агентов, завербованных из числа эмигрантов и осевших в Маньчжурии («Братство русской правды» и «Национальный союз нового поколения»). Сотрудники японского посольства в Москве и консульств в Новосибирске, Хабаровске, Владивостоке и других городах предпринимали попытки организации разведывательной сети, которые были пресечены в 1935-1937 гг. в ходе проведенных контрразведкой операций. После принятого 10 октября 1937 г. с санкции Политбюро ЦК ВКП(б) оперативного приказа НКВД, согласно которому сотрудникам КРО предлагалось «немедленно арестовывать всех советских граждан, связанных с личным составом диппредставительств и посещающих их служебные и домашние помещения» и требовалось обеспечить «беспрерывное наблюдение» за всеми сотрудниками посольств Германии, Японии, Италии, Польши, в СССР было закрыто большое количество консульств этих стран.

В ходе очередной реорганизации НКВД 3-й отдел 28 марта 1938 г. вошел в состав 1-го управления НКВД (управления госбезопасности), а его новым начальником, вместо перешедшего на работу в 6-й отдел Минаева-Цикановского (за год своего руководства контрразведкой он так и не был утвержден в должности начальника, оставшись «и.о.»), стал комиссар госбезопасности 3-го ранга Н.Г. Николаев-Журид, ранее уже работавший в КРО-ОО, непосредственно перед назначением возглавлявший военную контрразведку. По совместительству Н. Г. Николаев-Журид являлся заместителем начальника 1-го управления НКВД - 1-го заместителя наркома комкора М.П.Фриновского.

Заместителем Николаева-Журида был его сослуживец по Ростову-на-Дону майор госбезопасности М .А. Листенгурт. 29 сентября того же года, после восстановления ГУГБ, Н.Г. Николаев-Журид остался начальником 3-го отдела, перестав при этом быть заместителем начальника ликвидированного 1-го управления.

Заместителем начальника ГУГБ стал приехавший из Грузии, вместе с новым 1-м зам. наркома и начальником ГУГБ Л.П. Берия, бывший завотделом ЦК КП(б) Грузии В.Н. Меркулов. Через месяц, 25 октября 1938 г., Меркулов сменил арестованного в тот же день Николаева-Журида (был арестован и Листенгурт) на посту руководителя контрразведки. Но он также недолго проработал на этом посту. 17 декабря Меркулов был назначен 1-м заместителем нового наркома Л. П. Берия - начальником ГУГБ. Начальником 3-го отдела стал также выходец из Тбилиси комиссар госбезопасности 3-го ранга В.Г. Деканозов, за две недели до этого возглавивший 5-й (иностранный) отдел ГУГБ. 17 же декабря Деканозов стал по совместительству заместителем начальника ГУГБ, оставаясь при этом руководителем разведки. Такое совмещение постов было единственным случаем в истории советских органов госбезопасности.

В марте 1939 г. Деканозов на XVIII съезде партии был избран кандидатом в члены ЦК; 13 мая 1939 г. покинул НКВД, перейдя на дипломатическую работу -заместителем нового наркома иностранных дел В. М. Молотова (сменившего М. М. Литвинова).

Начальником 3-го отдела 25 июня того же года стал майор госбезопасности Т.Н. Корниенко, выходец из рабочих, после окончания аспирантуры Института востоковедения имени Н. Нариманова работавший в Особом Контрразведывательном отделе ОГПУ-ГУГБ НКВД, где прошел путь от помощника оперуполномоченного до заместителя начальника отдела. В период его руководства отделом (на декабрь 1939 г.) структура советской контрразведки выглядела следующим образом:
1- е отделение (Германия, Венгрия);
2- е отделение (Япония, Китай);
3- е отделение (Англия);
4- е отделение (Франция, Италия, Бельгия, Швейцария, Испания);
5- е отделение (Румыния, Греция, Болгария, Югославия);
6- е отделение (работа по оккупированной Польше);
7- е отделение (Финляндия, Швеция, Норвегия, Дания);
8- е отделение (САСШ и страны Южной Америки);
9- е отделение (Турция, Иран, Афганистан);
10- е отделение (белогвардейские контрреволюционные элементы);
11- е отделение (Латвия, Эстония, Литва);
12- е отделение (НКИД, полпредства и консульства);
13- е отделение (ИККИ, МОПР);
14- е отделение (НКВТ, торгпредства);
15- е отделение (Интурист и ВОКС, частично охрана дипкорпуса ОДК): политотдел ОДК;
16- е, 17-е, 18-е отделения ОДК.

Как видим, структура контрразведки усложнилась по сравнению с предыдущим периодом. Во многом это было связано с начавшейся Второй мировой войной.

Главным противником советской контрразведки были спецслужбы нацистской Германии, которые после подписания в августе 1939 г. советско-германского пакта о ненападении усилили работу против СССР с легальных позиций. Немецкие разведчики вели ее под прикрытием различных комиссий по переселению немцев в Германию с территорий, отошедших к СССР, торговых делегаций. Так, в январе 1940 г. среди членов германской торговой делегации был выявлен с помощью советской военной разведки сотрудник немецкой разведки. КРО УНКВД Ленинградской области были зафиксированы факты систематической посадки на мель вблизи Кронштадтской военно-морской базы германских торговых судов. Работа по противодействию немцкой разведке в 1939-1940 гг. велась в основном в Западной Украине, Западной Белоруссии, республиках Прибалтики, вошедших в состав СССР. В этих регионах число арестованных органами госбезопасности иностранных агентов возросло с 40 до 62% от их общего количества, хотя там проживало немногим более 10% населения СССР.

Руководство НКГБ принимало меры по улучшению агентурно-осведомительной службы. Приказами по ведомству предписывалось, чтобы оперативный сотрудник руководил работой только резидента, который осуществлял связь с прикрепленными к нему осведомителями; агенты, т. е. секретные сотрудники, участвовавшие в оперативных разработках, должны были находиться на личной связи только с оперативным сотрудником. В оставшиеся до начала войны месяцы НКГБ не удалось действенно перестроить агентурно-осведомительную сеть, годами осуществлявшую тотальное наблюдение за огромным количеством рядовых граждан. Но контрразведывательный режим в стране был все же усилен: более эффективно, используя секретное фотографирование, стала работать наружная разведка, улучшилась деятельность радиоконтрразведывательной службы, широко использовалась специальная техника (прослушивание), повысились требования к работе службы политконтроля и оперативного учета.

Велось наблюдение за посольствами, в первую очередь Германии и ее сателлитов. Этим занималось 1-е отделение 3-го отдела во главе с капитаном госбезопасности (соответствовало званию полковника в РККА) B.C. Рясным. Чекисты установили подслушивающее устройство в кабинете немецкого военного атташе в Москве генерала Э. Кестринга. Одним из сотрудников, занимавшихся оперобслуживанием немецкого посольства, был Н. И. Кузнецов, впоследствии знаменитый разведчик, действующий на временно оккупированной фашистами территории СССР.

В 1940 г. и первой половине 1941 г. органы госбезопасности раскрыли 66 резидентур и арестовали свыше 1,5 тыс. агентов немецкой разведки, в 1939-1941 гг. в приграничных районах Дальнего Востока -свыше 2,5 тыс. агентов японской разведки.