В 1959 году на Брянском машиностроительном заводе был разработан проект усиленного тепловоза серии ТЭМ1. Для этого тепловоза Пензенским дизельным заводом на базе дизеля 2Д50 разработан более мощный дизель ПД1 (Пензенский дизель, 1-й тип).
В 1960 году завод выпустил два, а в 1961 г. еще один маневровый тепловоз повышенной мощности, которые получили обозначение серии ТЭМ2.
Конструкция кузова у этих тепловозов незначительно отличается от кузова тепловозов ТЭМ1 первых выпусков: боковые стенки кабины машиниста выполнены без наклона для лучшего обозрения пути. Кроме замены дизеля был заменён главный генератор и внесён ряд других изменений.
Первые тепловозы ТЭМ2 поступили для эксплуатации в депо Лихоборы и депо им. Ильича Московской дороги.
В процессе выпуска тепловозов ТЭМ2 в их конструкцию вносились изменения:
с № 0004 незначительно изменилась конструкция электродвигателей, применены контроллеры машиниста, главные рукоятки которых имеют восемь ходовых позиций
с № 0016 изменены электродвигатели и тележки
с № 0017 введены специальные шины для подключения силовых цепей при испытаниях, плавкие предохранители в цепях управления и освещения заменены автоматами
с № 028 изменено передаточное отношение редуктора
с № 053 установлены розетки для ввода тепловоза в депо от стационарного источника тока
с 1968 года на тепловозах устанавливался модернизированный дизель ПД-1М
с № 250 высоковольтная камера приварена к главной раме кузова (ранее были болтовые соединения)
с № 300 введена система автоматического пуска дизеля
с № 500 устанавливалась система автоматической локомотивной сигнализации
с № 763 цепи управления позволяют работать двум тепловозам по системе многих единиц
с № 943 сокращено количество секций для охлаждения воды (с 16 до 12)
с № 1145 установлено оборудование для управления локомотивом одним машинистом

ТЭМ2-215 в Польше
После выпуска нескольких доработанных партий тепловозов с 1963 по 1966 год БМЗ, начиная с 1967 года, перешел к серийной постройке тепловозов ТЭМ2. С 1969 года по 1979 год, параллельно с БМЗ тепловозы ТЭМ2 строит Ворошиловградский тепловозостроительный завод.
Тепловозу ТЭМ2-580 выпуска 1970 года первому из локомотивов присвоен государственный Знак качества.
С 1960 по 1975 год БМЗ изготовлено всего 2160 тепловозов ТЭМ2, в том числе для МПС 2160, Ворошиловградским заводом изготовлено 1000 тепловозов, в том числе для МПС 578. На 1 января 1976 года на железных дорогах СССР находилось 1816 тепловозов ТЭМ2 и ТЭМ2А (модификация с возможностью переделки на колею 1435 мм).
С 1982 года тепловозы ТЭМ2 (с номера 7244) выпускаются с кузовом аналогичным ТЭМ2У.
Брянский машиностроительный завод прекратил выпуск тепловозов семейства ТЭМ2 в 2000 году (последний номер 7870).
Тепловозы серии ТЭМ2 также поставлялись в Монголию, Польшу и на Кубу. В Польше они получили обозначение SM48 и были закуплены с 1976 года в количестве 130 машин. Для промышленных предприятий Польши тепловозы поставлялись все-таки с обозначением ТЭМ2 (TEM2).
Сегодня это, наряду с чехословацким ЧМЭ3, самый распространенный маневровый тепловоз на территории бывшего Союза.
Более четверти века ТЭМ2 экспонировался на ВДНХ.
Модификации
ТЭМ2А

Экипажная часть тепловоза приспособлена как для колеи шириной 1520 мм, так и для 1435 мм без замены тележек. Причем индекс "А" остался даже при производстве ТЭМ2У.
ТЭМ2М

Первый опытный тепловоз ТЭМ2М-001, на котором в отличие от тепловоза ТЭМ2 вместо дизеля ПД-1М был установлен дизель 2-6Д49 Коломенского тепловозостроительного завода, был выпущен в 1974 году. Начиная с 1984 года Брянский машиностроительный завод стал в небольшом количестве выпускать тепловозы ТЭМ2М с целью накопления эксплуатационного опыта. В конструкцию локомотива были внесены изменения, обусловленные применением другого дизеля. С 1983 года ТЭМ2М выпускался с кузовом аналогичным ТЭМ2У (с номера 069). Всего выпущено 286 тепловозов этой серии. Поставлялись они только промышленным предприятиям.
ТЭМ2Т

Модификация предназначеная для эксплуатации в местностях с тропическим климатом.
ТЭМ2У

В конце 1978 года Брянский машиностроительный завод построил опытный тепловоз ТЭМ2У (под номером 001), который в отличие от тепловозов ТЭМ2 имел измененную форму капота и кабины машиниста, а также ряд новых устройств (новый пульт управления, глушитель шума, улучшенную теплоизоляцию и др.). На тепловозе улучшена конструкция дизель-генератора, рессорного подвешивания, предусмотрен электрический подогрев воды в системе охлаждения. Сцепная масса тепловоза увеличена до 123,6 т. Тепловозы ТЭМ2У были рассчитаны как на колею 1524, так и на колею 1435 мм (серия ТЭМ2А). С 1984 года завод начал серийное изготовление тепловозов ТЭМ2У (с номера 8002).
ТЭМ2УС
После проведения в 1976 году испытаний тепловоза ТЭМ2-1983, у которого одна из тележек была оборудована электромагнитными устройствами, предназначенными для увеличения силы сцепления колес с рельсами, по заказу МПС Брянский машиностроительный завод в 1978 году изготовил опытный тепловоз ТЭМ2УС-0001. На тележках этого тепловоза были установлены электромагниты, магнитный поток которых проходил через колеса и рельсы и создавал притяжение бандажей к головкам рельсов. Тепловоз ТЭМ2УС-0001
Испытывался ВНИТИ, однако решение о дальнейшем оборудовании тепловозов электромагнитной системой увеличения силы сцепления принято не было.
ТЭМ2УМ

В 1988 году БМЗ параллельно с тепловозами ТЭМ2У начал выпуск модели ТЭМ2УМ с дизель — генераторами 1ПД-4А. Первый тепловоз серии ТЭМ2УМ был оснащен дизель — генератором 1ПДГ-4 с увеличенной мощностью (1400 л.с. вместо 1200 л.с.). В рамках серии ТЭМ2УМ также было выпущено 5 тепловозов со штатным электродинамическим тормозом, которые индексировались, как ТЭМ2УМТ. Всего с 1988 по 2000 год выпущено 1084 тепловоза этой серии. Поставлялись они как промышленным предприятиям, так и МПС.