Сформирована в августе — сентябре 1940 года, после присоединения Латвии к СССР в составе 24-го стрелкового корпуса на базе Курземской и Видземской дивизий Латвийской армии. Личный состав дивизии остался в униформе латвийской армии, однако с советскими знаками различия. Дислоцировалась в Риге.
В действующей армии во время Великой Отечественной войны с 22 июня 1941 года по 16 октября 1941 года.
На 22 июня 1941 года дислоцировалась в летних лагерях в районе Гулбене в сокращённом составе. Здесь до 29 июля дивизия развертывалась до полных штатов военного времени.
C началом войны начались факты дезертирства среди латышей, а с 29 июня 1941 года, по некоторым источникам, началась их демобилизация, точнее сказать латышей попросту отпускали по домам, предварительно разоружив — всего более 2000 человек (в основном из отслуживших положенные сроки). Вместе с тем дивизия принимала пополнение из глубинных районов страны. Основной мобсостав (около 30 % общей численности соединения) происходил из центральных и южных районов нынешней Псковской области. Однако необходимо заметить, что ядро дивизии составляли именно латыши. Боевая подготовка латышских стрелков оказалась достаточно высокой — многие из них получали награды и поощрения от командного состава в ходе войны, в том числе и в период пребывания в 181-й дивизии. Особенностью дивизии было наличие иностранных образцов техники и вооружения.
1—2 июля 1941 года 181-я дивизия выдвигается из района Гулбене в район Острова по маршруту Гулбене — Литене — Балвы — Виляка — Носово — Аугшпилс — Опочка. 2 июля 1941 года попала под авианалёт и удар авангарда танковых частей противника, но к 3 июля 1941 года смогла оторваться от врага. Интересно, что из документов 12-го механизированного корпуса, которому была поставлена задача на 3 июля 1941, совместно со 181-й стрелковой дивизией контратаковать врага в Мадоне, овладеть переправами Лыеградэ следует: «Посланный в 181-ю стрелковую дивизию делегат связи установил, что таковая расформирована». В это время, а точнее 1—3 июля, отряд 181-й дивизии (113-й орб, 1/186-й сп, 3/640-й гап, 16-й птдн) вёл бои за Мадону, Лубану, Гулбене. На 4—6 июля 1941 года основные силы дивизии сосредоточиваются и занимают оборону на рубеже Равгово, Сакулино, Коровкино, Смолины, общей протяжённостью более 70 км. 195-й сп и 639-й ап выдвинуты в район Красногородска. 6 июля 6-я и 8-я танковые дивизии вермахта прорвались на флангах 181-й дивизии. Советское соединение оказалось в окружении. Потеряв большую часть артиллерии основные силы дивизии вышли к реке Великой. На 7 июля 1941 года имела в своём состава около 1800 человек.
На 8 июля 1941 года обороняет рубеж по восточному берегу реки Великая на участке Пушкинские Горы, Белки (10 километров севернее Опочки). На 9 июля 1941 года ведёт бои с силами противника в районе Пушкинские Горы, Захино.