29 августа 1805 года сформирован Пензенский мушкетёрский полк в составе 3-х батальонов[1]. Старшинство всех трёх батальонов до 1884 года считалось от 1700 года, по ротам Астраханского гренадерского полка.
19 октября 1810 г. из Пензенского мушкетёрского полка сформирован 45-й егерский полк. 16 июля 1819 года 45-й егерский полк был переименован в 44-й егерский[2].
21 марта 1834 года 44-й егерский полк разделён на отдельные батальоны, при этом 2-й резервный батальон наименован Черноморским линейным батальоном № 7.
26 июня 1838 бывшему Черноморскому линейному батальону № 7 присвоен № 6. 17 января 1839 года вновь присвоен № 7. 18 февраля 1840 года присвоен № 8. 3 февраля 1842 года присвоен № 9.
25 июня 1850 пожаловано простое юбилейное знамя с надписью «1700-1850» с александровской юбилейной лентой[3].
8 апреля 1858 года переименован в Кавказский линейный батальон № 33. 23 марта 1868 года присвоен № 21. 1 августа 1874 года присвоен № 3.