Полк ведёт своё начало с 29 июня 1811 г., когда из рот, отчисленных по три от упразднённых Киевского гарнизонного полка и Ахтиарского, Екатеринославского и Смоленского гарнизонных батальонов, был сформирован, в составе трёх батальонов, Пензенский пехотный полк.
Во время Отечественной войны полк состоял в отряде генерал-лейтенанта Пушкина, высланного на Западный Буг для наблюдения границ Варшавского герцогства. В Заграничных кампаниях 1813—1814 гг. полк участвовал в осаде Модлина, в битве под Лейпцигом и в сражениях при Краоне и Лаоне.
Во время русско-турецкой войны 1828—1829 гг. полк участвовал в сражениях у Буланлыка и Шумлы и при взятии Силистрии.
В 1831 г. Пензенский полк принял участие в усмирении польского мятежа и разбил инсургентов 21 мая 1831 г. на реке Овруч.
28 января 1833 г. полк был присоединён к Олонецкому пехотному полку и составил его 3-й, 4-й и 5-й резервные батальоны.
6 апреля 1863 г. из 4-го резервного батальона и бессрочно-отпускных нижних чинов был сформирован двухбатальонный Олонецкий резервный пехотный полк, названный 13 августа 1863 г. Оренбургским пехотным полком и затем был приведён в состав трёх батальонов с тремя стрелковыми ротами. Старшинство полка установлено с 29 июня 1811 г., то есть со времени сформирования старого Пензенского полка.