Полк составился в 1863 году из 4-го кадрового и резервных 5-го и 6-го батальонов Модлинского пехотного полка как Модлинский резервный пехотный полк. Каждый из этих батальонов до 1884 имел собственную историю, старшинство и знаки отличия. К августу 1863 года полк приведён в трехбатальонный состав и с 13 августа 1863 года назван как Симферопольский пехотный полк. С 25 марта 1864 года к названию полка присоединён порядковый номер и полк стал называться 133-й Симферопольский пехотный полк. В 1879 году сформирован 4-й батальон полка. 18 марта 1884 всем батальонам полка присвоено старшинство от даты формирования Модлинского пехотного полка, как части, сформированной из его половины, тогда же переписана и история части, ставшей таким образом до 1863 года копией истории Модлинского пехотного полка, одновременно с этим уничтожалась история и изменялись знаки отличия батальонов, входивших в состав полка.
1-м батальоном полка с 1863 года стал 4-й батальон Модлинского пехотного полка. Батальон был сформирован 9 февраля 1834 как 4-й действующий батальон Модлинского пехотного полка, ему установлено старшинство 1700 года, как сформированному из чинов 1-го батальона Модлинского полка, имевшего это старшинство (получил в бытность 3-м батальоном Брестского полка). 11 апреля 1834 года батальону пожаловано простое знамя без надписи, а 20 июня 1838 года к знамени батальона дана юбилейная лента (лента эта накладывалась на все знамёна, бывшие в батальоне), но в 1884 году она была сдана в арсенал. 19 марта 1850 года в честь 150-летия полка пожаловано простое юбилейное знамя с надписью под орлом «1700—1850». 30 августа 1856 года пожаловано Георгиевское знамя с надписью «За Севастополь в 1854 и 1855 годах» и надписью под орлом «1700—1850» (с 1884 года это знамя стало полковым знаменем 133-го Симферопольского полка).