Вторая Московская гимназия была открыта в 1836 году в бывшем дворце графа Мусина-Пушкина на площади Разгуляй. Под её управлением работали московские уездные училища. При гимназии имелся благородный пансион.
Московский университетский благородный пансион 29 марта 1830 года был обращён в 1-ю Московскую гимназию, а существовавшая тогда Московская губернская гимназия была переименована во 2-ю Московскую гимназию, однако такая ситуация продлилась недолго. По Высочайшему повелению от 22 февраля 1833 года 1-я гимназия была переименована в Московский дворянский институт, а Московская губернская гимназия, носившая название второй, стала с этих пор именоваться первой.
В 1834 году будущий попечитель московского учебного округа граф Сергей Григорьевич Строганов при посещении единственной в то время в Москве гимназии (1-я Московская гимназия) установил, что она переполнена учащимися. В результате было сделано представление в министерство народного просвещения о необходимости для столь многолюдного города, как Москва, открытия 2-й гимназии.
Сначала предполагалось купить дом князя М. П. Голицына на Новой Басманной улице (№ 26). Однако 31 января 1834 года была заключена купчая о приобретении за 130 тыс. руб. ассигнациями дома наследников графини Е. А. Мусиной-Пушкиной на Разгуляе. Купчая на этот дом с принадлежащею к нему землей (более 5 тыс. кв. сажен) была заключена от имени графов Ивана и Владимира Алексеевичей Мусиных-Пушкиных. По описи, приложенной к купчей, продавались главный трёхэтажный каменный корпус, два каменных двухэтажных флигеля и один флигель одноэтажный. Общая площадь владений, включавших также сад с прудом составляла 5607,5 квадратных саженей[1]. Строительному комитету при Московском университете под председательством помощника попечителя Голохвастова было предложено заняться переделкой купленного дома[2]. Здание, с помещением в него гимназии и пансиона, было открыто 24 августа 1836 года. В 1837 году был открыт, надстроенный каменным этажом, флигель, в котором разместилась больница и квартиры чиновников[3]. В главном корпусе имелись деревянные лестницы, которые позднее (в 1847 и 1857 годах) были заменены чугунными на средства потомственного почетного гражданина И. Ф. Мамонтова.
Училищный комитет Московского Университета подобрал преподавателей: директором был назначен статский советник И. А. Старынкевич, законоучитель, 4 старших учителя: по истории, географии, латинскому языку, математике; и младшие учителя: по русскому, немецкому, французскому языкам. Ко дню открытия поступило 103 ученика, в том числе 19 дворян, 49 обер-офицерских детей, 2 духовного звания, 10 купеческого сословия, 16 мещан, 4 цеховых, 1 иностранец и 2 разночинца[4]. 14 ноября 1835 года 2-я гимназия была открыта.