Первая Московская мужская гимназия (губернская) была организована на базе существовавшего с 22 сентября 1786 года Московского Главного народного училища.
В конце 1803 года ученики Главного народного училища после экзаменов были переведены во вновь формируемую гимназию. Было отобрано 45 человек для перевода в I класс, 27 — во II класс. Торжественное открытие Московской губернской гимназии, как она была названа, состоялось 2 января 1804 года. Гимназии было предоставлено помещение упразднённого Московского Главного народного училища — дом, где прежде помещалась Юстиц-коллегия с Судным приказом на Варварке, близ Варварских ворот, у Ипатьевского переулка.
Вскоре, в начале 1806 года, было принято решение о предоставлении гимназии здания на Волхонке, купленного городом у бригадира Ф. А. Лопухина (дом князя Г. С. Волконского). Но в 1810 году дом сгорел, и стоял неотделанным, в 1812 году он опять сгорел; сгорело и здание на Варварке. Директор гимназии П. Дружинин выехал в Нижний Новгород; питомцы же, в числе «32 учеников и пансионеров с учителем надворным советником Назарьевым» были эвакуированы в Коломну, затем в Рязань и назад в Коломну[1]; вернулись они в Москву 16 декабря 1813 года. Учение началось в снятом внаём каменном флигеле, принадлежащем купцу Фридриху Н. Лангу по Среднему Кисловскому переулку, в третьем и четвёртом этажах.
Только к маю 1819 года закончилось восстановление сгоревшего помещения, и гимназия переехала в свой дом у Пречистенских ворот на Волхонке и до конца своего существования в нём и находилась.
Название первой гимназия получила не сразу: до 1830 года она называлась губернской, затем — второй московской, поскольку 28 марта 1830 года при упразднении Московского университетского благородного пансиона была создана 1-я московская гимназия. Эта 1-я гимназия в 1833 году стала называться Дворянским институтом, а Вторая (бывшая губернская) получила наименование «Первая Московская гимназия»; к этому времени попечитель Московского округа граф С. Г. Строганов, обнаружив переполненность гимназии, сделал представление министру просвещения о необходимости открыть в Москве вторую гимназию, что и было исполнено в 1835 году (смотри 2-я Московская гимназия)[2].
В период 1804—1831 годов гимназия руководствовалась Уставом 1804 года, преследуя две цели: первое — подготовка к университету и второе — преподавание «наук начальных, но полных для тех, кои не имея намерения продолжать обучение в университете могли бы приобрести сведения, необходимые для благовоспитанного человека». Число учеников в гимназии в этот период было небольшим. Например, в 1804 году — 79 человек, в 1811 — 90, в 1815 — 120. Наименьшее число учеников было в 1807 и 1808 годах — по 60. К 1831 году число учащихся выросло до 263. До 1819 года обучение было бесплатным[3].