Гимназия была образована в 1805 году путём преобразования Черниговской главной народной школы (открыта 21 апреля 1789 года). Её директором (до 1819 года) стал директор прежней школы надворный советник Михаил Егорович Марков (1763—1819), который также стал преподавать латинский язык, словесные науки, минералогию и ботанику. Открытие гимназии состоялось 17 января 1805 года в присутствии, неожиданно приехавшего, генерал-губернатора князя Алексея Борисовича Куракина, попечением которого и состоялось столь быстрое создания учебного заведения нового типа.
Первоначально было сформировано два класса (21 и 20 человек), причём из Черниговской главной народной школы в гимназию по экзамену были переведены 28 воспитанников, из Новгород-Северской главной народной школы — 7 человек; ещё 5 человек прежде учились Черниговской духовной семинарии и один — в Киевской духовной академии. В июне 1805 года состоялись первые экзамены по итогам которых все учащиеся, по недостатку знаний, остались в прежних классах. В 1807 году гимназия стала четырёхклассной. В 1833 году, применительно к новому уставу 1828 года, гимназия стала семиклассной — четыре прежних класса стали старшими (с 4-го по 7-й), а три младших класса были образованы из учеников уездного училища. В 1837 году, вследствие увеличения количества учащихся (до 325), были открыты параллельные отделения в 1—3 классах и общее количество классов достигло десяти: 7 нормальных и 3 параллельных. Осенью 1843 года при гимназии был открыт благородный пансион, который разместили в здании гимназии, в квартире директора и комнатах канцелярии (для директора стала наниматься особая квартира).
В числе преподавателей, во время становления гимназии, были: С. В. Самарский-Быховец (1805—1820), А. И. Дудрович (1806—1811), Н. М. Архангельский (1809—1810), С. Н. Колядин (1811—1813). В последующее время в гимназии преподавали: Ф. А. Китченко (1830—1832)[1]; М. Д. Златоверховников (Закон Божий; 1869—1878); |А. Г. Бугославский (русский и латинский языки, словесность; 1887—1895)[2]; М. Т. Тутолмин (история; 1900—?).
Гимназия с 1821 года занимала трёхэтажное здание, построенное для губернатора по проекту архитектора А. Захарова, в стиле русского классицизма. Недалеко от неё был расположен Спасский собор; ранее между ними была Гимназическая площадь, а теперь раскинулся городской парк. В бывшем здании Черниговской мужской гимназии ныне находятся помещения Черниговского исторического музея им. Василия Тарновского (ул. Музейная, 4).