Торжественное открытие 2-й гимназии, получившей статус губернской, состоялось 8 (20) января 1836 года. В ней, в отличие от Первой гимназии, в которой учились преимущественно дети дворян, учились дети различных сословий.
Часть учащихся младших классов была переведена из Первой гимназии и уже к 1 февраля 1836 года в гимназии числилось 246 учеников, а в конце года число учащихся составило 354, из них 308 были переведены из Первой гимназии.
См.: Преподаватели Второй Киевской гимназии
В течение первых двадцати лет гимназия несколько раз меняла адреса. Сначала был нанят двухэтажный дом напротив современного Мариинского парка, принадлежавший генерал-лейтенанту В. В. Гербелю. Затем разное время гимназия находилась на улице Сковороды, 1; на Лютеранской улице в двухэтажном кирпичном доме Г. И. Киселевского; в доме М. П. Дегтерёва и в доме Козлова на углу Бибиковского бульвара (б. Тараса Шевченко) и улицы Владимирской и др. местах.
Только в 1856 году, по проекту архитектора П. И. Шлейфера на Бибиковском бульваре (ныне бульвар Тараса Шевченко, 18) для гимназии было построено двухэтажное здание в стиле позднего классицизма.