Была основана 23 февраля 1808 года на базе Главного народного училища. В этот день архимандрит Аполлос в присутствии профессора Харьковского университета И. Ф. Тимковского, директора гимназии Любарского, преподавателей и учащихся отслужил в Знаменском соборе божественную литургию.
В гимназию принимались дети потомственных и мелких дворян, чиновников, мещан; среди учеников были и дети крестьян, но незначительное число. Плата за обучение составляла 100 рублей в год. Штат гимназии был небольшой: почётный попечитель, директор, инспектор, законоучитель, семь старших и трое младших учителей, учитель рисования и надзиратель.
Учебная материальная база поддерживалась за счёт благотворительности, частных пожертвований. Уже в 1830-х годах Курская гимназия имела библиотеку в 13600 томов; в ней также хранились коллекции монет, гравированных портретов императорской семьи. Гордостью гимназии была коллекция минералов из 183 экспонатов, подаренная в 1834 году курским губернатором П. Н. Демидовым.
С 22 августа 1834 года гимназия стала семиклассной, с 1875 года — восьмиклассной. С 1871 года был открыт приготовительный класс, в который принимались дети в возрасте 8—10 лет, знающие первоначальные молитвы, умеющие считать до 100 и производить сложение и вычитание.
После пожара 1836 года на месте сгоревшего корпуса было построено по проекту А. П. Брюллова трёхэтажное здание гимназии; освящение состоялось в 1842 году.
В 1815 году, когда гимназия была ещё четырёхклассной, в первом классе обучалось 41 человек, во втором — 20, в третьем — 9, в четвёртом — всего 7. В сохранившейся «Книге учащихся» за девять лет (1834—1843) были внесены записи о 291 ученике: 184 — сыновья дворян, 47 принадлежали к «обер-офицерскому званию», детей купеческих — 21, мещанских — 15.