Прежде открытия в Мариуполе по ходатайству городской думы мужской гимназии, осенью 1875 года начала действовать в составе приготовительного и первого классов прогимназия. Она была организована по инициативе уроженца Мариуполя, учителя 2-й Варшавской гимназии, Ф. А. Хартахая. Высочайшим повелением от 27 января 1876 года было разрешено 1 июля 1876 года открыть в Мариуполе мужскую гимназию «с приготовительным при ней классом». Её директором был назначен Ф. А. Хартахай. Торжественное открытие гимназии, в составе приготовительного и первых четырёх классов[1], состоялось 15 сентября 1876 года. В первый год было принято 158 учеников.
В числе успешных выпускников гимназии были: Георгий Псалти (вып. 1881, золотая медаль), Георгий Челпанов (вып. 1883, золотая медаль) и Михаил Авербах (вып. 1890, серебряная медаль).
После смерти Хартахая в 1880—1883 годах директором был Г. Нейкирх; затем — Н. Броницкий (в 1883—1890) и Г. И. Тимошевский.
Первоначально, до августа 1878 года, гимназия располагалась в доме купца 2-й гильдии Н. П. Хазанджи; затем — в доме купца 1-й гильдии А. Д. Хараджаева, на Екатерининской улице.