Мужская гимназия была открыта в Кронштадте в 1862 году в помещении, которое было отведено Морским министерством в здании 1-го учебного морского экипажа. Поводом стало решение сократить число воспитанников морских учебных заведений. Для того, чтобы дать высвобождаемым из Кронштадтского штурманского училища воспитанникам гимназическое образование, было принято открыть в городе мужскую гимназию с пансионом. До этого здесь было, кроме штурманского училища, только три подготовительных пансиона и городское училище. материальное обеспечение гимназии было возложено на Морское министерство (58802 руб.) при участии Министерства народного просвещения (33040 руб.).
Открытие гимназии состоялось только 23 октября 1862 года. В первый год существования в ней занимались 144 ученика, причём более 100 было переведено из штурманского училища и в их числе было 78 пансионеров. Первоначально, в первом классе были даже 17-летние юноши, а в третьем — 20-летние; большая же часть пансионеров была откровенными лентяями. После первого года 51 учащийся (большинство — из пансионеров) были исключены из гимназии. Во второй год потребовалось ввести дополнительные занятия со слабыми учащимися. Нормальное функционирование учебного заведения началось с 1864 года, когда был принят новый Устав средних учебных заведений Министерства народного просвещения, в соответствии с которым гимназия была отнесена к разряду классических — с одним латинским языком. С 1866 года начались ежегодные выпуски окончивших полный курс (числом до десяти человек); число учащихся почти достигло 200 человек. Открытие в Кронштадте в 1873 году реального училища привело к некоторому уменьшению численности гимназистов.
До 1884 году директором был действительный статский советник П. Н. Яниш, после смерти которого руководство было возложено на инспектора Петергофской гимназии Н. А. Козеко (также как и предыдущий и следующий директора преподавал ещё и древние языки). При нём воспитательная сторона в гимназии достигла такого уровня, что в неё стали присылать учеников на исправление. В феврале 1897 года директором был назначен О. Ю. Клеменчич; 1 июля 1906 года его сменил В. И. Вознесенский, который через год был переведён в 1-ю Санкт-Петербургскую гимназию. Следующие два года (с 11.08.1907) гимназией управлял А. М. Якимах. С 1909 года директором был Александр Михайлович Яворский.
В числе преподавателей гимназии были: И. И. Сергиев (Закон Божий; 1862—1888); А. А. Цветков (русский язык; 1866—1871); П. В. Смирновский (русский язык; 1870—1876); Ф. К. Геек (математика; 1864—1865?); И. П. Верещагин (математика; 1869—1871); Э. П. Цытович (математика и физика; 1898—1900).