Гимназия была создана Эмилией Павловной Шаффе (25.09.1827 — 1906), происходившей из петербургской немецкой семьи. Учебное заведение, которое Шаффе бессменно возглавляла почти полвека (до 1906 года), прошло путь от школы-пансиона с характерным для него «семейным духом» до одной из лучших петербургских гимназий.
Свой пансион, открывшийся 15 января 1858 года, Шаффе называла «Maison d'Education» («Дом образования»). Она сама вела уроки; учебниками здесь почти не пользовались: каждый учебный предмет изучался со слов учителя, а затем материал закреплялся письменными упражнениями. Много времени уделялось прогулкам по городу, посещению музеев.
Сначала в пансионе было всего четыре ученицы, через полгода добавилось еще десять. В 1866 году при школе открылся подготовительный класс для малышей, где впервые был осуществлён опыт предметного обучения детей по картинкам. Для детального знакомства с идеями немецкого педагога Фрёбеля о дошкольном воспитании Шаффе отправила в Германию одну из своих бывших учениц, и вскоре открыла при школе детский сад, — один из первых в Петербурге. В 1869 году школа Шаффе получила статус перворазрядного учебного заведения. В 1882 году школа была преобразована в гимназию, перестав быть частной.
Осенью 1918 года женская гимназия Э. П. Шаффе была объединена с мужской гимназией Карла Мая. В 1925 году — школа № 206 I и II ступени Василеостровского района; в 1935 — средняя школа №5; с 1964 — школа № 21[1]. В разное время учениками бывших здесь учебных заведений были поэт Вадим Шефнер, композитор Андрей Петров, артист Георгий Жжёнов, химик А. Г. Морачевский.
Участок на углу Большого проспекта и 5-линии Васильевского острова изначально был единым владением; на углу двух улиц находилось здание, в котором в середине XVIII века жил учёный Г. В. Рихман. 15 января 1858 года в угловом доме педагогом Эмилией Павловной Шаффе была открыта частная женская школа. В 1880-х годах она стала владелицей всего участка, а частное учебное заведение приобрело статус гимназии. К этому времени старый дом перестал соответствовать требованиям учебного заведения, было решено строить новое специальное здание, но сначала было перестроено здание дома 17: