А. С. Алфёрова обсуждала с А. И. Чупровым план учреждения собственной гимназии. Гимназия была официально учреждена в 1896 году. Первоначально для гимназии была снята квартира в доме С. М. Фроловой (Плющиха, д. 4/43), но официальным адресом гимназии была квартира А. Н. Авдеевой (Кривоарбатский переулок, д. 2/37). К 1902 году число учениц достигло 230, гимназия стала полноценной восьмиклассной гимназией Министерства просвещения, получившей права наравне с государственными гимназиями и предлагавшей объём знаний мужских гимназий.
В 1904 году был куплен участок для строительства здания гимназии на Мухиной горе рядом с церковью Благовещения на Бережках (по имени церкви назван Большой Благовещенский переулок) с целью успешного развития гимназии. Дом был построен на деньги благотворителей, среди них С. А. Муромцев. К. Т. Солдатёнков завещал гимназии учебники и книги. Дом построен по проекту И. А. Иванова-Шица. Здание было завершено в 1906 году. Адрес — Большой Благовещенский переулок, д. 21.
В здании гимназии была предусмотрена и квартира для директорской четы. Александра Самсоновна страдала болезнью сердца, поэтому для неё в здании был построен лифт. Память выпускниц школы сохранила историю, как однажды лифт застрял и Алфёрова провела урок математики из-за лифтовой решётки.
Обучение было платным. Но в каждом классе из 25—30 учениц 2—3 учились бесплатно, причём фамилии их были неизвестны остальным. Социальное неравенство внутри школы не ощущалось. Гимназисток-алфёровок отличали не только по синим беретам: для них была характерна особая глубокая внутренняя воспитанность, естественный такт, благородное достоинство при искренней благожелательности.
Как вспоминала одна из учениц: «Каждый, переступивший порог Алфёровской гимназии, твёрдо знал, что подсказкам, списыванию, шпаргалкам тут объявлена война, за фискальство[1] и малодушие презирают, трусость и вранье, даже самое невинное, не терпят»[2]. Гимназия была необыкновенно популярна среди московской либеральной интеллигенции, литературных, научных и художественных кругов второй столицы. Среди её учениц дочери Голицыных, Гагариных, Якушкиных, Щепкиных, Петрушевских, Кожевниковых, Кизеветтера, Мамонтовых, Гучковых, Поленовых, Шаляпина, Серова, Толстых.
Школьное прозвище основателей гимназии А. С. и А. Д. Алфёровых было «Шурки». Манера преподавания у них была совершенно разная. Александра Самсоновна, преподаватель математики, была строга, перед ней трепетали, но ещё больше уважали и любили. Александр Данилович вёл русский язык и литературу, он заражал учениц своей влюблённостью в предмет, пафосом правдоискательства. Он любил декламацию и чтение вслух, когда А. Д. прошибала слеза, он вынимал из кармана носовой платок и старался незаметно смахнуть её.