Был открыт в 1864 году. Его учредителем выступил главный начальник военно-учебных заведений Н. В. Исаков[1], через год после назначения на эту должность. Первоначально музей существовал при педагогической библиотеке военно-учебных заведений; затем, с 1871 года — в Соляном городке.
Главной задачей музея было собирание, систематизация и разработка учебных пособий с целью облегчения их выбора военно-учебными заведениями. Заведование музеем принял В. П. Коховский. Будучи начальником учебного отдела при Главном управлении военно-учебных заведений и понимая, какую услугу может оказать музей в деле обучения, он способствовал его учреждению и относился к нему с особенной заботливостью.
Первые свои коллекции музей приобрёл, в основном, в Германии и Англии, а также во Франции и Италии — поскольку в России их ещё не было. Обратив внимание на относительно высокую стоимость учебных пособий, выписывавшихся из-за границы, Коховский нашёл русских производителей и настолько удешевил и улучшил учебные пособия, что они уже сделались предметом вывоза за границу.
С 1866 года Педагогический музей начал устраивать педагогические выставки (среди организаторов — Н. X. Вессель, К. К. Сент-Илер, В. А. Евтушевский, Ф. Ф. Эвальд).
В 1871 году музей вошёл в состав «Музея прикладных знаний» и стал распространять информации в более широких массах населения. С этой целью Педагогический музей стал устраивать публичные лекции с туманными картинами первоначально для солдат, а потом и для народа; организация этих чтений была поручена особой комиссии из преподавателей средних учебных заведений под председательством Коховского; в комиссию были привлечены лучшие педагогические силы. Одним из активных организаторов музея был педагог Н. П. Животорский. Профессора высших учебных заведений читали публичные лекции по различным отраслям знаний (с 1872), среди лекторов были: И. М. Сеченов, Н. М. Пржевальский, С. М. Соловьёв. Народные чтения привлекали свыше 100 тыс. слушателей в год.
В 1872 году был издан каталог наглядных пособий и учебных руководств для начальной и средней школы. Среди учебных пособий, разработанных в музее: арифметические счёты В. П. Коховского, геометрические модели Евтушевского. Музей был удостоен почётной награды за участие в Московской политехнической выставке.