Был учреждён как «Отечественный музей сельскохозяйственных произведений», в 1859 году, в Санкт-Петербурге, — на основе музея моделей сельскохозяйственных машин Вольного экономического общества[1]. Как указывал В. И. Строгонов, «в 1859 году Николай Васильевич Черняев подал мысль министру графу М. Н. Муравьёву о Музее»; была составлена подробная докладная записка, представленная Александру II. Предлагалось организовать семь отделов, которые бы представляли полную картину русского хозяйства и знакомили «с сельскими произведениями нашего отечества».
Первоначально под музей было отведено помещение в главном здании Лесного института: в октябре 1859 года «было отдано департаментом сельского хозяйства распоряжение Лесному институту об очищении „барака“, в который могли бы быть перевезены машины и оборудование». В следующем году вышло правительственное распоряжение «О приобретении за границей на известных тамошних заводах и преимущественно на предстоящей в Париже сельскохозяйственной выставке наиболее усовершенствованных орудий и машин, которые могли бы служить не только для хозяев, но и для русских фабрикантов», положившее начало формированию музейных фондов. Кроме техники, фонды пополнялись и образцами сельскохозяйственной продукции: В. М. Черняев подарил гербарий кормовых трав, В. В. Докучаев — образцы типичных российских почв. К 1863 году фонды музея составили два отдела: сельского хозяйства и сельскохозяйственной механики и архитектуры; возник дефицит площадей для размещения экспонатов и хранения коллекций.
В 1864 году музею было выделено помещение в Санкт-Петербурге: здание дворцового экзерциргауза на углу Миллионной улицы. 12 января 1865 года было утверждено Положение «о сельскохозяйственном музее Министерства государственных имуществ», в котором особо указывались на выполнение просветительских задач. Публичные лекции в музее начались ещё в мае 1861 года: их читал профессор А. В. Советов, «практическим же объяснением орудий и машин и производством опытов — заведующий музеем г. Черняев». Одновременно читались лекции В. В. Пашкевичем (по плодоводству), Я. О. Шнейдером (по сельскохозяйственным вредителям), П. Г. Алтуховым (по ветеринарии) и др.