В 1714 году на участке земли тогда ещё в Казенном переулке Милютин Алексей Яковлевич, придворный истопник Петра I, построил свой дом и фабрику. К концу XVIII века фабрика стала самой старой и самой большой в Москве шелковой мануфактурой[1]. На фабрике трудилось более 350 работников. Небольшое деревянное строение со временем было перестроено в каменное и дополнилось вокруг несколькими зданиями, построенными на скупленных участках.
Младший брат Алексея Милютина, Андрей Яковлевич, активно помогал ему в развитии фабрики и после его смерти унаследовал все владения, которые, в свою очередь, перешли его сыновьям, Алексею и Михаилу Милютиным. Созданная потомками Алексея Милютина своего рода небольшая империя, дала своё имя Казенному переулку, который стал именоваться Милютинским. Владение принадлежало потомкам Милютина до 1828 года[2]. В 1829 году имение было разделено на две части (ныне дома № 14 и 16) и продано по отдельности[3].
В 1829 году главный дом городской усадьбы Милютиных приобрела М. Ф. Секретарева. При ней здание было отремонтировано, внешний облик его дополнился ампирным декором, а по улице была возведена ограда с двумя воротами по сторонам дома[4]. В 1835 году владение Секретаревой было проданно дворянской семье полковника Херодинова, который сдавал помещения внаём[2].
Среди жильцов, снимавших помещение, в доме проживал историк и литературовед, издатель исторического журнала «Русский архив» Петр Бартенев[3].
В 1873 году одним из жильцов дома был Яков Кузьмич Брюсов с женой. Здесь у них родился сын, Валерий Брюсов — поэт и основоположник русского символизма[2].
В 1882 году владение купил известный купец, потомственный почетный гражданин Фердинанд Леонтьевич Фульда, основатель фирмы, снабжавшей рынок москательными, химическими товарами и металлическими изделиями[5]. В 1835 году владение Секретаревой было проданно дворянской семье полковника Херодинова, который сдавал помещения внаём.