Первые упоминания о застройке участка относятся к 1800 году, когда на этом месте был построен трёхэтажный дом. Здание принадлежало купцу Г. Панину, позже владельцем здания стал граф Д. Н. Блудов († 1864). При нём в этом доме (наряду с другими адресами участников) по четвергам проходили встречи литературного общества «Арзамас». Здесь бывали Д. В. Дашков, Д. Н. Блудов, А. И. Тургенев, С. С. Уваров, К. Н. Батюшков, П. А. Вяземский, В. Л. Пушкин, А. С. Пушкин, А. Ф. Воейков, Д. П. Северин, Ф. Ф. Вигель, Д. В. Давыдов, почётные члены общества — Н. М. Карамзин, И. И. Дмитриев и другие деятели культуры и искусства.[1]
Также владелец дома по работе был связан с литераторами К. С. Сербиновичем, П. А. Вяземским, П. А. Плетнёвым и А. В. Никитенко. Эти люди были друзьями владельца, и, скорее всего, также бывали здесь.
После Д. Н. Блудова хозяином участка стал нарвский бюргер, купец А. В. Липгарт. При нём была проведена существенная перестройка здания по проекту архитектора М. А. Макарова. В результате этой переделки в нижнем этаже здания были устроены большие окна-витрины. Кроме того, на втором-третьем этажах был устроен двухэтажный эркер, мезонин, а фасад здания украшен мелким декором.[3]
Работы проводились в период 1872-1873 годов, руководил работами сам владелец здания. Новая постройка использовалась как доходный дом, который стали называть «Дом Л. В. Липгарта». В конце XIX века в здании размещались меблированные комнаты «Лувр» и различные магазины.[3]