История села Караул, предположительно, берёт своё начало с основанного ещё в начале XVII века на высоком крутом берегу реки Ворона наблюдательного поста — Караула, призванного нести дозорную службу по охране южных рубежей русского царства от набегов кочевников. Первые из сохранившихся документов по истории села — описи и метрические книги Троицкой церкви 1800 года. Опись от 1802 года свидетельствует, что в это время маленькая деревянная церковь крайне обветшала. В 1806 году она была заменена каменной, храмоздатель — владелец села, генерал-майор Иосиф Яковлевич Арбенев[1].
В 1818 году владельцем имения стал Сергей Васильевич Вышеславцев, дед Льва и Алексея Владимировичей Вышеславцевых.
В 1837 году имение купил известный тамбовский дворянин Николай Васильевич Чичерин (1801—1860)[2]. Именно он начал возведение нового усадебного комплекса. Строительство нового усадебного дома было поручено архитектору С. И. Миллеру; в 1849 году Чичерины переехали в усадьбу, продав дом в Тамбове. Для устройства сада был приглашён из Пензы учёный-садовод Эрнест Магзиг.
После смерти Н. В. Чичерина и раздела имущества имение перешло во владение старшего сына, Б. Н. Чичерина. Во время путешествия по Европе в 1864—1865 годах Борис Николаевич Чичерин положил начало своему собранию картин: в Гааге были приобретены два фамильных портрета Питера Назона, оттиск гравюры на дереве Лукаса ван Лейдена «Вергилий в корзине».
Выйдя в отставку, Б. Н. Чичерин занялся хозяйством — «более по обязанности, нежели по вкусу»[3]. В это время доминантами усадьбы являлись главный дом и церковь. Дом по своему внешнему виду напоминал крепость; он представлял собой кирпично-деревянное оштукатуренное 2-3-хэтажное строение в английском коттеджном стиле. С юго-восточной стороны к нему примыкала каменная терраса. Общая площадь дома составляла более 1500 метров. В доме насчитывалось 38 комнат. Гостиную дома украсили: коллекция полотен русских (Тропинин, Боровиковский, Васильев, Серов, Айвазовский и др.) и западноевропейских художников[4]: Веласкес, Веронезе, Рибера, Ливенс, Ван-Гойен; мейсенский фарфор, унаследованный женой; старинная мебель[5].
Каретный двор, автором проекта которого был близкий друг семьи Чичериных Сергей Баратынский — младший брат поэта Баратынского, имел вид каменной зубчатой крепости в готическом стиле.