Информации о первом городском кладбище при городской крепости не сохранилось[1]. Первые документы, которые сообщают о воронежских кладбищах, относятся к времени царствования Петра I. Так в 1723 году царь приказал одним жителям хоронить умерших у Троицкой церкви в слободе Чижовка, а другим — у Покровской церкви в Девичьем монастыре. Предположительно в начале XVIII века во время строительства флота в Воронеже появилось первое кладбище для католиков, протестантов и др.[1] Согласно закону от 20 февраля 1800 года они должны были располагаться около кладбищ рядом с православными церквями. Из-за того, что городские кладбища располагались далеко от мест проживания горожан, то после смерти Петра I его запрет хоронить рядом с церквями перестал соблюдаться[1]. В конце 1771 года указом императрицы Екатерины II этот запрет был подтверждён. Но в XIX веке власти разрешили похоронить человека на территории храма, если он оказывал материальную помощь церкви. На это необходимо было получить разрешение местного губернатора и согласие епархиального начальства.
В конце XIX века-начале XX века в Воронеже действовало три главных кладбища[1]: Чугунное, Ново-Митрофановское и Терновое. Порядок на них поддерживался священнослужителями кладбищенских церквей и церковными старостами. Согласно сохранившемуся письму, написанному в 1874 году архитектором Д. С. Максимовым в Воронежскую городскую Думу на этих кладбищах не было никаких правил расположения могил и их ограждения, надгробия почти не охранялись, учёт захоронений (место, имя умершего) вёлся настолько плохо, что приводило к повторному погребению на том же месте. С 1880-х годов ситуация стала меться к лучшему. По отзывам местной прессы заслуга в это была двух представителей купеческого сословия Н. Н. Паньшина (гласного городской Думы и церковного старосты при Вознесенской церкви на Чугунном кладбище) и А. Н. Клочкова (известного благотворителя, общественного деятеля и церковного старосты при Всесвятской церкви на Ново-Митрофановском кладбище). Существовали также иноверческие кладбища[1]: еврейское и лютеранское, которые находились в ведении религиозных общин.
Декрет Совнаркома от 7 декабря 1918 года предоставлял местным Советам право открывать кладбища и содержать их[1]. Старые кладбища оставались в ведении церкви. С 5 мая 1919 года Чугунное, Ново-Митрофановское, Братское, Лютеранское и Еврейское кладбища стали подчиняться отделу коммунального хозяйства (Горкоммунотделу), созданному при Воронежском горисполкоме. В 1922 году городские кладбища перешли в ведение Губкоммунотдела, частью которого стал Горкоммунотдел. Губкоммунотдел располагал штатом похоронных служащих: грузчиков, копачей, носильщиков и уборщиков. В это же время для уменьшения расходов Еврейское кладбище было передано Губкоммунотделом общине верующих, а Терновое — исполкому Троицкой слободы.