История Одесской кладбищенской церкви может быть разделена на два периода. Первый из них охватывает время её существования в первобытном виде и размерах до 1845 года, а второй — время постепенного расширения и дальнейшего благоустройства её до 1900 года.
Необходимость сооружения храма на Одесском городском кладбище сознавалась горожанами со времени открытия кладбища (окодо 1794 года). В октябре 1807 года от имени одесского благочинного, протоиерея Петра Куницкого граждане отправили архиепископу Екатеринославскому, Херсонскому и Таврическому Платону прошение о разрешении соорудить на кладбище церковь во имя Успения Пресвятой Богородицы и употребить на это материал из старой (временной) соборной Николаевской церкви. Платон дал своё благословение на сооружение церкви. Однако в связи с тем, что Одесса перешла из Екатеринославской епархии в Кишинёвскую, одесский благочинный протоиерей Иоанн Воронин обратился к митрополиту Кишинёвскому и Хотинскому Гавриилу за благословением, отправив рапорт 13 сентября 1816 года.
5 октября того же года последовало дозволение от Гавриила, а 10 числа одесские граждане решили переименовать церковь в честь Всех Святых. Её закладка состоялась 29 октября 1816 года. Завершение строительства состоялось лишь 22 мая 1820 года, и причиной тому была нехватка средств: по словам рапорта одесского благочинного от 14 июня 1819 года, в том году предлагалось строить только столько, на сколько хватит средств для закупки материалов и строительства, хотя в 1820 году все работы после получения средств были завершены крайне быстро. 25 июля того же года состоялось освящение церкви. Как следовало из документов Воронина, постройка велась отчасти в долг, по которому удалось расплатиться в 1825 году.
К 1900 году церковь расширилась и приняла свой настоящий вид с пристроенной колокольней, двумя боковыми приделами и тамбуром (площадь выросла более чем в два раза). В 1837 году Херсонская и Таврическая губерния вошли в отдельную епархию с резиденцией в Одессе, а её первый архиепископ Гавриил в марте 1846 года предложил заменить деревянную колокольню на другую. Прототиперей Пасхалов, вызванный в Консисторию, 17 сентября 1846 года получил распоряжение представить рисунок новой колокольни в Святейший Синод: средства на сооружение могли выделяться только после начала работ. Архитектором колокольни выступил А. Шашин, его проект одобрила Херсонская губернская строительная комиссия в соответствии с Высочайшим Государя Императора утверждением от 12 марта 1847 года.