Впервые о Нелже говорится в Дозорной книге 1615 года и Писцовой книге 1629 года, как Нелжинский починок. В 1624 году воронежские атаманы Борис Каменное Ожерелье и Василий Шайдура получили земли близ этого починка. Возникшее поселение упоминается как атаманское село с церковью или «Борисово село Нелжа». В 1641 году Нелжа была разорена и сожжена татарами, заново возродившись через пять лет.
В 1674 году, в Нелже, в семье священника родился Епископ Воронежский и Елецкий Иоаким. В 1676 году в селе числилось 52 двора детей боярских и 2 двора церковных служителей[2].
В 1734 году в Нелже была построена каменная Николаевская церковь[3], сохранившаяся до наших дней. До революции село территориально входило в Усманский уезд Тамбовской губернии[4]; декретом ВЦИК «Об административном делении Воронежской губернии» от 12 мая 1924 г. было передано в состав Воронежского уезда[5].