Район находится на правом берегу Южного Буга. Ранее, предместье (местечко[3]) города Ольвиополь[4] и станция «Голта» Юго-Западных железных дорог, находилась в двух верстах от Богополя[5]. До 1917 года Голта — село[6] Ананьевского уезда Херсонской губернии[1] Российской империи[7].
После распада Золотой Орды на её бывших территориях сформировались несколько государств, граничащих с Русским государством. Одним из таких образований было Крымское ханство, правители которого периодически совершали грабительские набеги на русские земли.
Голта основана в 1762 году запорожскими черкасами Русской армии как слобода на крымскотатарском берегу Южного Буга, для контроля переправы[8] через реку. После окончания русско-турецкой войны 1787—1791 годов по Ясскому договору в состав Российской империи вошли земли по правому берегу Буга (в том числе село Голта).
В ходе строительства в 1867 году участка ЮЗЖД Балта — Ольвиополь (в 1868 году продолженной до Елисаветграда) у села[1] был построен железнодорожный мост через реку Южный Буг. Это способствовало экономическому развитию села — во время строительства моста Фридрих Гейне открыл в нём мастерскую по изготовлению заклёпок для Ж/Д моста и ремонту молотилок. В 1869 году здесь была построена железнодорожная станция на железнодорожной ветке Балта — Елисаветград, имевшая до 1973 года, в УССР, название «Голта» (ныне — Первомайск-на-Буге).
В 1891 году здесь насчитывалось 819 дворов и 6 584 жителей[1], действовали два пивных завода (Голтянский и завод Фаатца), завод земледельческих машин, начальное училище и школа при Голтянском пивоваренном заводе[1].
По переписи 1897 года численность населения села составляла 7 062 жителя, из них 1 245 — евреи[9]. В селе была начальная школа (начальное училище от управления железных дорог), пивоваренный завод, завод земледельческих машин.