До 2020 года был административным центром упразднённого Карловского района, в котором вместе с посёлками Ивановка и Солёная Балка составлял Карловский городской совет.
Город Карловка находится на правом берегу реки Орчик[3], ниже по течению на расстоянии в 2,5 км расположен посёлок Солёная Балка, на противоположном берегу — село Поповка.
На территории города несколько больших прудов, из которых вытекает один из истоков реки Тагамлык. Река в этом месте извилистая, образует лиманы, старицы и заболоченные озёра.
Поселение возникло в XVIII веке[4][5][1], вероятно, в 1740-е годы[3], когда императрица Анна Иоанновна пожаловала эти земли фельдмаршалу Миниху[6].
В 1741 году по решению Елизаветы I Миних был осужден, его имение было возвращено в казну и 30 апреля 1743 года пожаловано графу А. Г. Разумовскому[6]. После его смерти в 1771 году Карловка стала собственностью его брата К. Г. Разумовского. Разумовские владели Карловкой до 1849 года, когда жена Льва Кирилловича Разумовского М. Г. Разумовская продала её великой княгине Елене Павловне, жене Михаила Павловича, сына императора Павла I.
После преобразования Малороссийской губернии, в 1802 году Карловка вошла в состав Константиноградского уезда Полтавской губернии[6].