Данные о местном населении в основном восходят к надгробным курганам, которые были расположены недалеко от современного города — на территории современной деревни Руевац (Rujevac, Рујевац). Во времена Римской империи территория относилась к провинции Далмация. Здесь же проходила дорога на Белград. Для защиты долин римляне создавали постоянные укрепления, которые дали начало нескольким современным городам.
В 1837 году в районе нынешнего города начали появляться первые поселения. В 1860 году была образована деревня Любовия. 3 июля 1871 года Любовия получила права города. Город был основан указом короля Милана Обреновича. В 1896 году разрушительное наводнение уничтожило постройки города, и жители восстановили свой город в трех километрах к северу от низовья притока Дрины Любовицы. Эта область немного дальше от Дрины.
Быстрое развитие города задержали балканские войны, первая и вторая мировые войны. В Первую и вторую мировые войны погибли многие жители Любовии, а также много жителей из окрестных деревень.
В городе стоит начальная школа им. Вука Караджича. Сербская православная Преображенская церковь была построена в период с 1932 по 1940 год.