Изначально (в XIV веке) город носил название Йетачер (Getakär), но в начале XV века был переименован по близлежащей крепости в Варберг.
Варберг расположен на западном побережье страны и славится своими песчаными пляжами. К северу от города побережье слегка меняется и песчаные пляжи переходят в каменные террасы.
Варберг — популярный летний курорт и многие жители из промышленных городов, таких как Бурос, либо проводят в Варберге лето, либо приезжают туда на несколько дней на отдых.[1]
В городе находится Варбергская крепость, заложенная ещё в последней четверти XIII века. В её центральной части — замке — размещается Варбергский музей, в котором выставлены предметы из так называемой «бокстенской находки».