Расположен в 34 км к северо-западу от города Норидж и в 176 км к северо-востоку от Лондона. Находится недалеко от побережья, с магазинами, санаториями и местами для отдыха.
Холт впервые упоминается в «Книге судного дня» в 1086 году. В 1708 году Холт был опустошен пожаром, уничтожившим бо́льшую часть средневекового города за три часа. Поскольку большинство средневековых зданий было разрушено, после восстановления Холт стал известен обилием георгианских построек.