Город расположен в 30 км от побережья, в долине реки Лигги, у подножьев горного хребта Титивангса. Местность главным образом холмистая, почвы — красные латеритовые, подходящие для выращивания каучуконосов и масленичной пальмы. Это делает Серембан важным сельскохозяйственным центром. Во времена бурной добычи олова, река Логги была главным транспортным торговым путём. Сегодня — это главный источник воды для Серембана и всего Негери-Сембелана. Климат, как и в большей части западной Малайзии, жаркий и влажный, со средними температурами 27-30 ºС.
Железнодорожное сообщение впервые появилось в конце 1890-х, до сих пор Серембан является одной из главных станций на линии Куала-Лумпур — Сингапур. Станция Серембан обслуживает также пригородную железнодорожную сеть. Через город также проходит федеральная трасса № 1, соединяющая главные города на западе полуострова Малакка. Кроме того, город соединён с городами Куала-Клаванг и Куала-Пилах (на востоке) и Порт-Диксон (на западном побережье). Негери-Сембелан — один из двух штатов страны, не имеющих аэропортов, однако международный аэропорт Куала-Лумпура (Kuala Lumpur International Airport) находится менее чем в 30 минутах езды от Серембана, что делает этот аэропорт даже ближе к Серембану, чем к столице страны.
Исторически, Негери-Сембелан является центром культуры минангкабау в Малайзии. Название этого народа с малайского означает «побеждающий буйвола», для них характерна уникальная архитектура крыш, напоминающая рога буйвола. Многим зданиям Серембана присущи эти черты.