Родился в 1897 году, в семье адвоката. До 8 лет жил в своей родной деревне Сент-Матори, в департаменте Верхняя Гаронна, в предгорьях Пиренеев. Затем с семьей переехал в город Тулуза. Впервые он спустился под Землю в возрасте 5 лет. А в 11 начал путешествовать по подземным лабиринтам.
Восемнадцатилетним, в 1915 году Кастере вступил добровольцем в артиллерийский полк. На войне был серьезно ранен. После Первой Мировой Войны Норбер Кастере продолжил образование в Тулузском университете, на юридическом факультете.
В 1922 году Кастере открыл в Пещере Монтеспан (Северные Пиренеи) резные и скульптурные изображения эпохи палеолита.
К 1960 году Норбером Кастере было исследовано более полутора тысяч пещер. Норбер Кастере написал множество книг о своих исследованиях, таких как «Зов Бездны» и «Моя жизнь под землей».