Джеймс Ричард Гэммон родился в Ньюмане, Иллинойс, в семье Дорис Латимер и музыканта Дональда Гэммона. У него есть брат Филипп и сестра Сандра. Со временем родители будущего актёра развелись, а сам Джеймс постоянно ездил между двумя домами. Примерно в двадцатилетнем возрасте Гэммон переехал в Голливуд, штат Калифорния, чтобы найти себе работу в сфере кино.
В 1966—1967 годах дебютировал в многосерийном вестерне «Дорога на запад». Играл в вестернах, военных фильмах и детективах. Наиболее известен по ролям Ника Бриджеса в телесериале «Детектив Нэш Бриджес» и Эско Суонгера в фильме «Холодная гора».
Гэммон также выступал на Бродвее. За роль в спектакле Сэма Шепарда «Похороны ребёнка» был номинирован на театральную премию «Тони» в 1996 году. Последние годы был актёром театра Ocala Civic в Окале.