Карл Хартман родился 2 августа 1905 года в Мюнхене, в семье художника. С молодости придерживался социалистических взглядов. Учился в Мюнхене у Йозефа Хааса, получил большую поддержку со стороны Германа Шерхена (Хартман посвятил Шерхену свой Первый струнный квартет, 1933). В годы нацизма отстранился от публичной музыкальной жизни, но сочинения композитора исполнялись за границей, и его известность росла. Сотрудничал с А.Веберном, хотя не во всем разделял его общественные позиции и музыкальные взгляды. После войны — один из наиболее авторитетных композиторов и педагогов Германии.
Вобрал в свою музыку традиции Малера, Брукнера, Хиндемита, Стравинского, Шёнберга, элементы джаза. Его музыка оказала глубокое влияние на творчество Хенце.
Автор 8 симфоний, нескольких опер (среди которых — «Юный Симплициссимус», по Гриммельсгаузену, 1934—1935), камерных и вокальных сочинений.
Хартман скончался 5 декабря 1963 года в Мюнхене. В юбилейный год столетия со дня его рождения (2005) в Баварии прошло свыше 50 концертов памяти композитора.
Один из пропагандистов творчества Хартмана — дирижёр Инго Метцмахер. В России хартмановский Concerto funebre для скрипки и оркестра исполнял Владимир Спиваков.