Герман, второй сын Эрнста I и Гизелы Швабской, стал герцогом Швабии в 1030 году после смерти своего старшего брата Эрнста II. В то время он был ещё несовершеннолетним.
В июле 1038 года Герман IV умер в Южной Италии (близ Неаполя) в результате эпидемии. После этого Конрад II передал Швабию своему сыну Генриху I.
Герман IV был похоронен в Кафедральном соборе Святого Виргилия, так как жара помешала привезти его останки в Германию[2].
Вслед за поздним австрийским источником иногда утверждается, что у Германа IV были дети[3]. Однако многие современные медиевисты считают, что Герман бо́льшую часть своего короткого брака провёл на войне и умер бездетным[4].