Учился живописи в Антверпене у бельгийского художника Хендрика Лейса, затем — в Дюссельдорфе. После этого переехал в Америку, став известным художником. Занимался преподавательской работой — был первым директором школы Музея изящных искусств в Бостоне, среди основателей которой был его друг по Антверпену Фрэнсис Миллет. Его коллегой по работе в школе был Джозеф Де Камп.
Многие известные американские художники посещали его занятия и были под влиянием европейских идей Грундманна. Среди его студентов были — Эдмунд Тарбелл, Эдвард Поттер, Роберт Рид, Эрнест Феноллоза, Фрэнк Бенсон и Чарльз Тёрнер.