С 1875 года изучал лингвистику в Берлинском университете, затем физику под руководством Густава Кирхгофа и Германа Гельмгольца, позже в 1878—1881 годах — математику в Страсбурге под руководством Эльвина Кристоффеля, Карла Шварца в Гёттингене и Карла Вейерштрасса в Берлине.
Преподавал математику во Фрайбурге. В 1886 году под руководством Феликса Клейна защитил докторскую диссертацию.
В 1887 году жил в Великобритании (Кембридж, Эдинбург, Лондон), затем отправился в США. В 1888 году преподавал в университете Джонса Хопкинса в Балтиморе. С 1889 года — доцент Университета Кларка в Вустере (Массачусетс), с 1893 года — профессор математики Чикагского университета.
События Первой мировой войны сильно повлияли на Больцу, и после 1914 года он прекратил математическую деятельность. В этот период он заинтересовался психологией религии, лингвистикой (особенно санскритом) и индийскими религиями. В 1930 году под псевдонимом Ф. Х. Марнек опубликовал книгу «Glaubenlose Religion» («Религия без веры»). Однако позже вернулся к математике, читал лекции во Фрайбургском университете с 1929 года до выхода на пенсию в 1933 году.
Был почётным профессором Фрайбургского и Чикагского университетов, членом Немецкого и Американского математических обществ. В 1912 году стал членом Леопольдины.
Основные направления научной деятельности — вариационное исчисление, теория эллиптических и гиперэллиптических функций.