Йосеф Голуб родился в городе Млада-Болеслав 5 февраля 1930 года. Учился в Карловом университете в Праге, который окончил в 1953 году. Впоследствии стал профессором Карлова университета. Голуб был одним из основателей Института ботаники, где он работал на протяжении почти всей жизни. При его участии был создан журнал Folia Geobotanica & Phytotaxonomica, выпускающийся с 1966 года. Голуб работал в его редакции в продолжение 30 лет.
В 1960-х годах Голуб занимался подготовкой к выпуску геоботанической карты Чехословакии. Йосеф был инициатором выпуска Красного списка Чехословакии и одним из основных авторов Красных книг Чехии и Словакии (1999).
В 1990 году Голуб стал главным редактором журнала Чешского ботанического общества Preslia, сменив в этой должности Зденека Черногорского, через год был избран президентом самого Общества.
Авторству Голуба принадлежат разделы книг Flora Europaea и Flora of Turkey, посвящённые злакам трибы Aveneae, роду Glyceria и сложноцветным трибы Filagineae. Он работал в редакции книг Flora Iberica, Flora Europaea, а также одного из изданий Flora von Mitteleuropa Г. Хеги. В Flora of the Czech Republic Голуб полностью переработал систематику родов Rubus и Crataegus. Также Голуб занимался исследованием таких таксономически сложных родов, как Epilobium, Gentianella и Heracleum.
Помимо цветковых растений Голуб также переработал систематику рода плауновидных Huperzia, а также предложил внутриродовую классификацию рода хвощ Equisetum. Голуб занимался и изучением родственных связей родов папоротников Dryopteris, Lastraea и Thelypteris.
Йосеф Голуб был женат на Вере Голубовой-Еховой (1936—1993), работавшей в Институте ботаники в Праге над изучением гифомицетов.