Родился в Кёльне 14 сентября 1844 года. Вначале был книготорговцем, затем увлекся астрономией, самостоятельно изучил математику и астрономию и в 1874 году защитил диссертацию в Гисенском университете. Вёл наблюдения сначала в собственной обсерватории, в 1880 году стал директором астрономической и метеорологической обсерватории в Линдентале (близ Кёльна).
Известен многолетними наблюдениями Луны, в ходе которых пришел к выводу о продолжающейся вулканической активности этого спутника Земли. В 1879 году сообщил об открытии вновь образовавшегося кратера вблизи борозды Гигина. В 1882 году описал наблюдавшуюся им яркую вспышку в кратере Альфонс, которую интерпретировал как извержение вулкана (существование вулканической деятельности в Альфонсе было также установлено Н. А. Козыревым в 1958 году спектроскопическим путём, однако современные исследования опровергли эту точку зрения). Был членом Селенографического общества.
С 1882 года издавал научно-популярный астрономический журнал «Sirius» (Лейпциг), естественно-исторический журнал «Gaea», а с 1890 года — «Ежегодник астрономии и геофизики» (нем. «Jahrbuch der Astronomie und Geophysik»).
Г. Й. Клейн — автор пользовавшихся широкой известностью во всем мире популярных книг по астрономии и метеорологии, в частности: