Иван Гольц-Миллер родился 27 ноября (9 декабря) 1842 года в Ионишкелисе Паневежского уезда Ковенской губернии в семье государственного служащего[3]. По окончании Минской гимназии, в 1860 году поступил на юридический факультет Московского университета, но вскоре за участие в студенческом революционном кружке Пётра Григорьевича Заичневского и распространение запрещенных сочинений (А. И. Герцена, Н. П. Огарёва, Л. Фейербаха), по приговору сената, был заключён на три месяца в смирительный дом, а затем был сослан в Карсун[4].
В 1865 году был зачислен на 1-й курс юридического факультета Новороссийского университета[5]. Однако учиться ему не удалось. Жил в Минске, Курске и Орле[4].
Начав писать с 1859 года в газете «Минские губернские ведомости», Гольц-Миллер стал в 1860-х годах широко известен как хороший переводчик Джорджа Гордона Байрона («Прощание Чайльд-Гарольда» и «Euthanasia»), Огюста Барбье, Николауса Ленау («Песнь португальского переселенца») и других иностранных поэтов[4].
Гольц-Миллер писал и оригинальные стихотворения, наиболее известные из которых: «Блажен, кто смолоду», «Слушай» (положено на музыку П. П. Сокальским), «Дай руку мне», «На жизнь и смерть», «Мой дом» («Вестник Европы». — 1871. — № 11)[4][6]. Одно из его стихотворений было положено на музыку композитором М. П. Мусоргским.
Почти полвека спустя после смерти поэта в СССР впервые отдельным сборником были изданы его стихотворения (при жизни автора, в силу политических убеждений последнего, этому препятствовала цензура)[7].