Родился в 1821 году в Ирландии, ещё ребёнком был привезён своим отцом в Америку, где последний поселился в штате Кентукки. Будучи молодым человеком, он совершил на китоловном судне путешествие вокруг света, которое описал в книге под заглавием: «Etchings of a whaling cruise, with notes of are sidence on the island of Zanzibar».
В 1849 году он посетил Калифорнию, в 1851 году, в качестве газетного корреспондента, отправился в Европу, объехал Италию, Сицилию и Палестину и в 1853 году издал книгу «Yusuf», в которой дал описание этих путешествий. Затем, правительство Соединённых Штатов отправило его в качестве таможенного чиновника на северо-восточный берег Тихого океана. Плодом его пребывания здесь было сочинение «Adventures in the Apache country».
В 1861 году Броун снова отправился в Европу и объехал, кроме Германии, Польши и России, также Исландию и Алжир. Отчет об этих путешествиях напечатан в иллюстрированных самим автором сочинениях: «The land of Thor» и «An american family in Germany».