Родился 16 (28) мая 1818 года[1] в Коломне Московской губернии в семье уволенного с военной службы «за ранами, с мундиром и пенсионом полного жалованья подполковника», коломенского полицмейстера[2] Василия Яковлевича Губерти, брата Я. Я. Губерти. Был вторым сыном в семье, после него родились ещё пятеро. Детство провёл в селе Щурово Зарайского уезда Рязанской губернии в имении своей матери, Елены Андриановны — дочери екатерининского статс-секретаря и автора воспоминаний А. М. Грибовского. Получив домашнее образование, поехал с родителями в Петербург, где в 1835 году поступил юнкером в гвардейскую артиллерию; в 1838 году — прапорщик. В 1845 году вышел в отставку с чином штабс-капитана и занялся коллекционированием монет и книжной стариной.
Собирал старинные русские монеты, преимущественно времён удельных русских князей. Также он собирал русские книги и рукописи, главным образом XVIII века. В его библиотеке имелись редкостные, даже единственные издания — как, например, «Карманный календарь государя великого князя Павла Петровича на 1761 год», напечатанный в одном экземпляре для малолетнего цесаревича. В начале 1880-х годов он обнаружил на Сухаревке и опубликовал в 1885—1886 годах в журнале «Библиограф» «Записки Андрея Болотова» — один из важных документов литературной жизни России времен Екатерины II. Помещал также свои заметки и статьи в журналах «Русская старина» (1875—1878) и «Российская библиография» (1881).
Основной его многолетний труд — «Материалы для русской библиографии. Хронологическое обозрение редких и замечательных русских книг XVIII столетия, напечатанных в России гражданским шрифтом» (3 тома: М., 1878, 1881 и 1891), был удостоен в 1889 году малой Уваровской премии. Это издание фактически являлось обширным каталогом книжного собрания Губерти, большую часть которого приобрёл московский купец Н. И. Носов, и которая почти вся сгорела в конце 1895 года. После смерти Губерти, все оставшиеся после него книги (библиографический отдел, мистические книги и 90 указов и манифестов XVIII века) были куплены Д. В. Ульянинским. Книги мистического содержания затем перешли к Г. В. Юдину и, в конце концов, оказались в библиотеке Конгресса США.