Родился 24 января (5 февраля) 1839 года в селе Кемцы, Валдайского уезда, Новгородской губернии в семье приходского священника. В 1848 году поступил в Старорусское духовное училище, из которого в 1853 году перешёл в Новгородскую духовную семинарию. С 1856 года учился в Главном педагогическом институте, в связи с закрытием которого перешёл в Санкт-Петербургский университет — на историко-филологический факультет, который окончил в 1860 году, в звании старшего учителя гимназии и с награждением серебряною медалью.
После окончания университета поступил на службу в Олонецкую губернскую гимназию, где преподавал около года. Выдержав экзамен на магистра римской словесности был отправлен в 1862 году университетом в научную командировку. В 1862—1864 годах готовился к профессуре в Боннском университете (у Ричля и Отто Яна) и занимался в Риме изучением памятников древности. В феврале 1865 года получил в Петербургском университете степень магистра римской словесности за диссертацию «Тацит и его сочинения».
С мая 1865 года по декабрь 1867 года — доцент римской словесности в Новороссийском университете; с 1868 года — в Казанском университете, где 29 ноября 1868 года защитил диссертацию на степень доктора «Римская письменность в период царей». С 5 декабря 1868 года — экстраординарный профессор Казанского университета.
В апреле 1869 года получил звание ординарного профессора и тут же, по семейным обстоятельствам переехал в Киев. Читал лекции в университете Св. Владимира и в Киевской духовной академии. В 1878—1879 годах — ординарный профессор латинского языка в Петербургской духовной академии; в октябре 1878 года Советом Санкт-Петербургского университета допущен к приват-доцентуре, но в 1879 году был отстранён от преподавательской службы и был вынужден заниматься исключительно журналистикой — до кончины Д. А. Толстого.
В 1889 году министром народного просвещения графом И. Д. Деляновым был допущен к академической деятельности с правом преподавать в должности профессора на кафедре римской словесности Новороссийского университета. В 1893 году покинул университет и занялся публицистикой, живя, в основном в Риме, где и умер 13 (26) февраля 1907 года. Похоронен на Римском некатолическом кладбище.
Ещё будучи студентом института, напечатал в 1858 году в «Библиотеке для чтения» две статьи о провансальской поэзии. Научные работы В. И. Модестова, в значительной степени основанные на археологических данных Древней Италии, имели большое значение при исследовании материальной культуры народов, населявших Апеннинский полуостров начиная с палеолита; особое внимание учёного также занимали история этрусков и мессапов, проблемы возникновения латинской письменности (в частности, учёный доказал, что она имеет ещё доримское происхождение), история Римского государства и культуры.