Родился в Тобольске 14 (26) июля 1816 года — сын Василия Васильевича Пассека и брат Диомида Васильевича Пассека.
После переезда в 1825 году в Москву, поступил в 1-ю Московскую гимназию; затем учился в Московском университете, где окончил кандидатом историко-филологический факультет.
Переселившись в начале 1840-х годов в Санкт-Петербург, где в то время велось судебное дело его по наследственным правам с князем Шаховскими, он поступил на службу в Министерство внутренних дел. В 1848 году тяжба с Шаховскими окончилась, он получил свою долю — имение в Изюмском уезде Харьковской губернии, где и поселился, выйдя в начале 1850-х годов в отставку и занявшись сельским хозяйством и научными исследованиями.
В 1861 году переехал в Харьков, где вскоре проявилось его психическое расстройство, вызванное сотрясением мозга при падении. Умер в Харькове на руках своей сестры в мае 1864 года.
Интересуясь историческими вопросами, В. В. Пассек написал несколько работ, из которых только одна: «Исторические изыскания г-на Соловьева в сравнении с историческими данными»[1], была напечатана при его жизни (СПб., 1852. — 158 с.). Остальные же его исследования были опубликованы уже после его смерти:
Его работы были собраны и изданы Обществом истории и древностей в одной книге под заглавием «Исследования в области русской истории» (М., 1870. — [4], 32, 190, 158 с.).