Родоначальником первого был Михаил Вырубов, живший и в начале XVI века. Сын его — Иван Михайлович, был боярином при Иване Грозном (упоминается в 1551), пожалован Иваном IV поместьем и вотчиной из дворцового с. Рюминского с дд. Переяслав-Залесского уезда (1551), а его племянник — Иван Остафьевич писан в числе детей боярских (1573). От двух внуков его — Михаила и Дмитрия, пошли две отдельные ветви, от первого — московская, от второго — смоленская.
Опричниками Ивана Грозного числились: Григорий Михайлович, Иван Леонтьевич, Курбат и Дмитрий Ивановичи, Левонтий, Иван, Лобан и Семён Остафьевичи, Семейка Смирного Вырубовы (1573)[1]. Михаил Астафьевич владел поместьем в Московским уезде (1573), его Вяземские вотчины перешли вдове Григория Вырубова и её сыну Афанасию (1594). Восемь представителей рода владели поместьями в Вяземском уезде (1594). Потомство Ивана Леонтьевича записано в родословную книгу Московского уезда.
Юрий Иванович состоял при датском принце Густаве (1602). Михаил Иванович полуполковник взят в плен под Чудиновым (1660). Вязьмитинин Тимофей Иванович служил сотенным головою, его сын Дмитрий полуголова у московских стрельцов (1669—1670). В XVII столетии Вырубовы владели поместьями в Московском, Вяземском и Боровском уездах.
Род этот внесен в VI часть Дворянской родословной книги Московской, Смоленской («Гербовник», II, 79)[3].
Другой род Вырубовых, нового происхождения, внесён во II-ю часть Дворянской родословной книги Владимирской губернии.
В Гербовнике Анисима Титовича Князева 1785 года имеется изображение печати с гербом действительного тайного советника, сенатора и кавалера ордена Святого Александра Невского (1804) Петра Ивановича Вырубова: на княжеской мантии означен овальный щит, имеющий золотое поле, в котором вертикально изображен синий с красной каймой колчан, с выходящими из него белыми стрелами, у которых оперение голубое с розовым. Над колчаном — половина белого солнца в лучами. Княжеская мантия со щитом украшена обычной дворянской короной[4].