При подаче документов (23 мая 1686) для внесения рода в Бархатную книгу, была предоставлена родословная роспись Сумароковых, жалованная поместная грамота старицкого князя Владимира Андреевича Думашу Фёдоровичу Сумарокову на деревню Бабынино Макульское и на два жеребья деревни Булгановское Селище в Вошанском стане Алексинского уезда (1559) и ввозная грамота Думашу Фёдоровичу на деревню Душегубово в Ростовском стане Кашинского уезда, против его поместья в Алексинском уезде (1566)[2].
Род внесён в VI часть родословных книг Костромской, Пензенской, Саратовской, Тамбовской, Калужской[3] и Тульской губерний.
Сумароков Иван Михайлович — воевода в походах: казанском (1544), шведского (1549), полоцкого (1551). Алексей Иванович пожалован от Ивана Грозного поместьем в московском уезде (02 октября 1550). Опричниками Ивана Грозного числились: Никифор, Иван и Фёдор Сумароковы (1573). Семейка Сумароков был дьяком судных дел (1586), объезжий голова в Москве (1600—1601). Иван Богданович по прозванию Орёл — комнатный стольник царей Алексея Михайловича и Фёдора Алексеевича, на охоте спас жизнь царю Алексею Михайловичу, когда на него бросился медведь, убит в стрелецкий бунт (1682), как приверженец царевны Софии Алексеевны. Со второй половины XVII в. Сумароковы, служившие до того «по городам», начинают появляться в стольниках, стряпчих и т. п.
По указу императора Александра II, данная Правительствующему Сенату (26 августа 1856), генерал-адъютант, генерал артиллерии Сергей Павлович Сумароков, в награду долговременной. отличной и усердной службы возведён в графское достоинство Российской империи, на которое (15 ноября 1857) пожалована грамота и (07 июня 1857) утверждён герб[1].
По браку Ф. Н. Эльстона с графиней Сумароковой, ему было повелено (08 сентября 1856) к своей фамилии Эльстон прибавить фамилию Сумароков, графский титул и именоваться графом Сумароковым-Эльстоном[1].
Особым императорским указом в 1885 году графу Феликсу Феликсовичу Сумарокову-Эльстон (1856—1928), женатому к тому времени на княжне Зинаиде Николаевне Юсуповой, было разрешено, ввиду бездетности его тестя князя Николая Борисовича Юсупова после его смерти принять его титул и фамилию и именоваться князем Юсуповым, графом Сумароковым-Эльстон с передачей княжеского титула и фамилии Юсуповых старшему в роде. После смерти князя Н. Б. Юсупова 19 июля 1891 переход фамилии и титула был утвержден Правительствующим сенатом 2 декабря того же года.