Герб Всеволожских в знак признания их принадлежности к смоленским Рюриковичам составлен из гербов городов Смоленска и Киева с княжескими шапкой и мантией. Щит разбит на две части: из них в верхней, голубой, изображён герб киевский, а в нижней в серебряном поле — герб смоленский. Щит покрыт мантией и шапкой, принадлежащими княжескому достоинству[1].
До середины XVIII века было принято написание фамилии Всеволоцкие, позднее также Всеволодские. Написание Всеволожские вытеснило все остальные и стало общеупотребительным только в самом конце XVIII века, в связи с утверждением герба.
Старшая («московская») ветвь рода Всеволожских происходит от Ивана Никитича Всеволоцкого, который в 1584 году был послан гонцом в Польское королевство с требованием о возврате пленных русских. Отдельные представители этой ветви писались «Всеволоцкими» вплоть до конца XVIII века (в том числе и в тех документах Вотчинной коллегии, в которых как все представители младшей, так и некоторые представители других линий старшей ветви уже именовались «Всеволожскими»).
Ивану Никитичу Всеволоцкому, а затем его вдове Татьяне Ивановне принадлежало под Владимиром село Жерехово. Внук Ивана Никитича, патриарший сын боярский Василий Петрович Всеволоцкой получил в 1608 году от патриарха Гермогена во Владимирском уезде поместья (сельцо Орехово с пустошами), утверждённые в 1621 году патриархом Филаретом за сыновьями его Григорием, Петром и Романом в вотчину. Первые двое были родоначальниками двух ныне существующих линий этой ветви.
Большинство потомков Григория Васильевича, начиная с конца XVIII века, служили офицерами военно-морского флота. Эта линия внесена в VI часть родословной книги Владимирской и Калужской губерний[2].
Потомки Петра Васильевича до середины XVIII века продолжали служить патриаршими детьми боярскими, затем дворянами Святейшего Синода (в 1691 году в списке дворян патриарха Адриана перечислены 209 человек, из них Всеволоцких — 22, больше всех)[3], и были управителями патриарших (синодальных) вотчин, стряпчими, ясельничими, дворскими Синодального дома. Последним оставил это поприще Матвей Алексеевич Всеволоцкой, ещё в 1780-х г.г. — комиссар Государственной Коллегии экономии, в ведение которой в 1764 году были переданы после секуляризации бывшие церковные имения. Его внук, подпоручик Матвей Алексеевич, не сумевший представить в Херсонское губернское дворянское депутатское собрание метрическую выписку о своём рождении — казённый ящик Елисаветградского гусарского полка (его шефом был генерал-майор А. М. Всеволожский), в церкви которого он в 1808 г. в Вилкомире был крещён, в 1812 году был отбит французами и утрачен[4], — с детьми был внесён во II (а не в VI) часть родословной книги Херсонской губернии. Эта линия носит название «херсонских Всеволожских»; после продажи Орехова её «родовым гнездом» стало село Аннинское под Елисаветградом, купленное генералом А. М. Всеволожским в 1811 году.