Род происходит от Отто де Ферсне (упоминается в 1264, 1288), балтийского немца, получившего пожалования от герцога Померании Барнима I Доброго.
В 1674 году король Швеции Карл XI даровал баронский достоинство с титулом баронов Кронендалей четырём Ферзенам из числа перечисленных выше: Отто Вильгельму, Герману, Гансу и Фабиану. Эта линия Ферзенов в дальнейшем осталась в Швеции.
Сын Генриха Ферзена — Ганс Генрих (ум. 1724) — капитан шведской армии, предводитель дворянства Ревельской губернии (1720-21), ландрат (с 1721). Был дважды женат: с 1698 на Кристине Гедвиге, урожденной фон Эссен (1676 — ?), с 1711 на Анне Барбаре, урожденной фон Фитингоф (? — после 1752).
Из дома Вреденхаген-Терсель известен Василий (Вильям) Николаевич (1858—1937). Его сыновья: Владислав Васильевич (1891—1962), лейтенант; Арвид Вильямович (Васильевич; ? — 1938), капитан 2 ранга, активный пропагандист Всероссийской национал-революционной партии.
Из линии Олюстфер наиболее известен сын Карла Густава — граф (с 1795), генерал от инфантерии Иван Евстафьевич Ферзен. Его внук — Павел Карлович (Пауль) Ферзен (1800—1884) — граф, обер-егермейстер (1862-70) Двора Е. И. В., при нем великокняжеские и царские охоты достигли небывалых размахов, особенно знаменитая гатчинская охота со сворами борзых и стаей гончих; был женат дважды — на графине Ольге Строгановой (их дети — Павел и София), и на Елизавете Раух (их дети — Николай и Александра, род. 1856).
Его сын от второго брака — Николай Павлович Ферзен (1858—1921), генерал-майор Свиты Е. И. В., адъютант великого князя Владимира Александровича, участник Русско-турецкой войны 1877-78, был женат на княжне Софье Александровне, урожденной Долгоруковой (1870−1957), их дети: Александр Николаевич (1895—1934), во время Гражданской войны 1917-22 в Добровольческой армии; Елизавета Николаевна (1899—1938); Ольга Николаевна (1904—1996); Павел Николаевич (1894—1943).