Их предок, Пётр Богданович Загоровский (укр. Петро Загоровський; ? — 1566), был луцким городничим. Василий Ферапонтович Загоровский был казачьим старшиной в отряде Радзивилла 1585. Его потомство внесено в VI часть родословной книги Минской губернии[1].
Одна из ветвей Загоровских уже с 1655 года состояла в русском подданстве и была внесена во II часть родословной книги Смоленской губернии.