Григорий Кайсаров выехал около середины XV века из Золотой орды в Москву. Иван Андреевич Кайсаров, стряпчий, убит под Смоленском в 1655 году.
С пресечением рода Кайсаровых в мужском поколении Высочайше утверждёным мнением Государственного Совета от 13 октября 1860 года в звании камергера действительного статского советника барону Густаву-Арману дю Буа де Роман (Gustave Armand du Bois de Romand) было дозволено присоединить к своей фамилии и гербу фамилию и герб жены своей, урождённой Кайсаровой, и именоваться впредь, потомственно, бароном Дю-Буа-де-Роман-Кайсаровым. Диплом на соединённый герб был выдан 2 апреля 1865 года и внесён в сборник дипломных гербов. т.2, N 77.
Ещё три рода Кайсаровых восходят к началу XVII века и внесены в VI часть родословной книги Ярославской губернии и II часть родословной книги Владимирской и Ярославской губерний. Род, внесенный в VI часть родословной книги Ярославской губернии, ведет свое начало от Михаила Федоровича Кайсарова, известного воеводы XVII века.
На лазуревом поле обращённый вниз серебряный ключ, положенный на скрещённые обращённые вверх серебряные же меч и стрелу.
Шлем с дворянской короной без нашлемника. Намёт лазуревый, подбой серебряный. Щитодержатели — два обращённых назад натурального цвета льва. Герб рода Кайсаровых внесён в Часть 7 Общего гербовника дворянских родов Всероссийской империи, стр. 74.