Семья ведет свое начало от крестьянина Мурсалима Кастрова, который в начале 1840-х годов стал купцом третьей гильдии, разбогатев на производстве и продаже тулупов. Его сын Сайфулла удачно продолжил семейное дело и в 1854 году объявил капитал уже по второй гильдии. Позднее семья Кастровых получила потомственное почётное гражданство и стала одной из ведущих татарских торгово-промышленных фамилий Касимова[1].
Кастровы принимали активное участие в общественной жизни Касимова XIX века.[2] С 1868 г. семья Кастровых содержала медресе — мусульманское учебное заведение, открытое в Касимове в 1808 г. Касимовы построили для него здание, оплачивали жалованье преподавателям. На полном пансионе Кастровых жил преподаватель медресе Хасан Шамсутдинов и его семья. В 1901 году в Касимовском медресе обучалось 65 учеников. Главными предметами были Коран и арабский язык, также преподавались и светские предметы. Впоследствии, медресе называли «Кастровским»[2].
Также Кастровы внесли существенный вклад в финансирование строительства Нижегородской городской мечети[2].
После Октябрьской революции имущество Кастровых было национализировано, некоторые представители семьи переехали в Москву[3].
Дом Ахмеда Кастрова, одного из представителей купеческой династии, входит в список выявленных объектов культурного наследия Рязанской области как памятник архитектуры[1][6].
В память о Кастровых названа конференция «Кастровские чтения», которая проводится в Рязанском государственном университете имени С. А. Есенина[2].