Прайор был вторым сыном Томаса Мальборо Прайора (1777–1821), квакера из Хэмпстед-Хит , Миддлсекс , и его жены Ханны, дочери банкира Сэмюэля Хора . [3] Его старший брат Мальборо Прайор (1807-1869) был JP, но не оставил детей.
Прайор получил частное образование, прежде чем был принят в Тринити -колледж в Кембридже в 1829 году и получил диплом четвертого спорщика в 1834 году . Он был принят в Lincoln's Inn в 1834 году и призван в коллегию адвокатов в 1837 году. В профессиональном плане он работал адвокатом по акциям и перевозчиком.
20 августа 1844 года он женился на Элизабет Кэролайн Уайрли-Бёрч, дочери Уайрли-Бёрч, из Ретэм-Холла, Норфолк. У них было четверо сыновей, один из которых умер в младенчестве, [3] остальные трое были отправлены в Итон до посещения Троицы.
Прайор ушел из бара в 1863 году и приобрел для своей резиденции High Elms Manor в Хартфордшире . Там он был мировым судьей и сменил Джеймса Гримстона, 2-го графа Верулама на посту председателя квартальных сессий Хартфордшира в 1867 году. В течение многих лет он был председателем Попечительского совета Уотфорда .
В течение многих лет он был председателем Либеральной ассоциации Хартфордшира (см . Либеральная партия ). The Times описала его политические убеждения как «типа Джона Брайта ». [2]