Харли был вторым сыном Эдварда Харли, 3-го графа Оксфорда и графа Мортимера . Он получил образование в Крайст-Черч, Оксфорд , поступил в 1747 г., получил степень бакалавра в 1749 г., магистра в 1752 г., бакалавра искусств в 1778 г. [2]
Он был архидиаконом Шропшира с 1760 по 1769 год, а затем архидиаконом Херефорда с 1769 по 1787 год . его смерть в возрасте 59 лет в 1788 году.
Его сын Эдвард (от его жены Роуч Воан, дочери Гвинн Воган из Требарри, Рэдноршир ) сменил старшего брата Харли ( Эдвард ) на посту 5-го графа Оксфорда. [1]