Хойланд был сыном Джеймса Хойланда из Касл-Ховарда , Йоркшир, и родился в 1727 году. Он получил образование в школе в Галифаксе, а 18 июня 1744 года поступил в колледж Магдалины в Кембридже , где получил степень бакалавра в 1748 году . Вскоре после этого он, кажется, совершил путешествие в Вест-Индию , чтобы поправить свое здоровье. Он принял священный сан, был другом Уильяма Мейсона и был представлен, вероятно, Мейсоном, Хорасу Уолполу , который действовал от его имени и напечатал свои стихи в Strawberry Hill Press в 1769 году.
Из произведений Хойланда можно сделать вывод, что он был женат и беден. Дата его смерти неизвестна. В 1769 году он сильно заболел, и его болезнь помешала ему принять предложение поселиться в Южной Каролине .