Дом собраний друзей Смитфилда, пасторский дом