Сэмюэл Мартин родился в поместье Гринкасл, Антигуа , в семье майора Сэмюэля Мартина, который в 1701 году был убит во время восстания рабов после того, как потребовал, чтобы порабощенные африканцы в его поместье работали на Рождество . Семилетний Сэмюэл избежал такой же участи, так как его няня спрятала его в близлежащих полях. Она сама была порабощена и впоследствии освобождена в знак признания этого поступка. [1] Сэмюэля отправили жить в Ирландию , а его мать снова вышла замуж за Эдварда Байама . [2]
Мартин стал отцом 21 ребенка, по крайней мере шестнадцать из которых умерли при его жизни. [5] Старший из его сыновей, Сэмюэл , стал британским членом парламента и секретарем казначейства; Генри стал контролером военно-морского флота, членом парламента и баронетом; Иосия был губернатором Северной Каролины. [6]