Сначала он женился на Джейн Бут, дочери Томаса Бута, в 1811 году, и у него были следующие проблемы:
достопочтенный Барри Чарльз Йелвертон (1814–1853), наследник виконта, 1814–1853 гг.
достопочтенный Сидней Элоиза Йелвертон (1817–1883), вышла замуж в 1839 году за Форстера Геринга, сына сэра Чарльза Форстера Горинга, 7-го британского полка.
достопочтенный Джордж Фредерик Уильям Йелвертон (1818–1860), женился в 1857 году на Луизе Ленокс Прендергаст; наследник виконта, 1853–1860 гг.
достопочтенный Мэри Огаста Йелвертон (1820–1843)
достопочтенный Аделаида Матильда Йелвертон (1821–1884), вышла замуж в 1860 году за генерал-лейтенанта Хамфри Лайонса , индийская армия.
Его первая жена умерла в 1821 году, лорд Эйвонмор женился во второй раз, на Сесилии О'Киф, дочери Чарльза О'Киф и Летиции Йелвертон, 1 августа 1822 года. У них была следующая проблема: