Он был младшим сыном Мэри Джеллетт Дафф (1838–1885) и Фрэнсиса Шубаэля Смита I (1819–1887). Фрэнсис стал партнером Фрэнсиса Скотта Стрита и основал издательскую фирму Street & Smith . У Ормонда были следующие братья и сестры: Фрэнсис Шубаэль Смит II (1854–?); Кора А. Смит (1857–?), вышедшая замуж за Джорджа Х. Гулда; и Джордж Кэмпбелл Смит (1859–?). Он окончил Гарвардский университет в 1883 году [1] и присоединился к своему отцу в Street & Smith после его окончания. 25 декабря 1899 года Ормонд женился на Грейс Хьюитт Пеллетт, и у них родился один ребенок: Джеральд Хьюитт Смит, который учился в Принстонском университете.. Ормонд был членом Общества войны 1812 года, Общества Святого Николая и Общества колониальных войн. Он умер в 1933 году на Манхэттене .