Родился в семье Генри Кула Келли, преуспевающего торговца сахаром, и Луизы В. Хард, дочери епископального священника.
В детстве Келли проявлял интерес к науке, особенно к биологии и ботанике. Этот интерес поощряла его мать, которая часто приглашала членов научного сообщества Филадельфии провести время в ее доме, делясь своими знаниями с юным Келли[5].
Во время обучения семья выделяла ему $5 в качестве карманных денег на ежемесячной основе. На свой 21-й день рождения будущий врач получил чеки на сумму $100 от отца и нескольких теток. Первое его трудоустройство произошло в возрасте 22 лет[6].
Окончил университет штата Пенсильвания в 1877 году, там же получил степень доктора медицинских наук в 1882 году. В течение нескольких лет являлся сотрудником медицинского факультета Университета Макгилла. После отправился в Кенсингтон, где стал практикующим врачом-гинекологом.
Предпринял путешествие в Европу, где посетил лучших хирургов брюшной и тазовой области, в частности, Луи Пастера. Вернулся в университет штата Пенсильвания, чтобы заняться акушерством. Основал Кенсингтонскую больницу для женщин.
За свою 30-летнюю карьеру в госпитале Хопкинса предложил новые хирургические методы в лечении женских болезней, изобрел многочисленные медицинские устройства, в том числе цистоскоп. Он был одним из первых, кто предложил использовать радий для лечения рака, его первым пациентом была его тётя. Основал клинику в Балтиморе, ставшую одним из ведущих центров страны по лучевой терапии в то время. Использовал восковые наконечники катетера для обнаружения мочеточника и при операциях по иссечению пупочной грыжи.