Эшли был старшим сыном Джона Эшли , прославившегося как скрипач, и братом Ричарда Эшли , Чарльза Джейн Эшли и Джона Джеймса Эшли. Он был учеником Джардини и Бартелемона и вместе с тремя своими братьями принял участие в праздновании памяти Генделя в 1784 году, когда молодые музыканты отличились тем, что прибили пальто итальянского скрипача к его месту и наполнили его скрипку полпенсами, после чего на что он жаловался так громко, что Георг III послал в оркестр, чтобы узнать, что вызвало беспокойство.
Генерал Чарльз Эшли руководил оркестром своего отца в ораториях Ковент-Гарден, из которых после смерти Джона Эшли он стал совместным менеджером со своим братом Чарльзом Джейном. Он стал членом Королевского общества музыкантов 3 апреля 1791 года. [2] 2 марта 1804 года он женился на мисс Чендлер и, не имея семьи и независимого состояния, вскоре после этого ушел из своей профессии. Он умер на Кингс-Роу, Пимлико , 21 августа 1818 года.