Сын торговца красками из Кентербери, Грей начинал как астроном-любитель и добился определённой репутации точностью и аккуратностью исследований (связанных, в основном, с пятнами на Солнце). Его наблюдения привлекли внимание Джона Флемстида, занятого составлением подробной карты звёздного неба для нужд мореплавания; Флемстид и Грей много переписывались, Флемстиду Грей обязан протекцией при получении пенсиона в Лондонском Чартерхаусе, позволившего ему в большей степени заниматься наукой (до этого Грей работал в Кембриджской обсерватории и ассистировал Джону Теофилу Дезагюлье при публичных лекциях, но при этом еле сводил концы с концами).
Наиболее существенные достижения Грея связаны с опытами 1720-х гг., приведшими, по сути дела, к открытию передачи электричества на расстояние. Первоначально Грей заметил, что пробка, которой заткнута стеклянная трубка, притягивает мелкие кусочки бумаги и соломы, если потереть трубку. Воткнув в середину трубки деревянную щепку, Грей обнаружил, что этот же эффект имеет место на конце щепки. Постепенно удлиняя щепку, а затем заменив её пеньковой верёвкой и наконец шёлковой нитью, Грей довёл расстояние, на которое передавался электрический заряд, до 800 футов. При этом он установил, что по земле электричество не передаётся, сделав тем самым шаг в направлении разделения всех веществ на проводники и изоляторы.
В 1731 и 1732 гг. за свои опыты Грей был награждён медалью Копли — высшей наградой Королевского общества, став её первым лауреатом. Опыты Грея продолжили, ища для них теоретическое объяснение, Шарль Франсуа Дюфе и Бенджамин Франклин.