Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Джеффри Хинтон

УК ФРС РФБ
Джеффри Хинтон на UBC.jpg
Хинтон в 2013 году
Родившийся
Джеффри Эверест Хинтон

(1947-12-06) 6 декабря 1947 г. (73 года) [1]
Уимблдон, Лондон
Альма-матер
Известен
Награды
Научная карьера
Поля
УчрежденияУниверситет Торонто
Google
Университет Карнеги-Меллона Университетский
колледж Лондонский
университет Калифорнии, Сан-Диего
ТезисРасслабление и его роль в зрении  (1977)
ДокторантКристофер Лонге-Хиггинс [3] [4] [5]
Докторанты
Другие известные студенты
  • Янн ЛеКун ( постдок )
  • Питер Даян ( постдок )
  • Макс Веллинг ( постдок )
  • Зубин Гахрамани ( постдок )
Интернет сайтwww .cs .toronto .edu / ~ hinton /

Джеффри Everest Хинтон CC FRS FRSC [11] (родился 6 декабря 1947) является британским - канадской когнитивным психологом и ученый , наиболее известен по своей работе на искусственных нейронных сетях . С 2013 года он работает в Google ( Google Brain ) и Университете Торонто . В 2017 году он стал соучредителем и главным научным консультантом Института вектора в Торонто. [12] [13]

Вместе с Дэвидом Рамелхартом и Рональдом Дж. Уильямсом Хинтон был соавтором широко цитируемой статьи, опубликованной в 1986 году, в которой популяризировался алгоритм обратного распространения ошибки для обучения многослойных нейронных сетей [14], хотя они не были первыми, кто предложил такой подход. [15] Хинтон считается ведущей фигурой в сообществе глубокого обучения . [16] [17] [18] [19] [20] Драматическая веха в распознавании изображений AlexNet, разработанная в сотрудничестве с его учениками Алексом Крижевским [21] и Ильей Суцкевером дляImageNet Challenge 2012 год [22] стал прорывом в области компьютерного зрения. [23]

Хинтон получил премию Тьюринга 2018 года вместе с Йошуа Бенджио и Янном ЛеКуном за их работу в области глубокого обучения. [24] Иногда их называют «крестными отцами искусственного интеллекта» и «крестными отцами глубокого обучения». [25] [26]

Образование [ править ]

Хинтон получил образование в Королевском колледже в Кембридже , который окончил в 1970 году со степенью бакалавра искусств в области экспериментальной психологии. [1] Он продолжил учебу в Эдинбургском университете, где в 1978 году получил докторскую степень в области искусственного интеллекта за исследования под руководством Кристофера Лонге-Хиггинса . [3] [27]

Карьера и исследования [ править ]

После получения докторской степени он работал в Университете Сассекса и (после трудностей с поиском финансирования в Великобритании) [28] в Калифорнийском университете в Сан-Диего и Университете Карнеги-Меллона . [1] Он был директором - основателем в Гэтсби благотворительный фонд Neuroscience отдела вычислительной в Университетском колледже Лондона , [1] и в настоящее время [29] профессор в информатике кафедры в Университете Торонто . Он возглавляет канадскую кафедру машинного обучения и в настоящее время является советникомПрограмма Learning in Machines & Brains Канадского института перспективных исследований . В 2012 году Хинтон провел бесплатный онлайн-курс по нейронным сетям на образовательной платформе Coursera . [30] Хинтон присоединился к Google в марте 2013 года, когда была приобретена его компания DNNresearch Inc. Он планирует «разделить свое время между университетскими исследованиями и работой в Google». [31]

В исследовании Хинтона изучаются способы использования нейронных сетей для машинного обучения , памяти , восприятия и обработки символов. Он является автором или соавтором более 200 рецензируемых публикаций. [2] [32]

В то время как Хинтон был профессором Университета Карнеги-Меллона (1982–1987), Дэвид Э. Рамелхарт, Хинтон и Рональд Дж. Уильямс применили алгоритм обратного распространения ошибки к многослойным нейронным сетям. Их эксперименты показали, что такие сети могут изучать полезные внутренние представления данных. [14] В интервью 2018 года [33] Хинтон сказал, что « Дэвид Э. Рамелхарт придумал основную идею обратного распространения ошибки, так что это его изобретение». Хотя эта работа сыграла важную роль в популяризации обратного распространения ошибки, она не была первой, в которой предлагался такой подход. [15] Автоматическая дифференциация в обратном режиме, частным случаем которого является обратное распространение, было предложено Сеппо Линнаинмаа в 1970 году, а Пол Вербос предложил использовать его для обучения нейронных сетей в 1974 году [15].

В тот же период Хинтон совместно с Дэвидом Экли и Терри Сейновски изобрел машины Больцмана . [34] Его другие вклады в исследования нейронных сетей включают распределенные представления , нейронную сеть с временной задержкой , смеси экспертов, машины Гельмгольца и Продукт экспертов . В 2007 году Хинтон выступил соавтором статьи для обучения без учителя под названием « Обучение преобразованию изображений без учителя» . [35] Доступное введение в исследования Джеффри Хинтона можно найти в его статьях в Scientific American за сентябрь 1992 г. и октябрь 1993 г. [36]

В октябре и ноябре 2017 года, соответственно, Хинтон опубликовал две исследовательские работы в открытом доступе [37] [38] на тему капсульных нейронных сетей , которые, по словам Хинтона, «наконец-то работают хорошо». [39]

Известные бывшие аспиранты и постдокторанты из его группы включают Питера Даяна , [40] Сэма Роуиса, [40] Ричарда Земеля , [3] [6] Брендана Фрея , [7] Рэдфорда М. Нила , [8] Руслана Салахутдинова , [ 9] Илья Суцкевер , [10] Янн ЛеКун [41] и Зубин Гахрамани .

Почести и награды [ править ]

Слева направо: Расс Салахутдинов , Ричард С. Саттон , Джеффри Хинтон, Йошуа Бенджио и Стив Джурветсон в 2016 году.

Хинтон был избран членом Королевского общества (FRS) в 1998 году . [11] Он был первым лауреатом Премии Румельхарта в 2001 году. [42] Его свидетельство об избрании в Королевское общество гласит:

Джеффри Э. Хинтон известен во всем мире своей работой над искусственными нейронными сетями, особенно тем, как они могут быть разработаны для обучения без помощи человека-учителя. Это вполне может быть началом создания автономных интеллектуальных машин, подобных мозгу. Он сравнил эффекты повреждения мозга с последствиями потерь в такой сети и обнаружил поразительное сходство с человеческими нарушениями, например, в распознавании имен и потере классификации. Его работа включает изучение мысленных образов и придумывание головоломок для проверки оригинальности и творческого интеллекта. Он концептуальный, математически сложный и экспериментальный. Он объединяет эти навыки с поразительным эффектом для создания важной работы, представляющей большой интерес. [43]

В 2001 году Хинтон был удостоен почетного доктора из Университета Эдинбурга . [44] В 2005 году он был удостоен награды IJCAI за выдающиеся достижения в области исследований. [ необходима цитата ] Он также был награжден Золотой медалью Герцберга Канады 2011 года в области науки и техники . [45] В 2013 году Хинтон был удостоен звания почетного доктора Университета Шербрука . [ необходима цитата ]

В 2016 году он был избран иностранным членом Национальной инженерной академии «За вклад в теорию и практику искусственных нейронных сетей и их применение для распознавания речи и компьютерного зрения». [46] Он также получил награду IEEE / RSE Wolfson James Clerk Maxwell в 2016 году . [47]

Он выиграл премию BBVA Foundation Frontiers of Knowledge (2016) в категории «Информационные и коммуникационные технологии» «за свою новаторскую и очень влиятельную работу», направленную на наделение машин способностью к обучению. [ необходима цитата ]

Вместе с Яном ЛеКуном и Йошуа Бенжио Хинтон выиграл премию Тьюринга 2018 года за концептуальные и инженерные прорывы, которые сделали глубокие нейронные сети критически важным компонентом вычислений. [48] [49] [50]

В 2018 году награжден кавалером ордена Канады . [51]

Личная жизнь [ править ]

Хинтон - праправнук логика Джорджа Буля , работа которого в конечном итоге стала одной из основ современной информатики, а также хирурга и писателя Джеймса Хинтона . [52], который был отцом Чарльза Ховарда Хинтона . Отцом Хинтона был Говард Хинтон . [1] [53] Его второе имя происходит от другого родственника, Джорджа Эвереста . [28] Он племянник экономиста Колина Кларка . [54] Он потерял свою первую жену из-за рака яичников в 1994 году. [55]

Просмотры [ править ]

Хинтон переехал из США в Канаду отчасти из-за разочарования в политике Рональда Рейгана и неодобрения военного финансирования искусственного интеллекта. [28]

Хинтон подал прошение против летального автономного оружия . Что касается экзистенциального риска от искусственного интеллекта , Хинтон обычно отказывается делать прогнозы на будущее более чем на пять лет, отмечая, что экспоненциальный прогресс делает неопределенность слишком большой. [56] Однако в неофициальной беседе с исследователем рисков ИИ Ником Бостромом в ноябре 2015 года, которую подслушал журналист Раффи Хатчадурян, [57] он, как сообщается, заявил, что не ожидал, что общий ИИ будет достигнут в течение десятилетий («Нет. раньше 2070 г. »), и что в контексте дихотомии, ранее введенной Бостромом, между людьми, которые думают, что управлениеэкзистенциальный риск, связанный с искусственным интеллектом , вероятно, безнадежен или достаточно прост, чтобы он был решен автоматически, Хинтон «[находится] в лагере безнадежных». [57] Он заявил: «Я думаю, что политические системы будут использовать это, чтобы терроризировать людей», и выразил уверенность в том, что такие агентства, как Агентство национальной безопасности (АНБ), уже пытаются злоупотреблять подобной технологией. [57]

На вопрос Ника Бострома, почему он продолжает исследования, несмотря на свои серьезные опасения, Хинтон ответил: «Я мог бы привести вам обычные аргументы. Но правда в том, что перспектива открытия слишком сладка ». [57]

Согласно тому же отчету, Хинтон категорически не исключает, что люди управляют искусственным суперинтеллектом, но предупреждает, что «нет хорошей репутации менее разумных вещей, управляющих объектами с большим интеллектом». [57]

Ссылки [ править ]

  1. ^ a b c d e Anon (2015) "Хинтон, профессор Джеффри Эверест" . Кто есть кто . ukwhoswho.com (онлайн- издательство Oxford University Press  ). A&C Black, отпечаток Bloomsbury Publishing plc. ( требуется подписка или членство в публичной библиотеке Великобритании ) doi : 10.1093 / ww / 9780199540884.013.20261 (требуется подписка)
  2. ^ a b Публикации Джеффри Хинтона, проиндексированные Google Scholar
  3. ^ a b c Джеффри Хинтон в проекте « Математическая генеалогия»
  4. ^ Академическая генеалогия Джеффри Э. Хинтона
  5. ^ Грегори, RL; Мюррелл, Дж. Н. (2006). "Хью Кристофер Лонге-Хиггинс. 11 апреля 1923 - 27 марта 2004: избранный ФРС 1958" . Биографические воспоминания членов Королевского общества . 52 : 149–166. DOI : 10,1098 / rsbm.2006.0012 .
  6. ^ a b Земель, Ричард Стэнли (1994). Структура минимальной длины описания для обучения без учителя (кандидатская диссертация). Университет Торонто. OCLC 222081343 . ProQuest 304161918 .  
  7. ^ a b Фрей, Брендан Джон (1998). Байесовские сети для классификации образов, сжатия данных и кодирования каналов (кандидатская диссертация). Университет Торонто. OCLC 46557340 . ProQuest 304396112 .  
  8. ^ a b Нил, Рэдфорд (1995). Байесовское обучение для нейронных сетей (кандидатская диссертация). Университет Торонто. OCLC 46499792 . ProQuest 304260778 .  
  9. ^ a b Салахутдинов, Руслан (2009). Изучение глубинных генеративных моделей (кандидатская диссертация). Университет Торонто. ISBN 9780494610800. OCLC  785764071 . ProQuest 577365583 . 
  10. ^ a b Суцкевер, Илья (2013). Обучение рекуррентных нейронных сетей (кандидатская диссертация). Университет Торонто. OCLC 889910425 . ProQuest 1501655550 .  
  11. ^ а б Анон (1998). "Профессор Джеффри Хинтон FRS" . Лондон: Королевское общество . Архивировано из оригинала 3 ноября 2015 года. Одно или несколько предыдущих предложений включают текст с веб-сайта royalsociety.org, где:

    «Весь текст, опубликованный под заголовком« Биография »на страницах профилей участников, доступен по международной лицензии Creative Commons Attribution 4.0 ». - «Положения, условия и политика Королевского общества» . Архивировано 11 ноября 2016 года . Проверено 9 марта 2016 .CS1 maint: bot: original URL status unknown (link)

  12. ↑ Даниэла Эрнандес (7 мая 2013 г.). «Человек, стоящий за мозгом Google: Эндрю Нг и поиски нового ИИ» . Проводной . Дата обращения 10 мая 2013 .
  13. ^ "Джеффри Э. Хинтон - Google AI" . Google AI .
  14. ^ а б Румелхарт, Дэвид Э .; Хинтон, Джеффри Э .; Уильямс, Рональд Дж. (9 октября 1986 г.). «Изучение представлений путем обратного распространения ошибок». Природа . 323 (6088): 533–536. Bibcode : 1986Natur.323..533R . DOI : 10.1038 / 323533a0 . ISSN 1476-4687 . S2CID 205001834 .  
  15. ^ a b c Шмидхубер, Юрген (1 января 2015 г.). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети . 61 : 85–117. arXiv : 1404,7828 . DOI : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 . S2CID 11715509 .  
  16. ^ "Джеффри Хинтон ненадолго был стажером Google в 2012 году из-за бюрократии - TechCrunch" . techcrunch.com . Проверено 28 марта 2018 .
  17. ^ Somers, Джеймс. «Прогресс в области ИИ, кажется, ускоряется, но вот почему он может замедлиться» . MIT Technology Review . Проверено 28 марта 2018 .
  18. ^ «Как« крестный отец »глубокого обучения U of T переосмысливает ИИ» . Новости Университета Торонто . Проверено 28 марта 2018 .
  19. ^ « « Крестный отец »глубокого обучения переосмысливает ИИ» . Проверено 28 марта 2018 .
  20. ^ «Джеффри Хинтон,« крестный отец »глубокого обучения, на AlphaGo» . Macleans.ca . 18 марта 2016 . Проверено 28 марта 2018 .
  21. ^ Dave Gershgorn (18 июня 2018). «Внутренняя история того, как ИИ стал достаточно хорошим, чтобы доминировать в Кремниевой долине» . Кварц . Проверено 5 октября 2018 года .
  22. ^ Крижевский, Алекс; Суцкевер Илья; Хинтон, Джеффри Э. (3 декабря 2012 г.). «Классификация ImageNet с глубокими сверточными нейронными сетями» . Nips'12. Curran Associates Inc.: 1097–1105. Cite journal requires |journal= (help)
  23. ^ «Как исследование профессора из Торонто произвело революцию в области искусственного интеллекта | Toronto Star» . thestar.com . Проверено 13 марта 2018 .
  24. ^ 27 марта, Эмили Чанг · Новости CBC · Опубликовано; 27 марта 2019 г., 6:00 по восточному времени | Последнее обновление. «Канадские исследователи, которые научили ИИ учиться, как люди, получают премию в 1 миллион долларов | CBC News» . CBC . Проверено 27 марта 2019 .
  25. ^ Ranosa, Ted (29 марта 2019). «Крестные отцы искусственного интеллекта выиграли в этом году премию Тьюринга и 1 миллион долларов» . Tech Times . Дата обращения 5 ноября 2020 .
  26. ^ Шид, Сэм. «Трое« крестных отцов »искусственного интеллекта выиграли престижную премию Тьюринга в 1 миллион долларов» . Forbes . Дата обращения 5 ноября 2020 .
  27. ^ Хинтон, Джеффри Эверест (1977). Расслабление и его роль для зрения (кандидатская диссертация). Эдинбургский университет. hdl : 1842/8121 . OCLC 18656113 . EThOS uk.bl.ethos.482889 .  
  28. ^ a b c Смит, Крейг С. (23 июня 2017 г.). «Человек, который помог превратить Торонто в очаг высоких технологий» . Нью-Йорк Таймс . Проверено 27 июня 2017 года .
  29. ^ https://www.cs.toronto.edu/~hinton/fullcv.pdf
  30. ^ "Архивная копия" . Архивировано из оригинала на 31 декабря 2016 года . Проверено 30 декабря 2016 .CS1 maint: archived copy as title (link)
  31. ^ "Стартап U of T нейронных сетей приобретен Google" (пресс-релиз). Торонто, ОН. 12 марта 2013 . Проверено 13 марта 2013 года .
  32. ^ Публикации Джеффри Хинтона, проиндексированныебиблиографической базой данных Scopus . (требуется подписка)
  33. ^ Форд, Мартин (2018). Архитекторы интеллекта: правда об искусственном интеллекте от создателей его . Packt Publishing. ISBN 978-1-78913-151-2.
  34. ^ Экли, Дэвид H; Хинтон Джеффри Э; Сейновски, Терренс Дж (1985), "Алгоритм обучения для машин Больцмана", Когнитивная наука, Elsevier, 9 (1): 147–169
  35. ^ Хинтон, Джеффри Э. "Публикации Джеффри Э. Хинтона в обратном хронологическом порядке" .
  36. ^ "Рассказы Джеффри Э. Хинтона в журнале Scientific American" .
  37. ^ Сабур, Сара; Фросст, Николай; Хинтон, Джеффри. Октябрь 2017 г. «Динамическая маршрутизация между капсулами»
  38. ^ «Матричные капсулы с EM-маршрутизацией» 3 ноября 2017 г. OpenReview.net
  39. ^ Гейб, Клаудия. 2 ноября 2017. «Мы наконец создали сеть искусственного интеллекта, над созданием которой шли десятилетия» Futurism.com
  40. ^ a b "Постдоки Джеффри Хинтона" . Джеффри Хинтон.
  41. ^ "Исследования и вклад Янна Лекуна" . yann.lecun.com . Проверено 13 марта 2018 .
  42. ^ «Текущие и предыдущие получатели» . Премия Дэвида Э. Румелхарта. Архивировано из оригинального 2 -го марта 2017 года.
  43. Перейти ↑ Anon (1998). "Свидетельство об избрании EC / 1998/21: Джеффри Эверест Хинтон" . Лондон: Королевское общество . Архивировано из оригинала 5 ноября 2015 года.
  44. ^ «Выдающийся выпускник Эдинбурга получает премию ACM AM Turing» . Дата обращения 9 апреля 2019 .
  45. ^ "Ученый искусственного интеллекта получает премию M" . CBC News . 14 февраля 2011 г.
  46. ^ «Национальная инженерная академия избирает 80 членов и 22 иностранных члена» . NAE. 8 февраля 2016 г.
  47. ^ «Получатели медалей и наград IEEE 2016, а также цитаты» (PDF) . IEEE . Дата обращения 7 июля 2016 .
  48. ^ "Главный научный советник Vector Institute д-р Джеффри Хинтон получает премию ACM AM Turing вместе с д-ром Йошуа Бенджио и д-ром Яном Лекуном" . NAE. 27 марта 2019.
  49. ^ «Три пионера в области искусственного интеллекта выиграли премию Тьюринга» . Нью-Йорк Таймс . 27 марта 2019 . Проверено 27 марта 2019 .
  50. ^ «Отцы революции глубокого обучения получают премию ACM AM Turing - Бенджио, Хинтон и Лекун совершили важные прорывы в области искусственного интеллекта» . Ассоциация вычислительной техники . 27 марта 2019 . Проверено 27 марта 2019 .
  51. ^ «Генерал-губернатор объявляет о 103 новых назначениях к Ордену Канады, декабрь 2018» .
  52. ^ Исаак Ньютон логики
  53. ^ Соль, Джордж (1978). «Говард Эверест Хинтон. 24 августа 1912 г. - 2 августа 1977 г.» . Биографические воспоминания членов Королевского общества . 24 : 150–182. DOI : 10.1098 / RSBM.1978.0006 . ISSN 0080-4606 . 
  54. ^ Шут, Джо (26 августа 2017). «Крестный отец ИИ» о том, как сделать машины умными и научатся ли роботы убивать всех нас? » . Телеграф . Проверено 20 декабря 2017 года .
  55. ^ Шут, Джо (26 августа 2017). «Крестный отец ИИ» о том, как сделать машины умными и научатся ли роботы убивать всех нас? » . Телеграф . Проверено 30 января 2018 .
  56. ^ Хинтон, Джеффри. «Лекция 16г. Туман прогресса» (PDF) .
  57. ^ a b c d e Хатчадурян, Раффи (16 ноября 2015 г.). «Изобретение судного дня» . Житель Нью-Йорка . Проверено 30 января 2018 .