Из Википедии, бесплатной энциклопедии
  (Перенаправлено Юргеном Шмидхубером )
Перейти к навигации Перейти к поиску

Юрген Шмидхубер
Юрген Шмидхубер.jpg
Юрген Шмидхубер выступает на Всемирном саммите AI for GOOD в 2017 году
Родившийся17 января 1963 г. [1]
Мюнхен , [1] Западная Германия
НациональностьНемецкий
Альма-матерTechnische Universität München
ИзвестенИскусственный интеллект , глубокое обучение , искусственные нейронные сети , рекуррентные нейронные сети , машина Гёделя , искусственное любопытство, мета-обучение
Научная карьера
ПоляИскусственный интеллект
УчрежденияИнститут исследований искусственного интеллекта Далле Молле
Интернет сайтidsia .ch / ~ Юрген

Юрген Шмидхубер (родился 17 января 1963 г.) [1] - ученый-компьютерщик, наиболее известный своими работами в области искусственного интеллекта , глубокого обучения и искусственных нейронных сетей . Он является содиректором Института исследований искусственного интеллекта Далле Молле в Манно , в районе Лугано , в Тичино на юге Швейцарии. [2] Его иногда называют «отцом (современного) ИИ». [3] [4] [5]

Шмидхубер учился на бакалавриате в Техническом университете Мюнхена в Мюнхене , Германия. [1] Он преподавал там с 2004 по 2009 год, когда стал профессором искусственного интеллекта в Università della Svizzera Italiana в Лугано , Швейцария. [6]

Работа [ править ]

Вместе со своими учениками Зеппом Хохрайтером , Феликсом Герсом , Фредом Камминсом, Алексом Грейвсом и другими Шмидхубер опубликовал все более изощренные версии типа рекуррентной нейронной сети, называемой долгой краткосрочной памятью (LSTM). Первые результаты уже были представлены в дипломной работе Хохрайтера (1991), в которой была проанализирована и преодолена известная проблема исчезающего градиента . [7] Название LSTM было введено в техническом отчете (1995 г.), что привело к наиболее цитируемой публикации LSTM (1997 г.). [8]

Стандартная архитектура LSTM, которая используется почти во всех текущих приложениях, была представлена ​​в 2000 году. [9] Сегодняшний «ванильный LSTM», использующий обратное распространение во времени, был опубликован в 2005 году, [10] [11] и его обучающий алгоритм коннекционистской временной классификации (CTC) [12] в 2006 году. CTC включил сквозное распознавание речи с помощью LSTM. В 2015 году LSTM, обученный CTC, был использован в новой реализации распознавания речи в программном обеспечении Google для смартфонов . [2] Google также использовал LSTM для умного помощника Allo [13] и для Google Translate . [14] [15] Apple использовала LSTM для функции «Quicktype» на iPhone [16] [17] и для Siri . [18] Amazon использовала LSTM для Amazon Alexa . [19] В 2017 году Facebook ежедневно выполнял около 4,5 миллиардов автоматических переводов с использованием сетей LSTM. [20] Bloomberg Business Week писал: «Эти возможности делают LSTM, пожалуй, самым коммерческим достижением ИИ, используемым для всего, от предсказания болезней до сочинения музыки». [21]

В 2011 году команда Шмидхубера в IDSIA вместе с его постдоком Дэном Чиресаном также достигла значительного ускорения сверточных нейронных сетей (CNN) на быстрых параллельных компьютерах, называемых графическими процессорами . Более ранний CNN на GPU Челлапиллы и др. (2006) была в 4 раза быстрее, чем эквивалентная реализация на CPU. [22] Глубокий CNN Дэна Чиресана и др. (2011) в IDSIA были уже в 60 раз быстрее [23] и достигли первого сверхчеловеческого результата в конкурсе компьютерного зрения в августе 2011 года. [24] В период с 15 мая 2011 года по 10 сентября 2012 года их быстрые и глубокие CNN выиграли не менее четырех имиджевые конкурсы. [25] [26]Они также значительно улучшили лучшую производительность в литературе для нескольких баз данных изображений . [27] Этот подход стал центральным в области компьютерного зрения . [26] Он основан на проектах CNN, представленных намного ранее Янном ЛеКуном и др. (1989) [28] , который применил обратное распространение алгоритма для варианта Кунихико~d Фукусима оригинальной архитектуры «с CNN , называется неокогнитрон , [29] позже модифицированного по методе J. Weng под названием макс-пулы . [30] [26]

В 2014 году Шмидхубер основал компанию Nnaisense для работы над коммерческими приложениями искусственного интеллекта в таких областях, как финансы, тяжелая промышленность и беспилотные автомобили . Советниками компании являются Зепп Хохрайтер, Яан Таллинн и Маркус Хаттер . [2] В 2016 году объем продаж составил менее 11 миллионов долларов США; однако Шмидхубер заявляет, что в настоящее время акцент делается на исследованиях, а не на доходах. Nnaisense увеличил свой первый раунд капитального финансирования в январе 2017 года. Общая цель Шмидхубера - создать универсальный ИИ путем последовательного обучения одного ИИ для решения множества узких задач; однако скептики отмечают, что такие компании, как Arago GmbH и IBMгодами применяли ИИ в различных проектах, не проявляя никаких признаков общего искусственного интеллекта. [31]

Просмотры [ править ]

Согласно The Guardian , [32] Schmidhuber жаловался на «уничтожающую 2015 статью» , что коллеги глубоко обучения исследователи Джеффри Хинтон , Лекун и Йошуы Бенджио «сильно цитируют друг друг» , но «не кредитуют пионер области», якобы недооценивая вклад Шмидхубера и других пионеров машинного обучения, в том числе Алексея Григорьевича Ивахненко, который опубликовал первые сети глубокого обучения еще в 1965 году. ЛеКун отрицает обвинения, заявляя вместо этого, что Шмидхубер «продолжает требовать признания, которого он не заслуживает». [2] [32]

Признание [ править ]

Шмидхубер получил премию Гельмгольца Международного общества нейронных сетей в 2013 г. [33] и премию «Пионер нейронных сетей» Общества вычислительного интеллекта IEEE в 2016 г. [34] Он является членом Европейской академии наук и искусств . [35] [6]

Ссылки [ править ]

  1. ^ а б в г CV
  2. ^ a b c d Джон Марков (27 ноября 2016 г.). Когда ИИ взрослеет, Юргена Шмидхубера можно назвать папой . Нью - Йорк Таймс . По состоянию на апрель 2017 г.
  3. ↑ Вонг, Эндрю (16 мая 2018 г.). «« Отец ИИ »призывает людей не бояться технологий» . CNBC . Проверено 27 февраля 2019 .
  4. ^ Blunden, Марк (8 июня 2018). «Люди научатся доверять своим друзьям-роботам, - говорит эксперт по ИИ. Отец современного ИИ считает, что роботы могут составлять компанию одиноким людям» . Вечерний стандарт . Проверено 27 февраля 2019 .
  5. ^ «« Отец ИИ »призывает людей не бояться технологий» . Южно-Китайская утренняя почта . 16 мая 2018 . Проверено 27 февраля 2019 .
  6. ^ a b Дэйв О'Лири (3 октября 2016 г.). Настоящее и будущее искусственного интеллекта и глубокого обучения с участием профессора Юргена Шмидхубера . IT World Canada . По состоянию на апрель 2017 г.
  7. ^ Hochreiter, S. (1991). Untersuchungen zu Dynamischen Neuronalen Netzen (PDF) (дипломная работа). Технический университет Мюнхена, Институт компьютерных наук (руководитель Юрген Шмидхубер).
  8. ^ Зепп Хохрайтер; Юрген Шмидхубер (1997). «Долговременная кратковременная память» . Нейронные вычисления . 9 (8): 1735–1780. DOI : 10.1162 / neco.1997.9.8.1735 . PMID 9377276 . S2CID 1915014 .  
  9. ^ Феликс А. Жерс; Юрген Шмидхубер; Фред Камминс (2000). «Учимся забывать: постоянное предсказание с LSTM». Нейронные вычисления . 12 (10): 2451–2471. CiteSeerX 10.1.1.55.5709 . DOI : 10.1162 / 089976600300015015 . PMID 11032042 . S2CID 11598600 .   
  10. ^ Graves, A .; Шмидхубер, Дж. (2005). «Покадровая классификация фонем с двунаправленным LSTM и другими архитектурами нейронных сетей». Нейронные сети . 18 (5–6): 602–610. CiteSeerX 10.1.1.331.5800 . DOI : 10.1016 / j.neunet.2005.06.042 . PMID 16112549 .  
  11. ^ Клаус Грефф; Рупеш Кумар Шривастава; Ян Кутник; Бас Р. Стенебринк; Юрген Шмидхубер (2015). "LSTM: поисковая космическая одиссея". Транзакции IEEE в нейронных сетях и обучающих системах . 28 (10): 2222–2232. arXiv : 1503.04069 . Bibcode : 2015arXiv150304069G . DOI : 10.1109 / TNNLS.2016.2582924 . PMID 27411231 . S2CID 3356463 .  
  12. ^ Грейвс, Алекс; Фернандес, Сантьяго; Гомес, Фаустино (2006). «Коннекционистская временная классификация: маркировка несегментированных данных последовательности с помощью повторяющихся нейронных сетей». В материалах Международной конференции по машинному обучению, ICML 2006 : 369–376. CiteSeerX 10.1.1.75.6306 . 
  13. ^ Khaitan, Pranav (18 мая 2016). «Общайтесь с Allo умнее» . Блог исследований . Проверено 27 июня 2017 года .
  14. ^ Ву, Юнхуэй; Шустер, Майк; Чен, Чжифэн; Le, Quoc V .; Норузи, Мохаммад; Машери, Вольфганг; Крикун, Максим; Цао, юань; Гао Цинь (26 сентября 2016 г.). «Система нейронного машинного перевода Google: устранение разрыва между человеческим и машинным переводом». arXiv : 1609.08144 [ cs.CL ].
  15. ^ Metz, Кейд (27 сентября 2016). «Влияние искусственного интеллекта делает Google Переводчик более мощным, чем когда-либо | ПРОВОДНОЙ» . Проводной . Проверено 27 июня 2017 года .
  16. ^ Efrati, Amir (13 июня 2016). «Машины Apple тоже могут учиться» . Информация . Проверено 27 июня 2017 года .
  17. ↑ Рейнджер, Стив (14 июня 2016 г.). «iPhone, AI и большие данные: вот как Apple планирует защитить вашу конфиденциальность | ZDNet» . ZDNet . Проверено 27 июня 2017 года .
  18. ^ Смит, Крис (13 июня 2016 г.). «iOS 10: Siri теперь работает в сторонних приложениях, имеет дополнительные функции искусственного интеллекта» . BGR . Проверено 27 июня 2017 года .
  19. ^ Vogels, Вернер (30 ноября 2016). «Привнесение магии Amazon AI и Alexa в приложения на AWS. - Распределение всех вещей» . www.allthingsdistributed.com . Проверено 27 июня 2017 года .
  20. Рианна Онг, Туи (4 августа 2017 г.). «Переводы Facebook теперь полностью выполняются с помощью ИИ» . www.allthingsdistributed.com . Проверено 15 февраля 2019 .
  21. ↑ Вэнс, Эшли (15 мая 2018 г.). «Цитата: эти возможности делают LSTM, пожалуй, самым коммерческим достижением ИИ, используемым для всего, от предсказания болезней до сочинения музыки» . Деловая неделя Bloomberg . Проверено 16 января 2019 .
  22. ^ Кумар Челлапилла; Сид Пури; Патрис Симард (2006). «Высокопроизводительные сверточные нейронные сети для обработки документов» . В Лоретте, Гай (ред.). Десятый международный семинар по проблемам распознавания почерка . Suvisoft.
  23. ^ Чиресан, Дан; Ули Мейер; Джонатан Маши; Лука М. Гамбарделла; Юрген Шмидхубер (2011). «Гибкие, высокопроизводительные сверточные нейронные сети для классификации изображений» (PDF) . Труды двадцать второй международной совместной конференции по искусственному интеллекту - Том второй . 2 : 1237–1242 . Проверено 17 ноября 2013 года .
  24. ^ "Таблица результатов конкурса IJCNN 2011" . ОФИЦИАЛЬНЫЙ КОНКУРС IJCNN2011 . 2010 . Проверено 14 января 2019 .
  25. ^ Schmidhuber, Jürgen (17 марта 2017). «История соревнований по компьютерному зрению, выигранных глубокими CNN на GPU» . Проверено 14 января 2019 .
  26. ^ a b c Шмидхубер, Юрген (2015). «Глубокое обучение» . Scholarpedia . 10 (11): 1527–54. CiteSeerX 10.1.1.76.1541 . DOI : 10.1162 / neco.2006.18.7.1527 . PMID 16764513 . S2CID 2309950 .   
  27. ^ Чиресан, Дан; Мейер, Ули; Шмидхубер, Юрген (июнь 2012 г.). Многоколоночные глубокие нейронные сети для классификации изображений . Конференция IEEE 2012 года по компьютерному зрению и распознаванию образов . Нью-Йорк, штат Нью-Йорк: Институт инженеров по электротехнике и электронике (IEEE). С. 3642–3649. arXiv : 1202.2745 . CiteSeerX 10.1.1.300.3283 . DOI : 10.1109 / CVPR.2012.6248110 . ISBN  978-1-4673-1226-4. OCLC  812295155 . S2CID  2161592 .
  28. ^ Y. LeCun, Б. Босер, JS Denker, Д. Хендерсон, RE Говард У. Хаббард, Л. Д. Jackel, обратное распространение Applied рукописных Zip распознавания коды ; AT&T Bell Laboratories
  29. ^ Фукусима, Неокогнитрон (1980). «Самоорганизующаяся модель нейронной сети для механизма распознавания образов, не подверженного изменению положения». Биологическая кибернетика . 36 (4): 193–202. DOI : 10.1007 / bf00344251 . PMID 7370364 . S2CID 206775608 .  
  30. ^ Weng, J; Ахуджа, N; Хуанг, Т.С. (1993). «Обучение распознаванию и сегментации трехмерных объектов из двухмерных изображений». Proc. 4-я Международная конф. Компьютерное зрение : 121–128.
  31. ^ «AI Pioneer хочет построить машину эпохи Возрождения будущего» . Bloomberg.com . 16 января 2017 . Проверено 23 февраля 2018 года .
  32. ^ a b Олтерманн, Филипп (18 апреля 2017 г.). «Юрген Шмидхубер о будущем роботов:« Они будут уделять нам не меньше внимания, чем мы - муравьям » » . Хранитель . Проверено 23 февраля 2018 года .
  33. ^ Получатели наград INNS . Международное общество нейронных сетей. По состоянию на декабрь 2016 г.
  34. ^ Получатели: Премия «Пионер нейронных сетей» . Пискатауэй, штат Нью-Джерси: Общество вычислительного интеллекта IEEE. По состоянию на январь 2019 г.]
  35. ^ Члены . Европейская академия наук и искусств. По состоянию на декабрь 2016 г.