Из Википедии, бесплатной энциклопедии
  (Перенаправлено из Deep Learning )
Перейти к навигации Перейти к поиску
Чтобы узнать о глубоком и поверхностном обучении в педагогической психологии, см. Подходы студентов к обучению . Для получения дополнительной информации см. Искусственная нейронная сеть .
Часть серии по
Машинное обучение
и
интеллектуальный анализ данных
Многослойная нейронная сеть-Vector-Blank.svg
Проблемы
Кластеризация
Снижение размерности
Структурированный прогноз
  • Графические модели
    • Сеть Байеса
    • Условное случайное поле
    • Скрытый Марков
Обнаружение аномалий
  • k -NN
  • Фактор местного выброса
Искусственная нейронная сеть
  • Автоэнкодер
  • Когнитивные вычисления
  • Глубокое обучение
  • DeepDream
  • Многослойный перцептрон
  • RNN
    • LSTM
    • ГРУ
    • ESN
  • Ограниченная машина Больцмана
  • GAN
  • SOM
  • Сверточная нейронная сеть
    • U-Net
  • Трансформатор
  • Пиковая нейронная сеть
  • Мемтранзистор
  • Электрохимическая RAM (ECRAM)
Обучение с подкреплением
  • Q-обучение
  • SARSA
  • Временная разница (TD)
Теория
  • Компромисс смещения и дисперсии
  • Теория вычислительного обучения
  • Минимизация эмпирического риска
  • Обучение Оккама
  • PAC обучение
  • Статистическое обучение
  • Теория ВК
Площадки для машинного обучения
  • NeurIPS
  • ICML
  • ML
  • JMLR
  • ArXiv: cs.LG
Глоссарий искусственного интеллекта
  • Глоссарий искусственного интеллекта
Статьи по Теме
  • Список наборов данных для исследований в области машинного обучения
  • Краткое описание машинного обучения
  • v
  • т
  • е
Часть серии по
Искусственный интеллект
Основные цели
  • Обоснование знаний
  • Планирование
  • Машинное обучение
  • Обработка естественного языка
  • Компьютерное зрение
  • Робототехника
  • Общий искусственный интеллект
Подходы
  • Символический
  • Глубокое обучение
  • Байесовские сети
  • Эволюционные алгоритмы
Философия
  • Этика
  • Экзистенциальный риск
  • Тест Тьюринга
  • Китайская комната
  • Проблема управления
  • Дружелюбный ИИ
История
  • График
  • Прогресс
  • AI зима
Технологии
  • Приложения
  • Проекты
  • Языки программирования
Глоссарий
  • Глоссарий
  • v
  • т
  • е

Глубокое обучение (также известное как глубокое структурированное обучение ) является частью более широкого семейства методов машинного обучения, основанных на искусственных нейронных сетях с репрезентативным обучением . Обучение может быть контролируемым , частично контролируемым или неконтролируемым . [1] [2] [3]

Архитектуры глубокого обучения, такие как глубокие нейронные сети , сети глубоких убеждений , рекуррентные нейронные сети и сверточные нейронные сети , были применены в таких областях, как компьютерное зрение , машинное зрение , распознавание речи , обработка естественного языка , распознавание звука , фильтрация социальных сетей, машинный перевод и т. Д. биоинформатика , дизайн лекарств , анализ медицинских изображений , проверка материалов и настольная играпрограммы, в которых они дали результаты, сопоставимые, а в некоторых случаях и превосходящие возможности специалистов. [4] [5] [6] [7]

Искусственные нейронные сети (ИНС) были вдохновлены обработкой информации и распределенными коммуникационными узлами в биологических системах . ИНС имеют различные отличия от биологического мозга . В частности, нейронные сети, как правило, статичны и символичны, в то время как биологический мозг большинства живых организмов является динамическим (пластичным) и аналоговым. [8] [9] [10]

Прилагательное «глубокий» в глубоком обучении относится к использованию нескольких уровней в сети. Ранние работы показали, что линейный персептрон не может быть универсальным классификатором, а затем, что сеть с неполиномиальной функцией активации с одним скрытым слоем неограниченной ширины, с другой стороны, может им быть. Глубокое обучение - это современная разновидность, которая связана с неограниченным количеством слоев ограниченного размера, что допускает практическое применение и оптимизированную реализацию, сохраняя при этом теоретическую универсальность в мягких условиях. В глубоком изучении слои также разрешено быть неоднородным и сильно отклонятся от биологически информированных коннекционистских моделей, ради эффективности, обучаемость и понятности, откуда «структурированной» части.

Определение [ править ]

Представление изображений на нескольких уровнях абстракции в глубоком обучении [11]

Глубокое обучение - это класс алгоритмов машинного обучения , которые [12] ( pp199–200 ) используют несколько уровней для постепенного извлечения высокоуровневых функций из необработанных входных данных. Например, при обработке изображений нижние уровни могут идентифицировать края, в то время как более высокие уровни могут идентифицировать понятия, относящиеся к человеку, такие как цифры, буквы или лица.

Обзор [ править ]

Большинство современных моделей глубокого обучения основаны на искусственных нейронных сетях , в частности, на сверточных нейронных сетях (CNN), хотя они также могут включать пропозициональные формулы или скрытые переменные, организованные послойно в глубоких генеративных моделях, таких как узлы в глубоких сетях убеждений и глубинных сетях Больцмана. машины . [13]

В глубоком обучении каждый уровень учится преобразовывать свои входные данные в несколько более абстрактное и составное представление. В приложении распознавания изображений необработанный ввод может быть матрицей пикселей; первый репрезентативный слой может абстрагировать пиксели и кодировать края; второй слой может составлять и кодировать компоновку краев; третий слой может кодировать нос и глаза; а четвертый слой может распознать, что изображение содержит лицо. Важно отметить, что глубокий процесс обучения может узнать , какие функции оптимально места , в котором уровень сам по себе . (Конечно, это не полностью исключает необходимость ручной настройки; например, различное количество слоев и размеры слоев могут обеспечить разную степень абстракции.) [1] [14]

Слово «глубокий» в «глубоком обучении» относится к количеству слоев, через которые преобразуются данные. Точнее, системы глубокого обучения имеют значительную глубину пути присвоения кредитов (CAP). CAP - это цепочка преобразований от ввода к выводу. CAP описывают потенциально причинные связи между вводом и выводом. Для нейронной сети с прямой связью глубина CAP равна глубине сети и равна количеству скрытых слоев плюс один (поскольку выходной слой также параметризован). Для рекуррентных нейронных сетей , в которых сигнал может распространяться через слой более одного раза, глубина CAP потенциально неограничена. [2]Нет общепризнанного порога глубины, отделяющего поверхностное обучение от глубокого, но большинство исследователей согласны с тем, что глубокое обучение предполагает глубину CAP выше 2. Было показано, что CAP глубины 2 является универсальным приближением в том смысле, что он может имитировать любую функцию. . [15] Кроме того, большее количество слоев не увеличивает аппроксимирующую способность сети. Глубокие модели (CAP> 2) способны извлекать лучшие функции, чем мелкие модели, и, следовательно, дополнительные слои помогают эффективно изучать функции.

Архитектуры глубокого обучения могут быть построены жадным послойным методом. [16] Глубокое обучение помогает распутать эти абстракции и выбрать, какие функции улучшают производительность. [1]

Для поднадзорного обучения задач, глубокие методы обучения устранить особенность инженерию , переводя данные в компактные промежуточные представления родственного основных компонентов , а также получить слоистые структуры , которые устраняют избыточность в представлении.

Алгоритмы глубокого обучения могут применяться к задачам неконтролируемого обучения. Это важное преимущество, потому что немаркированных данных больше, чем помеченных данных. Примерами глубоких структур, которые можно обучать неконтролируемым образом, являются компрессоры нейронной истории [17] и сети глубоких убеждений . [1] [18]

Интерпретации [ править ]

Глубокие нейронные сети обычно интерпретируются в терминах универсальной аппроксимационной теоремы [19] [20] [21] [22] [23] или вероятностного вывода . [12] [13] [1] [2] [18] [24]

Классическая универсальная аппроксимационная теорема касается способности нейронных сетей прямого распространения с единственным скрытым слоем конечного размера аппроксимировать непрерывные функции . [19] [20] [21] [22] В 1989 году , первое доказательство было опубликовано Джордж Сибенко для сигмовидных функций активации [19] [ править ] и была обобщена на подающих вперед многослойных архитектур в 1991 году Kurt Hornik . [20] Недавняя работа также показала, что универсальное приближение также справедливо для неограниченных функций активации, таких как выпрямленная линейная единица. [25]

Универсальная аппроксимационная теорема для глубоких нейронных сетей касается пропускной способности сетей с ограниченной шириной, но глубина может расти. Лу и др. [23] доказали, что если ширина глубокой нейронной сети с активацией ReLU строго больше входной размерности, то сеть может аппроксимировать любую интегрируемую по Лебегу функцию ; Если ширина меньше или равна входному размеру, то глубокая нейронная сеть не является универсальным аппроксиматором.

Вероятностная интерпретация [24] происходит от области машинного обучения . Он включает вывод [12] [13] [1] [2] [18] [24], а также концепции оптимизации обучения и тестирования , связанные с подгонкой и обобщением , соответственно. Более конкретно, вероятностная интерпретация рассматривает нелинейность активации как кумулятивную функцию распределения . [24] Вероятностная интерпретация привела к введению отсева в качестве регуляризатора.в нейронных сетях. [26] Вероятностная интерпретация была предложена исследователями, в том числе Хопфилдом , Видроу и Нарендрой, и популяризована в исследованиях, таких как исследование Бишопа . [27]

История [ править ]

Первый общий рабочий алгоритм обучения для контролируемых глубоких многослойных перцептронов с прямой связью был опубликован Алексеем Ивахненко и Лапой в 1967 году. [28] В статье 1971 года описывалась глубокая сеть с восемью уровнями, обученная групповым методом обработки данных . [29] Другие рабочие архитектуры глубокого обучения, особенно те, которые созданы для компьютерного зрения , начались с Neocognitron, представленного Кунихико Фукусимой в 1980 году. [30]

Термин « глубокое обучение» был представлен сообществу машинного обучения Риной Дехтер в 1986 году [31] [17] и искусственным нейронным сетям Игорем Айзенбергом и его коллегами в 2000 году в контексте логических пороговых нейронов. [32] [33]

В 1989 году Ян ЛеКун и др. применил стандартный алгоритм обратного распространения ошибки , который использовался как обратный режим автоматического дифференцирования с 1970 года [34] [35] [36] [37], к глубокой нейронной сети с целью распознавания рукописных почтовых индексов в почте. Пока алгоритм работал, на обучение требовалось 3 дня. [38]

К 1991 году такие системы использовались для распознавания изолированных двумерных рукописных цифр, в то время как распознавание трехмерных объектов осуществлялось путем сопоставления двухмерных изображений с созданной вручную трехмерной объектной моделью. Weng et al. предположили, что человеческий мозг не использует монолитную трехмерную объектную модель, и в 1992 году они опубликовали Cresceptron, [39] [40] [41]метод распознавания трехмерных объектов в загроможденных сценах. Поскольку он напрямую использовал естественные изображения, Cresceptron положил начало универсальному визуальному обучению естественным трехмерным мирам. Крецептрон - это каскад слоев, подобных неокогнитрону. Но в то время как Neocognitron требовал человека-программиста для ручного слияния функций, Cresceptron изучил открытое количество функций на каждом уровне без надзора, где каждая функция представлена ядром свертки . Крецептрон сегментировал каждый изученный объект из загроможденной сцены посредством анализа данных по сети. Максимальный пул , теперь часто применяемый глубокими нейронными сетями (например, ImageNet tests), был впервые использован в Cresceptron для уменьшения разрешения положения в раз (2x2) до 1 с помощью каскада для лучшего обобщения.

В 1994 году Андре де Карвалью вместе с Майком Фэрхерстом и Дэвидом Биссетом опубликовали экспериментальные результаты многослойной логической нейронной сети, также известной как невесомая нейронная сеть, состоящая из трехуровневого самоорганизующегося модуля нейронной сети для извлечения признаков ( SOFT), за которым последовал модуль нейронной сети с многоуровневой классификацией (GSN), которые прошли независимое обучение. Каждый слой в модуле извлечения признаков извлекал объекты с возрастающей сложностью по сравнению с предыдущим слоем. [42]

В 1995 году Брендан Фрей продемонстрировал, что можно обучить (в течение двух дней) сеть, содержащую шесть полностью связанных слоев и несколько сотен скрытых блоков, используя алгоритм бодрствования-сна , разработанный совместно с Питером Даяном и Хинтоном . [43] Многие факторы способствуют низкой скорости, в том числе проблема исчезающего градиента, проанализированная в 1991 году Зеппом Хохрайтером . [44] [45]

С 1997 года Свен Бенке расширил иерархический сверточный подход с прямой связью в пирамиде нейронных абстракций [46] за счет боковых и обратных связей, чтобы гибко включать контекст в решения и итеративно разрешать локальные неоднозначности.

Более простые модели, в которых используются специально созданные вручную функции, такие как фильтры Габора и вспомогательные векторные машины (SVM), были популярным выбором в 1990-х и 2000-х годах из-за вычислительных затрат искусственной нейронной сети (ИНС) и отсутствия понимания того, как мозг связывает свои биологические сети.

Как поверхностное, так и глубокое обучение (например, повторяющиеся сети) ИНС изучаются в течение многих лет. [47] [48] [49] Эти методы никогда не превосходили по эффективности неоднородную внутреннюю ручную модель смешанной модели Гаусса / скрытую марковскую модель (GMM-HMM), основанную на генеративных моделях речи, обучаемых дискриминационным образом. [50] Были проанализированы ключевые трудности, включая уменьшение градиента [44] и слабую временную корреляционную структуру в нейронных прогностических моделях. [51] [52] Дополнительными трудностями были отсутствие обучающих данных и ограниченные вычислительные мощности.

Большинство исследователей распознавания речи отошли от нейронных сетей и занялись генеративным моделированием. Исключение составило SRI International в конце 1990-х годов. При финансовой поддержке Агентства национальной безопасности США и DARPA SRI изучала глубокие нейронные сети в распознавании речи и говорящего. Группа распознавания говорящих во главе с Ларри Хеком сообщила о значительном успехе глубоких нейронных сетей в обработке речи в оценке Национального института стандартов и технологий 1998 года по распознаванию говорящих . [53] Глубокая нейронная сеть SRI была затем развернута в Nuance Verifier, что стало первым крупным промышленным приложением глубокого обучения. [54]

Принцип повышения «сырых» функций над ручной оптимизацией был впервые успешно исследован в архитектуре глубинного автокодировщика на «сырой» спектрограмме или линейных функциях банка фильтров в конце 1990-х годов [54], демонстрируя его превосходство над мелким кодером. Кепстральные объекты, содержащие этапы фиксированного преобразования из спектрограмм. Необработанные особенности речи, формы сигналов , позже дали отличные результаты в большем масштабе. [55]

Многие аспекты распознавания речи были взяты на вооружение методом глубокого обучения, называемым долгой кратковременной памятью (LSTM), рекуррентной нейронной сетью, опубликованной Хохрайтером и Шмидхубером в 1997 году. [56] LSTM RNN избегают проблемы исчезающего градиента и могут обучаться "очень «Глубокое обучение» [2] , требующие воспоминаний о событиях, которые произошли за тысячи дискретных временных шагов раньше, что важно для речи. В 2003 году LSTM начал конкурировать с традиционными распознавателями речи при выполнении определенных задач. [57] Позже она была объединена с коннекционистской временной классификацией (CTC) [58] в стеках LSTM RNN. [59]Сообщается, что в 2015 году производительность распознавания речи Google резко выросла на 49% благодаря обученному CTC LSTM, который они сделали доступным через Google Voice Search . [60]

В 2006 годе , публикации по Geoff Хинтон , Руслан Салахутдинам , Osindero и Дэ [61] [62] [63] показали , как много-слоистого упреждения нейронная сеть может быть эффективно предварительно обучен один слой за один раз, рассматривая каждый слой в своей очереди , как неконтролируемую ограниченную машину Больцмана , а затем настройте ее с помощью контролируемого обратного распространения ошибки . [64] В документах говорилось об обучении для сетей глубоких убеждений.

Глубокое обучение является частью современных систем в различных дисциплинах, в частности, компьютерное зрение и автоматическое распознавание речи (ASR). Результаты по часто используемым оценочным наборам, таким как TIMIT (ASR) и MNIST ( классификация изображений ), а также по ряду задач распознавания речи с большим словарным запасом постоянно улучшаются. [65] [66] [67] Сверточные нейронные сети (CNN) были заменены ASR на CTC [58] для LSTM. [56] [60] [68] [69] [70] [71] [72], но более успешны в компьютерном зрении.

По словам Яна ЛеКуна, влияние глубокого обучения на промышленность началось в начале 2000-х годов, когда CNN уже обработали от 10% до 20% всех проверок, выписанных в США. [73] Промышленное применение глубокого обучения для крупномасштабного распознавания речи началось примерно в 2010 году.

Семинар NIPS 2009 года по глубокому обучению для распознавания речи [74] был мотивирован ограничениями глубинных генеративных моделей речи и возможностью того, что при наличии более мощного оборудования и крупномасштабных наборов данных глубокие нейронные сети (DNN) могут стать практичными. Считалось, что предварительное обучение DNN с использованием генеративных моделей сетей глубокого убеждения (DBN) преодолеет основные трудности нейронных сетей. [75] Однако было обнаружено, что замена предварительного обучения большими объемами обучающих данных для прямого обратного распространенияпри использовании DNN с большими, зависимыми от контекста выходными слоями частота ошибок значительно ниже, чем у современной модели смеси Гаусса (GMM) / Hidden Markov Model (HMM), а также чем у более совершенных систем на основе генеративных моделей . [65] [76] Природа ошибок распознавания, производимых двумя типами систем, была характерно различной, [77] [74] предлагая техническое понимание того, как интегрировать глубокое обучение в существующую высокоэффективную систему декодирования речи во время выполнения. развернуты всеми основными системами распознавания речи. [12] [78] [79]Анализ 2009–2010 годов, противопоставляющий GMM (и другие модели генеративной речи) моделям DNN, стимулировал ранние промышленные инвестиции в глубокое обучение для распознавания речи [77] [74], что в конечном итоге привело к повсеместному и доминирующему использованию в этой отрасли. Этот анализ был проведен со сравнимой производительностью (менее 1,5% с частотой ошибок) между дискриминирующими DNN и генеративными моделями. [65] [77] [75] [80]

В 2010 году исследователи расширили глубокое обучение с TIMIT до распознавания речи с большим словарным запасом, приняв большие выходные уровни DNN на основе контекстно-зависимых состояний HMM, построенных с помощью деревьев решений . [81] [82] [83] [78]

Достижения в области аппаратного обеспечения возродили интерес к глубокому обучению. В 2009 году Nvidia участвовала в так называемом «большом взрыве» глубокого обучения, «поскольку нейронные сети глубокого обучения обучались с помощью графических процессоров (GPU) Nvidia ». [84] В том году Эндрю Нг определил, что графические процессоры могут увеличить скорость систем глубокого обучения примерно в 100 раз. [85] В частности, графические процессоры хорошо подходят для матричных / векторных вычислений, связанных с машинным обучением. [86] [87] [88] Графические процессоры ускоряют алгоритмы обучения на порядки, сокращая время выполнения с недель до дней. [89] [90]Кроме того, для эффективной обработки моделей глубокого обучения можно использовать специализированное оборудование и оптимизацию алгоритмов. [91]

Революция глубокого обучения [ править ]

Как глубокое обучение является подмножеством машинного обучения и как машинное обучение - подмножеством искусственного интеллекта (ИИ).

В 2012 году команда под руководством Джорджа Э. Даля победила в конкурсе «Merck Molecular Activity Challenge», используя многозадачные глубокие нейронные сети для прогнозирования биомолекулярной мишени одного лекарства. [92] [93] В 2014 году группа Хохрайтера использовала глубокое обучение для обнаружения нецелевых и токсичных эффектов экологических химикатов в питательных веществах, товарах для дома и лекарствах и выиграла конкурс данных Tox21 от NIH , FDA и NCATS . [94] [95] [96]

Значительные дополнительные воздействия на распознавание изображений или объектов ощущались в период с 2011 по 2012 год. Хотя CNN, обученные методом обратного распространения, существовали уже несколько десятилетий, а реализации NN на GPU в течение многих лет, включая CNN, для прогресса в области компьютерного зрения требовалось быстрое внедрение CNN на графических процессорах. . [86] [88] [38] [97] [2] В 2011 году этот подход впервые позволил достичь сверхчеловеческих качеств в конкурсе на распознавание визуальных образов. Также в 2011 году он выиграл конкурс китайского почерка ICDAR, а в мае 2012 года он выиграл конкурс сегментации изображений ISBI. [98] До 2011 года CNN не играли важной роли на конференциях по компьютерному зрению, но в июне 2012 года в статье Ciresan et al. на ведущей конференции CVPR[5] показали, как максимальное объединение CNN на GPU может значительно улучшить многие результаты тестов машинного зрения. В октябре 2012 года аналогичная система Крижевского и др. [6] выиграли крупномасштабное соревнование ImageNet со значительным отрывом от методов поверхностного машинного обучения. В ноябре 2012 года система Ciresan et al. Также выиграла конкурс ICPR по анализу больших медицинских изображений для выявления рака, а в следующем году - также в конкурсе MICCAI Grand Challenge по той же теме. [99] В 2013 и 2014 годах частота ошибок в задаче ImageNet с использованием глубокого обучения была еще больше снижена, следуя аналогичной тенденции в крупномасштабном распознавании речи. Wolfram проект Identification Image огласка этих улучшений. [100]

Затем классификация изображений была расширена до более сложной задачи создания описаний (подписей) для изображений, часто в виде комбинации CNN и LSTM. [101] [102] [103] [104]

Некоторые исследователи заявляют, что победа ImageNet в октябре 2012 года положила начало «революции глубокого обучения», которая изменила индустрию искусственного интеллекта. [105]

В марте 2019 года Йошуа Бенжио , Джеффри Хинтон и Янн ЛеКун были удостоены премии Тьюринга за концептуальные и инженерные прорывы, которые сделали глубокие нейронные сети критически важным компонентом вычислений.

Нейронные сети [ править ]

Искусственные нейронные сети [ править ]

Основная статья: Искусственная нейронная сеть

Искусственные нейронные сети ( ИНС ) или Коннекшионистские системы являются вычислительными системами , вдохновленных биологическими нейронными сетями , которые составляют мозг животных. Такие системы учатся (постепенно улучшают свои способности) выполнять задачи, рассматривая примеры, как правило, без программирования для конкретных задач. Например, при распознавании изображений они могут научиться идентифицировать изображения, содержащие кошек, путем анализа примеров изображений, которые были вручную помечены как «кошка» или «без кошек», и использования результатов анализа для идентификации кошек на других изображениях. Они нашли наибольшее применение в приложениях, которые трудно выразить с помощью традиционного компьютерного алгоритма, использующего программирование на основе правил .

ИНС основана на наборе связанных единиц, называемых искусственными нейронами (аналогично биологическим нейронам в биологическом мозге ). Каждое соединение ( синапс ) между нейронами может передавать сигнал другому нейрону. Принимающий (постсинаптический) нейрон может обрабатывать сигнал (ы), а затем передавать сигналы нижестоящим нейронам, связанным с ним. Нейроны могут иметь состояние, обычно представленное действительными числами , обычно от 0 до 1. Нейроны и синапсы также могут иметь вес, который изменяется в процессе обучения, что может увеличивать или уменьшать силу сигнала, который они посылают ниже по потоку.

Обычно нейроны организованы по слоям. Разные слои могут выполнять разные виды преобразований на своих входах. Сигналы перемещаются от первого (входного) к последнему (выходному) слою, возможно, после многократного прохождения слоев.

Первоначальная цель подхода нейронных сетей состояла в том, чтобы решать проблемы так же, как это делает человеческий мозг. Со временем внимание сосредоточилось на сопоставлении определенных умственных способностей, что привело к отклонениям от биологии, таким как обратное распространение или передача информации в обратном направлении, и настройка сети для отражения этой информации.

Нейронные сети использовались для решения множества задач, включая компьютерное зрение, распознавание речи , машинный перевод , фильтрацию социальных сетей , настольные игры и видеоигры, а также медицинскую диагностику.

По состоянию на 2017 год нейронные сети обычно имеют от нескольких тысяч до нескольких миллионов единиц и миллионы соединений. Несмотря на то, что это число на несколько порядков меньше, чем количество нейронов в человеческом мозгу, эти сети могут выполнять многие задачи на уровне, превышающем человеческий (например, распознавание лиц, игра в «го» [106] ).

Глубокие нейронные сети [ править ]

Глубокая нейронная сеть (DNN) - это искусственная нейронная сеть (ANN) с несколькими уровнями между входным и выходным слоями. [13] [2] Существуют разные типы нейронных сетей, но они всегда состоят из одних и тех же компонентов: нейронов, синапсов, весов, смещений и функций. [107] Эти компоненты функционируют аналогично человеческому мозгу и могут быть обучены, как любой другой алгоритм машинного обучения. [ необходима цитата ]

Например, DNN, который обучен распознавать породы собак, будет проходить по заданному изображению и вычислять вероятность того, что собака на изображении принадлежит определенной породе. Пользователь может просмотреть результаты и выбрать, какие вероятности должна отображать сеть (выше определенного порога и т. Д.), И вернуть предложенную метку. Каждая математическая манипуляция как таковая считается слоем, а сложные DNN имеют много уровней, отсюда и название «глубокие» сети.

DNN могут моделировать сложные нелинейные отношения. Архитектура DNN генерирует композиционные модели, в которых объект выражается как многоуровневая композиция примитивов . [108] Дополнительные слои позволяют составлять объекты из нижних слоев, потенциально моделируя сложные данные с меньшим количеством единиц, чем аналогично работающая мелкая сеть. [13] Например, было доказано, что разреженные многомерные полиномы экспоненциально легче аппроксимировать с помощью DNN, чем с помощью неглубоких сетей. [109]

Глубокие архитектуры включают множество вариантов нескольких основных подходов. Каждая архитектура добилась успеха в определенных областях. Не всегда возможно сравнить производительность нескольких архитектур, если они не были оценены на одних и тех же наборах данных.

DNN обычно представляют собой сети прямого распространения, в которых данные передаются от входного уровня к выходному без обратной петли. Сначала DNN создает карту виртуальных нейронов и присваивает случайные числовые значения или «веса» связям между ними. Веса и входные данные умножаются и возвращают выходное значение от 0 до 1. Если сеть не может точно распознать конкретный образец, алгоритм будет корректировать веса. [110] Таким образом, алгоритм может повысить влияние определенных параметров до тех пор, пока он не определит правильные математические операции для полной обработки данных.

Рекуррентные нейронные сети (RNN), в которых данные могут передаваться в любом направлении, используются для таких приложений, как языковое моделирование . [111] [112] [113] [114] [115] Долговременная кратковременная память особенно эффективна для этого использования. [56] [116]

Сверточные глубокие нейронные сети (CNN) используются в компьютерном зрении. [117] CNN также применялись для акустического моделирования для автоматического распознавания речи (ASR). [72]

Проблемы [ править ]

Как и в случае с ИНС, многие проблемы могут возникнуть с наивно обученными DNN. Две распространенные проблемы - это переоснащение и время вычислений.

DNN склонны к переобучению из-за дополнительных уровней абстракции, которые позволяют им моделировать редкие зависимости в обучающих данных. Для борьбы с переобучением во время тренировок можно применять такие методы регуляризации , как обрезка единиц Ивахненко [29] или снижение веса ( -регуляризация) или разреженность ( -регуляризация). [118] В качестве альтернативы регуляризация выпадения случайным образом исключает единицы из скрытых слоев во время обучения. Это помогает исключить редкие зависимости. [119] Наконец, данные могут быть увеличены с помощью таких методов, как обрезка и вращение, так что меньшие обучающие наборы могут быть увеличены в размере, чтобы уменьшить вероятность переобучения. [120]

DNN должны учитывать многие параметры обучения, такие как размер (количество слоев и количество единиц на уровне), скорость обучения и начальные веса. Поиск оптимальных параметров в пространстве параметров может оказаться невозможным из-за затрат времени и вычислительных ресурсов. Различные приемы, такие как пакетирование (вычисление градиента сразу на нескольких обучающих примерах, а не на отдельных примерах) [121], ускоряют вычисления. Большие вычислительные возможности многоядерных архитектур (таких как графические процессоры или Intel Xeon Phi) привели к значительному ускорению обучения из-за пригодности таких архитектур обработки для матричных и векторных вычислений. [122] [123]

В качестве альтернативы инженеры могут искать другие типы нейронных сетей с более простыми и конвергентными алгоритмами обучения. CMAC ( контроллер артикуляции модели мозжечка ) - одна из таких нейронных сетей. Для CMAC не требуются скорости обучения или рандомизированные начальные веса. Можно гарантировать, что процесс обучения сойдется за один шаг с новым пакетом данных, а вычислительная сложность алгоритма обучения линейна по отношению к количеству задействованных нейронов. [124] [125]

Оборудование [ править ]

С 2010-х годов достижения как в алгоритмах машинного обучения, так и в компьютерном оборудовании привели к появлению более эффективных методов обучения глубоких нейронных сетей, которые содержат много уровней нелинейных скрытых единиц и очень большой выходной слой. [126] К 2019 году графические процессоры ( ГП ), часто с усовершенствованиями, специфичными для ИИ, вытеснили ЦП в качестве доминирующего метода обучения ИИ в крупномасштабном коммерческом облаке. [127] OpenAI оценил объем аппаратных вычислений, используемых в крупнейших проектах глубокого обучения от AlexNet (2012 г.) до AlphaZero (2017 г.), и обнаружил, что объем требуемых вычислений увеличился в 300 000 раз, а линия тренда на время удвоения составила 3,4 месяца. [128] [129]

Приложения [ править ]

Автоматическое распознавание речи [ править ]

Основная статья: Распознавание речи

Масштабное автоматическое распознавание речи - первый и наиболее убедительный успешный пример глубокого обучения. LSTM RNN могут изучать задачи «очень глубокого обучения» [2], которые включают многосекундные интервалы, содержащие речевые события, разделенные тысячами дискретных временных шагов, где один временной шаг соответствует примерно 10 мс. LSTM с воротами забыть [116] конкурирует с традиционными распознавателями речи в определенных задачах. [57]

Первоначальный успех в распознавании речи был основан на небольших задачах распознавания на основе TIMIT. Набор данных содержит 630 докладчиков из восьми основных диалектов в американском варианте английского языка , где каждый оратор читает 10 предложений. [130] Его небольшой размер позволяет опробовать множество конфигураций. Что еще более важно, задача TIMIT касается распознавания телефонной последовательности, которое, в отличие от распознавания последовательности слов, позволяет использовать слабые телефонные модели языка биграмм . Это позволяет легче анализировать силу аспектов акустического моделирования распознавания речи. Приведенные ниже коэффициенты ошибок, включая эти первые результаты и измеренные как процент ошибок по телефону (PER), были обобщены с 1991 года.

МетодикаПроцент телефонных
ошибок (PER) (%)
Случайно инициализированный RNN [131]26,1
Байесовский трифон GMM-HMM25,6
Модель скрытой траектории (генеративная)24,8
Монофон, произвольно инициализированный DNN23,4
Монофон ДБН-ДНН22,4
Triphone GMM-HMM с обучением BMMI21,7
Монофон ДБН-ДНН на fbank20,7
Сверточная DNN [132]20,0
Сверточная DNN w. Гетерогенное объединение18,7
Ансамбль DNN / CNN / RNN [133]18,3
Двунаправленный LSTM17,8
Иерархическая сверточная сеть Deep Maxout [134]16,5

Дебют DNN для распознавания говорящих в конце 1990-х и распознавания речи в 2009-2011 гг. И LSTM в 2003-2007 гг. Ускорил прогресс в восьми основных областях: [12] [80] [78]

  • Масштабирование и ускоренное обучение и декодирование DNN
  • Последовательность дискриминационного обучения
  • Обработка признаков с помощью глубоких моделей с четким пониманием основных механизмов
  • Адаптация DNN и связанных глубинных моделей
  • Multi-задача и обучение передачи по DNNS и связанными с ними глубокими моделями
  • CNN и как их спроектировать, чтобы наилучшим образом использовать знания о речи в предметной области
  • RNN и его богатые варианты LSTM
  • Другие типы глубоких моделей, включая тензорные модели и интегрированные глубинные генеративные / дискриминативные модели.

Все основные коммерческие системы распознавания речи (например, Microsoft Cortana , Xbox , Skype Translator , Amazon Alexa , Google Now , Apple Siri , Baidu и голосовой поиск iFlyTek , а также ряд речевых продуктов Nuance и т. Д.) Основаны на глубоком обучении. [12] [135] [136]

Распознавание изображений [ править ]

Основная статья: Компьютерное зрение

Обычным набором оценок для классификации изображений является набор данных базы данных MNIST. MNIST состоит из рукописных цифр и включает 60 000 обучающих примеров и 10 000 тестовых примеров. Как и в случае с TIMIT, его небольшой размер позволяет пользователям тестировать несколько конфигураций. Доступен исчерпывающий список результатов по этому набору. [137]

Распознавание изображений на основе глубокого обучения стало «сверхчеловеческим» и дает более точные результаты, чем участники соревнований-людей. Впервые это произошло в 2011 году. [138]

Транспортные средства, обученные глубокому обучению, теперь интерпретируют изображения с камеры на 360 °. [139] Другой пример - анализ лицевой дисморфологии (FDNA), используемый для анализа случаев уродства человека, связанных с большой базой данных генетических синдромов.

Обработка визуального искусства [ править ]

С прогрессом, достигнутым в распознавании изображений, тесно связано все более широкое применение методов глубокого обучения для решения различных задач изобразительного искусства. DNN зарекомендовали себя способными, например, а) определять период стиля данной картины, б) передавать нейронный стиль  - фиксировать стиль данного произведения искусства и применять его в визуально приятной манере к произвольной фотографии или видео, а также в) создание поразительных изображений на основе случайных полей визуального ввода. [140] [141]

Обработка естественного языка [ править ]

Основная статья: Обработка естественного языка

Нейронные сети использовались для реализации языковых моделей с начала 2000-х годов. [111] LSTM помог улучшить машинный перевод и языковое моделирование. [112] [113] [114]

Другими ключевыми методами в этой области являются отрицательная выборка [142] и встраивание слов . Встраивание слов, такое как word2vec , можно рассматривать как уровень представления в архитектуре глубокого обучения, который преобразует атомарное слово в позиционное представление слова относительно других слов в наборе данных; позиция представлена ​​как точка в векторном пространстве . Использование встраивания слов в качестве входного уровня RNN позволяет сети анализировать предложения и фразы, используя эффективную композиционную векторную грамматику. Композиционная векторная грамматика может рассматриваться как вероятностная контекстно-свободная грамматика (PCFG), реализуемая RNN. [143]Рекурсивные автокодировщики, построенные на встраиваемых словах, могут оценивать сходство предложений и обнаруживать перефразирование. [143] Глубокие нейронные архитектуры обеспечивают наилучшие результаты для анализа аудитории , [144] анализа настроений , [145] поиска информации, [146] [147] понимания разговорного языка, [148] машинного перевода, [112] [149] контекстной сущности связывание, [149] распознавание стиля письма, [150] классификация текста и другие. [151]

Последние разработки обобщают встраивание слов до встраивания предложений .

Google Translate (GT) использует большую сеть сквозной долгосрочной краткосрочной памяти (LSTM). [152] [153] [154] [155] [156] [157] Нейронный машинный перевод Google (GNMT) использует основанный на примерах метод машинного перевода, в котором система «учится на миллионах примеров». [153] Он переводит «целые предложения за один раз, а не части. Google Translate поддерживает более ста языков. [153] Сеть кодирует« семантику предложения, а не просто запоминает перевод фразы-фразы ». [153] ] [158] GT использует английский как промежуточное звено между большинством языковых пар.[158]

Открытие лекарств и токсикология [ править ]

Для получения дополнительной информации см. Открытие лекарств и токсикология .

Большой процент лекарств-кандидатов не получает одобрения регулирующих органов. Эти неудачи вызваны недостаточной эффективностью (целевой эффект), нежелательными взаимодействиями (нецелевые эффекты) или непредвиденными токсическими эффектами . [159] [160] Исследования изучали использование глубокого обучения для прогнозирования биомолекулярных целей , [92] [93] отклонений от целей и токсического воздействия химических веществ окружающей среды в питательных веществах, бытовых товарах и лекарствах. [94] [95] [96]

AtomNet - это система глубокого обучения для рационального дизайна лекарств на основе структуры . [161] AtomNet использовалась для предсказания новых биомолекул-кандидатов для лечения болезней, таких как вирус Эбола [162] и рассеянный склероз . [163] [164]

В 2019 году генеративные нейронные сети использовались для производства молекул, которые были проверены экспериментально на мышах. [165] [166]

Управление взаимоотношениями с клиентами [ править ]

Основная статья: Управление взаимоотношениями с клиентами

Глубокое обучение с подкреплением использовалось для приблизительного определения ценности возможных прямых маркетинговых действий, определенных с помощью переменных RFM . Было показано, что функция оценочной стоимости естественным образом интерпретируется как пожизненная ценность клиента . [167]

Системы рекомендаций [ править ]

Основная статья: Рекомендательная система

Системы рекомендаций использовали глубокое обучение для извлечения значимых функций для модели латентных факторов для музыкальных и журнальных рекомендаций, основанных на содержании. [168] [169] Глубокое обучение с несколькими представлениями применяется для изучения пользовательских предпочтений из нескольких доменов. [170] Модель использует гибридный подход, основанный на совместной работе и содержании, и расширяет рекомендации по множеству задач.

Биоинформатика [ править ]

Основная статья: Биоинформатика

Автоассоциатор ИНС был использован в биоинформатики , чтобы предсказать ген онтологии аннотации и ген-функциональные отношения. [171]

В медицинской информатике глубокое обучение использовалось для прогнозирования качества сна на основе данных с носимых устройств [172] и прогнозов осложнений для здоровья на основе данных электронных медицинских карт . [173]

Анализ медицинских изображений [ править ]

Было показано, что глубокое обучение дает конкурентные результаты в медицинских приложениях, таких как классификация раковых клеток, обнаружение повреждений, сегментация органов и улучшение изображений. [174] [175]

Мобильная реклама [ править ]

Поиск подходящей мобильной аудитории для мобильной рекламы всегда является сложной задачей, поскольку необходимо рассмотреть и проанализировать множество точек данных, прежде чем можно будет создать целевой сегмент и использовать его при показе рекламы любым рекламным сервером. [176] Глубокое обучение использовалось для интерпретации больших многомерных наборов рекламных данных. Многие точки данных собираются во время цикла интернет-рекламы запрос / обслуживание / клик. Эта информация может стать основой машинного обучения для улучшения выбора рекламы.

Восстановление изображения [ править ]

Глубокое обучение успешно применялось к обратным задачам, таким как шумоподавление , сверхвысокое разрешение , рисование и раскрашивание пленки . [177] Эти приложения включают в себя методы обучения, такие как «Поля усадки для эффективного восстановления изображения» [178], которые обучаются на наборе данных изображения, и Deep Image Prior , которые обучаются на изображении, которое требует восстановления.

Обнаружение финансового мошенничества [ править ]

Глубокое обучение успешно применяется для обнаружения финансового мошенничества и борьбы с отмыванием денег. «Глубокая система обнаружения отмывания денег может выявлять и распознавать взаимосвязи и сходства между данными и, в дальнейшем, обучаться обнаруживать аномалии или классифицировать и предсказывать конкретные события». В решении используются как методы контролируемого обучения, такие как классификация подозрительных транзакций, так и неконтролируемое обучение, например обнаружение аномалий.[179]

Военные [ править ]

Министерство обороны США применило глубокое обучение для обучения роботов новым задачам посредством наблюдения. [180]

Отношение к когнитивным функциям и развитию мозга человека [ править ]

Глубокое обучение тесно связано с классом теорий развития мозга (в частности, развития неокортекса), предложенных когнитивными нейробиологами в начале 1990-х годов. [181] [182] [183] [184] Эти теории развития были воплощены в вычислительных моделях, что сделало их предшественниками систем глубокого обучения. Эти модели развития обладают тем свойством, что различные предлагаемые динамики обучения в мозге (например, волна фактора роста нервов ) поддерживают самоорганизацию, в некоторой степени аналогичную нейронным сетям, используемым в моделях глубокого обучения. Как неокортекснейронные сети используют иерархию многоуровневых фильтров, в которой каждый уровень рассматривает информацию с предыдущего уровня (или операционной среды), а затем передает свой вывод (и, возможно, исходный ввод) на другие уровни. В результате получается самоорганизующийся стек преобразователей , хорошо настроенных для их рабочей среды. В описании 1995 года говорилось: «... мозг младенца, кажется, организуется под воздействием волн так называемых трофических факторов ... различные области мозга соединяются последовательно, при этом один слой ткани созревает раньше другого, и поэтому до тех пор, пока весь мозг не станет зрелым ". [185]

Для исследования правдоподобия моделей глубокого обучения с нейробиологической точки зрения использовались различные подходы. С одной стороны, было предложено несколько вариантов алгоритма обратного распространения ошибки , чтобы повысить реалистичность его обработки. [186] [187] Другие исследователи утверждали, что неконтролируемые формы глубокого обучения, например, основанные на иерархических генеративных моделях и сетях глубоких убеждений , могут быть ближе к биологической реальности. [188] [189] В этом отношении модели генеративных нейронных сетей были связаны с нейробиологическими доказательствами обработки данных в коре головного мозга на основе выборки. [190]

Хотя систематическое сравнение между организацией человеческого мозга и кодированием нейронов в глубоких сетях еще не проводилось, было сообщено о нескольких аналогиях. Например, вычисления, выполняемые модулями глубокого обучения, могут быть аналогичны вычислениям реальных нейронов [191] [192] и нейронных популяций. [193] Точно так же репрезентации, разработанные моделями глубокого обучения, аналогичны тем, которые измеряются в зрительной системе приматов [194] как на единичном [195], так и на популяционном [196] уровне.

Коммерческая деятельность [ править ]

Лаборатория искусственного интеллекта Facebook выполняет такие задачи, как автоматическая пометка загруженных изображений именами людей на них. [197]

Компания Google DeepMind Technologies разработала систему, способную научиться играть в видеоигры Atari, используя только пиксели в качестве входных данных. В 2015 году они продемонстрировали свою систему AlphaGo , которая научилась игре в го достаточно хорошо, чтобы победить профессионального игрока в го. [198] [199] [200] Google Translate использует нейронную сеть для перевода между более чем 100 языками.

В 2015 году Blippar продемонстрировал мобильное приложение дополненной реальности, которое использует глубокое обучение для распознавания объектов в реальном времени. [201]

В 2017 году был запущен Covariant.ai, который фокусируется на интеграции глубокого обучения на фабриках. [202]

По состоянию на 2008 год [203] исследователи из Техасского университета в Остине (Юта) разработали структуру машинного обучения под названием «Обучение агента вручную с помощью оценочного подкрепления», или TAMER, которая предложила новые методы для роботов или компьютерных программ, чтобы научиться выполнять задачи. взаимодействуя с инструктором-человеком. [180] Впервые разработанный как TAMER, новый алгоритм под названием Deep TAMER был позже представлен в 2018 году в ходе сотрудничества между исследовательской лабораторией армии США (ARL) и исследователями UT. Deep TAMER использовал глубокое обучение, чтобы дать роботу возможность изучать новые задачи посредством наблюдения. [180]Используя Deep TAMER, робот изучал задачу с человеком-тренером, просматривая видеопотоки или наблюдая, как человек выполняет задачу лично. Позже робот практиковал задачу с помощью инструктора, который давал такие отзывы, как «хорошая работа» и «плохая работа». [204]

Критика и комментарии [ править ]

Глубокое обучение привлекает как критику, так и комментарии, в некоторых случаях за пределами области компьютерных наук.

Теория [ править ]

См. Также: Объяснимый ИИ.

Основная критика касается отсутствия теории вокруг некоторых методов. [205] Обучение в наиболее распространенных глубинных архитектурах реализовано с использованием хорошо понятного градиентного спуска. Однако теория, связанная с другими алгоритмами, такими как контрастное расхождение, менее ясна. [ необходима цитата ] (например, сходится ли оно? Если да, то как быстро? Что это приблизительно?) Методы глубокого обучения часто рассматриваются как черный ящик , причем большинство подтверждений делается эмпирически, а не теоретически. [206]

Другие отмечают, что глубокое обучение следует рассматривать как шаг к реализации сильного ИИ, а не как всеобъемлющее решение. Несмотря на мощь методов глубокого обучения, им по-прежнему не хватает многих функций, необходимых для полной реализации этой цели. Психолог-исследователь Гэри Маркус отметил:

«На самом деле глубокое обучение является лишь частью более серьезной проблемы создания интеллектуальных машин. В таких методах отсутствуют способы представления причинно-следственных связей (...) нет очевидных способов выполнения логических выводов , и они также все еще далеки от интеграции абстрактных знания, такие как информация о том, что такое объекты, для чего они предназначены и как они обычно используются. Самые мощные системы искусственного интеллекта, такие как Watson (...), используют такие методы, как глубокое обучение, как лишь один элемент в очень сложном ансамбле методы, начиная от статистической техники байесовского вывода до дедуктивного мышления ". [207]

В качестве дополнительной ссылки на идею о том, что художественная чувствительность может быть присуща относительно низким уровням когнитивной иерархии, опубликованная серия графических представлений внутренних состояний глубоких (20-30 слоев) нейронных сетей, пытающихся различить в по существу случайных данных изображения на которые они прошли обучение [208] демонстрируют визуальную привлекательность: оригинальное исследование извещение получил также более 1000 комментариев, и был предметом того , что было в то время , наиболее часто используемые статьи на The Guardian «s [209] сайт.

Ошибки [ править ]

Некоторые архитектуры глубокого обучения демонстрируют проблемное поведение [210], такое как уверенная классификация неузнаваемых изображений как принадлежащих к знакомой категории обычных изображений [211] и неправильная классификация крохотных возмущений правильно классифицированных изображений. [212] Герцель предположил, что такое поведение связано с ограничениями в их внутренних представлениях и что эти ограничения будут препятствовать интеграции в гетерогенные многокомпонентные архитектуры общего искусственного интеллекта (AGI). [210] Эти проблемы могут быть решены с помощью архитектур глубокого обучения, которые внутренне формируют состояния, гомологичные грамматике изображений [213]разложение наблюдаемых сущностей и событий. [210] Изучение грамматики (визуальной или лингвистической) на основе обучающих данных было бы эквивалентно ограничению системы рассуждением здравого смысла, которое оперирует понятиями в терминах грамматических правил производства и является основной целью как овладения человеческим языком [214], так и искусственного интеллекта. (AI). [215]

Киберугроза [ править ]

По мере того как глубокое обучение распространяется из лаборатории в мир, исследования и опыт показывают, что искусственные нейронные сети уязвимы для взломов и обмана. [216] Выявляя шаблоны, которые используются этими системами для функционирования, злоумышленники могут изменять входные данные для ИНС таким образом, чтобы ИНС находила совпадение, которое не распознаются наблюдателями-людьми. Например, злоумышленник может внести незначительные изменения в изображение, так что ИНС найдет совпадение, даже если изображение не выглядит для человека совсем как цель поиска. Такая манипуляция называется «состязательной атакой». [217]

В 2016 году исследователи использовали одну ИНС для проверки изображений методом проб и ошибок, выявления точек соприкосновения с другими и, таким образом, создания изображений, которые вводили их в заблуждение. Измененные изображения не отличались от человеческого глаза. Другая группа показала, что распечатки подделанных изображений, которые затем были сфотографированы, успешно обманули систему классификации изображений. [218] Одним из способов защиты является обратный поиск изображений, при котором возможное поддельное изображение отправляется на такой сайт, как TinEye, который затем может найти другие его экземпляры. Уточнение состоит в том, чтобы искать только части изображения, чтобы идентифицировать изображения, из которых эта часть могла быть взята . [219]

Другая группа показала, что определенные психоделические очки могут обмануть систему распознавания лиц и заставить их думать, что обычные люди - знаменитости, что потенциально позволяет одному человеку выдавать себя за другого. В 2017 году исследователи добавили наклейки к знакам остановки и заставили ИНС неправильно их классифицировать. [218]

Тем не менее, ИНС можно дополнительно обучить обнаруживать попытки обмана, которые потенциально могут привести злоумышленников и защитников к гонке вооружений, аналогичной той, которая уже характерна для индустрии защиты от вредоносных программ . ИНС были обучены побеждать антивирусное программное обеспечение на основе ИНС путем неоднократных атак на защиту с помощью вредоносного ПО, которое постоянно изменялось генетическим алгоритмом, пока оно не обмануло антивирусное ПО, сохранив при этом свою способность наносить ущерб цели. [218]

Другая группа продемонстрировала, что определенные звуки могут заставить систему голосовых команд Google Now открывать определенный веб-адрес, который будет загружать вредоносное ПО. [218]

При «отравлении данных» ложные данные постоянно проникают в обучающий набор системы машинного обучения, чтобы помешать ей достичь мастерства. [218]

Опора на человеческий микропроцессор [ править ]

Большинство систем глубокого обучения полагаются на данные обучения и проверки, которые генерируются и / или аннотируются людьми. Философия СМИ утверждала, что для этой цели регулярно используется не только низкооплачиваемая работа с кликами (например, на Amazon Mechanical Turk ), но и неявные формы человеческой микропрограммы , которые часто не признаются как таковые. [220] Философ Райнер Мюльхофф выделяет пять типов «машинного захвата» микропрограммы человека для генерации обучающих данных: (1) геймификация (встраивание аннотаций или вычислительных задач в ход игры), (2) «захват и отслеживание» "(например, CAPTCHA для распознавания изображений или отслеживания кликов в Googleстраницы результатов поиска ), (3) использование социальных мотивов (например, добавление тегов к лицам в Facebook для получения помеченных изображений лиц), (4) интеллектуальный анализ информации (например, с помощью устройств с количественной самооценкой, таких как трекеры активности ) и (5) работа с кликами . [220]

Мюльхофф утверждает, что в большинстве коммерческих приложений для конечных пользователей глубокого обучения, таких как система распознавания лиц Facebook , потребность в обучающих данных не прекращается после обучения ИНС. Скорее, существует постоянная потребность в проверочных данных, генерируемых человеком, для постоянной калибровки и обновления ИНС. Для этой цели Facebook ввел функцию, которая, как только пользователь автоматически распознается на изображении, он получает уведомление. Они могут выбрать, хотят ли они, чтобы на изображении были публичные ярлыки, или сказать Facebook, что на картинке нет их. [221] Этот пользовательский интерфейс представляет собой механизм для создания «постоянного потока данных проверки» [220]для дальнейшего обучения сети в режиме реального времени. Как утверждает Мюльхофф, участие пользователей-людей для генерации данных обучения и проверки настолько типично для большинства коммерческих приложений глубокого обучения для конечных пользователей, что такие системы можно назвать «искусственным интеллектом, управляемым человеком». [220]

См. Также [ править ]

  • Приложения искусственного интеллекта
  • Сравнение программного обеспечения для глубокого обучения
  • Сжатое зондирование
  • Дифференцируемое программирование
  • Сеть состояния эха
  • Список проектов искусственного интеллекта
  • Жидкостная машина состояний
  • Список наборов данных для исследования машинного обучения
  • Пластовые вычисления
  • Разреженное кодирование

Ссылки [ править ]

  1. ^ a b c d e f Bengio, Y .; Courville, A .; Винсент, П. (2013). «Репрезентативное обучение: обзор и новые перспективы». IEEE Transactions по анализу шаблонов и машинному анализу . 35 (8): 1798–1828. arXiv : 1206,5538 . DOI : 10.1109 / tpami.2013.50 . PMID  23787338 . S2CID  393948 .
  2. ^ Б с д е е г ч Шмидхубер, J. (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети . 61 : 85–117. arXiv : 1404,7828 . DOI : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 . S2CID 11715509 .  
  3. ^ Бенжио, Йошуа; ЛеКун, Янн; Хинтон, Джеффри (2015). «Глубокое обучение». Природа . 521 (7553): 436–444. Bibcode : 2015Natur.521..436L . DOI : 10,1038 / природа14539 . PMID 26017442 . S2CID 3074096 .  
  4. ^ Ху, J .; Niu, H .; Карраско, Дж .; Lennox, B .; Арвин, Ф. (2020). «Автономное исследование с использованием нескольких роботов на базе Вороного в неизвестных средах с помощью глубокого обучения с подкреплением» . IEEE Transactions по автомобильной технологии . 69 (12): 14413–14423.
  5. ^ a b Ciresan, D .; Meier, U .; Шмидхубер, Дж. (2012). «Многоколоночные глубокие нейронные сети для классификации изображений». Конференция IEEE 2012 года по компьютерному зрению и распознаванию образов . С. 3642–3649. arXiv : 1202.2745 . DOI : 10.1109 / cvpr.2012.6248110 . ISBN 978-1-4673-1228-8. S2CID  2161592 .
  6. ^ а б Крижевский Алексей; Суцкевер, Илья; Хинтон, Джеффри (2012). «Классификация ImageNet с глубокими сверточными нейронными сетями» (PDF) . NIPS 2012: Системы обработки нейронной информации, Озеро Тахо, Невада .
  7. ^ «AlphaGo AI от Google выигрывает серию из трех матчей против лучшего в мире игрока в го» . TechCrunch . 25 мая 2017.
  8. ^ Мраморный камень, Адам Х .; Уэйн, Грег; Кординг, Конрад П. (2016). «К интеграции глубокого обучения и нейробиологии» . Границы вычислительной неврологии . 10 : 94. arXiv : 1606.03813 . Bibcode : 2016arXiv160603813M . DOI : 10.3389 / fncom.2016.00094 . PMC 5021692 . PMID 27683554 . S2CID 1994856 .   
  9. ^ Olshausen, BA (1996). «Появление свойств рецептивного поля простых клеток путем изучения разреженного кода для естественных изображений». Природа . 381 (6583): 607–609. Bibcode : 1996Natur.381..607O . DOI : 10.1038 / 381607a0 . PMID 8637596 . S2CID 4358477 .  
  10. ^ Бенжио, Йошуа; Ли, Дон Хён; Bornschein, Jorg; Меснард, Томас; Линь, Чжухань (13 февраля 2015 г.). «К биологически правдоподобному глубокому обучению». arXiv : 1502.04156 [ cs.LG ].
  11. ^ Шульц, Ханнес; Бенке, Свен (1 ноября 2012 г.). «Глубокое обучение» . KI - Künstliche Intelligenz . 26 (4): 357–363. DOI : 10.1007 / s13218-012-0198-Z . ISSN 1610-1987 . S2CID 220523562 .  
  12. ^ a b c d e f Deng, L .; Ю. Д. (2014). «Глубокое обучение: методы и приложения» (PDF) . Основы и тенденции в обработке сигналов . 7 (3–4): 1–199. DOI : 10.1561 / 2000000039 .
  13. ^ а б в г д Бенжио, Йошуа (2009). «Изучение глубинных архитектур для искусственного интеллекта» (PDF) . Основы и тенденции в машинном обучении . 2 (1): 1–127. CiteSeerX 10.1.1.701.9550 . DOI : 10.1561 / 2200000006 . Архивировано из оригинального (PDF) 4 марта 2016 года . Проверено 3 сентября 2015 года .  
  14. ^ ЛеКун, Янн; Бенхио, Йошуа; Хинтон, Джеффри (28 мая 2015 г.). «Глубокое обучение». Природа . 521 (7553): 436–444. Bibcode : 2015Natur.521..436L . DOI : 10,1038 / природа14539 . PMID 26017442 . S2CID 3074096 .  
  15. ^ Шигеки, Сугияма (12 апреля 2019). Поведение человека и другой вид сознания: новые исследования и возможности: новые исследования и возможности . IGI Global. ISBN 978-1-5225-8218-2.
  16. ^ Бенжио, Йошуа; Ламблин, Паскаль; Поповичи, Дан; Ларошель, Хьюго (2007). Жадное послойное обучение глубоких сетей (PDF) . Достижения в области нейронных систем обработки информации. С. 153–160.
  17. ^ a b Шмидхубер, Юрген (2015). «Глубокое обучение» . Scholarpedia . 10 (11): 32832. Bibcode : 2015SchpJ..1032832S . DOI : 10,4249 / scholarpedia.32832 .
  18. ^ a b c Хинтон, GE (2009). «Сети глубоких убеждений» . Scholarpedia . 4 (5): 5947. Bibcode : 2009SchpJ ... 4.5947H . DOI : 10,4249 / scholarpedia.5947 .
  19. ^ a b c Цибенко (1989). «Приближения суперпозициями сигмоидальных функций» (PDF) . Математика управления, сигналов и систем . 2 (4): 303–314. DOI : 10.1007 / bf02551274 . S2CID 3958369 . Архивировано из оригинального (PDF) 10 октября 2015 года.  
  20. ^ a b c Хорник, Курт (1991). «Возможности аппроксимации многослойных сетей прямого распространения». Нейронные сети . 4 (2): 251–257. DOI : 10.1016 / 0893-6080 (91) 90009-т .
  21. ^ a b Хайкин, Саймон С. (1999). Нейронные сети: всеобъемлющий фундамент . Прентис Холл. ISBN 978-0-13-273350-2.
  22. ^ а б Хассун, Мохамад Х. (1995). Основы искусственных нейронных сетей . MIT Press. п. 48. ISBN 978-0-262-08239-6.
  23. ^ а б Лу, З., Пу, Х., Ван, Ф., Ху, З., и Ван, Л. (2017). Выразительная сила нейронных сетей: взгляд со стороны . Системы обработки нейронной информации, 6231-6239.
  24. ^ a b c d Мерфи, Кевин П. (24 августа 2012 г.). Машинное обучение: вероятностная перспектива . MIT Press. ISBN 978-0-262-01802-9.
  25. ^ Сонода, Шо; Мурата, Нобору (2017). «Нейронная сеть с неограниченными функциями активации - универсальный аппроксиматор». Прикладной и вычислительный гармонический анализ . 43 (2): 233–268. arXiv : 1505.03654 . DOI : 10.1016 / j.acha.2015.12.005 . S2CID 12149203 . 
  26. ^ Хинтон, GE; Srivastava, N .; Крижевский, А .; Суцкевер, И .; Салахутдинов, Р.Р. (2012). «Улучшение нейронных сетей путем предотвращения совместной адаптации детекторов функций». arXiv : 1207.0580 [ math.LG ].
  27. ↑ Епископ, Кристофер М. (2006). Распознавание образов и машинное обучение (PDF) . Springer. ISBN  978-0-387-31073-2.
  28. ^ Ивахненко, АГ; Лапа, В.Г. (1967). Кибернетика и методы прогнозирования . ISBN компании American Elsevier Publishing Co. 978-0-444-00020-0.
  29. ^ a b Ивахненко, Алексей (1971). «Полиномиальная теория сложных систем» (PDF) . IEEE Transactions по системам, человеку и кибернетике . СМЦ-1 (4): 364–378. DOI : 10.1109 / TSMC.1971.4308320 .
  30. Перейти ↑ Fukushima, K. (1980). «Неокогнитрон: модель самоорганизующейся нейронной сети для механизма распознавания образов, не подверженного изменению положения». Биол. Киберн . 36 (4): 193–202. DOI : 10.1007 / bf00344251 . PMID 7370364 . S2CID 206775608 .  
  31. ^ Рина Дечтер (1986). Обучение в поисках проблем удовлетворения ограничений. Калифорнийский университет, факультет компьютерных наук, лаборатория когнитивных систем. В сети
  32. ^ Игорь Айзенберг, Наум Н. Айзенберг, Джоос П.Л. Вандевалле (2000). Многозначные и универсальные бинарные нейроны: теория, обучение и приложения. Springer Science & Business Media.
  33. ^ Совместно развивающиеся рекуррентные нейроны изучают POMDP глубокой памяти. Proc. GECCO, Вашингтон, округ Колумбия, стр. 1795-1802, ACM Press, Нью-Йорк, Нью-Йорк, США, 2005.
  34. ^ Сеппо Linnainmaa (1970). Представление совокупной ошибки округления алгоритма в виде разложения Тейлора локальных ошибок округления. Магистерская работа (на финском языке), Univ. Хельсинки, 6-7.
  35. ^ Griewank, Andreas (2012). «Кто изобрел обратный способ дифференциации?» (PDF) . Documenta Mathematica (дополнительный том ISMP): 389–400. Архивировано из оригинального (PDF) 21 июля 2017 года . Проверено 11 июня +2017 .
  36. ^ Werbos, P. (1974). «За пределами регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках» . Гарвардский университет . Проверено 12 июня +2017 .
  37. ^ Werbos, Paul (1982). «Применение достижений в нелинейном анализе чувствительности» (PDF) . Системное моделирование и оптимизация . Springer. С. 762–770.
  38. ^ a b LeCun et al. , «Обратное распространение, применяемое для распознавания рукописного почтового индекса», Нейронные вычисления , 1, стр. 541–551, 1989.
  39. ^ J. Вэн, Н. Ахадж и Т. С. Хуанг, « Cresceptron: самоорганизующаяся нейронная сеть , которая растет адаптивно ,» Proc. Международная объединенная конференция по нейронным сетям , Балтимор, Мэриленд, том I, стр. 576-581, июнь 1992 г.
  40. ↑ J. Weng, N. Ahuja и TS Huang, " Обучение распознаванию и сегментации трехмерных объектов из двумерных изображений ", Proc. 4-я Международная конф. Компьютерное зрение , Берлин, Германия, стр. 121-128, май 1993 г.
  41. ^ Дж. Венг, Н. Ахуджа и Т.С. Хуанг, « Распознавание обучения и сегментация с использованием Cresceptron », Международный журнал компьютерного зрения , вып. 25, нет. 2, стр. 105-139, ноябрь 1997 г.
  42. ^ де Карвалью, Андре CLF; Fairhurst, Mike C .; Биссет, Дэвид (8 августа 1994). «Интегрированная логическая нейронная сеть для классификации образов». Письма о распознавании образов . 15 (8): 807–813. DOI : 10.1016 / 0167-8655 (94) 90009-4 .
  43. ^ Хинтон, Джеффри Э .; Даян, Питер; Фрей, Брендан Дж .; Нил, Рэдфорд (26 мая 1995 г.). «Алгоритм пробуждения-сна для неконтролируемых нейронных сетей». Наука . 268 (5214): 1158–1161. Bibcode : 1995Sci ... 268.1158H . DOI : 10.1126 / science.7761831 . PMID 7761831 . 
  44. ^ a b S. Hochreiter., " Untersuchungen zu Dynamischen Neuronalen Netzen ", дипломная работа. Institut f. Informatik, Technische Univ. Мюнхен. Советник: Я. Шмидхубер , 1991.
  45. ^ Hochreiter, S .; и другие. (15 января 2001 г.). «Градиентный поток в повторяющихся сетях: трудность изучения долгосрочных зависимостей» . В Колене, Джон Ф .; Кремер, Стефан С. (ред.). Полевое руководство по динамическим рекуррентным сетям . Джон Вили и сыновья. ISBN 978-0-7803-5369-5.
  46. ^ Behnke, Sven (2003). «Иерархические нейронные сети для интерпретации изображений» . Конспект лекций по информатике . 2766 . DOI : 10.1007 / b11963 . ISBN 978-3-540-40722-5. ISSN  0302-9743 . S2CID  1304548 .
  47. ^ Морган, Нельсон; Бурлар, Эрве; Renals, Стив; Коэн, Майкл; Франко, Орасио (1 августа 1993 г.). «Гибридные нейронные сети / системы скрытых марковских моделей для распознавания слитной речи». Международный журнал распознавания образов и искусственного интеллекта . 07 (4): 899–916. DOI : 10.1142 / s0218001493000455 . ISSN 0218-0014 . 
  48. Перейти ↑ Robinson, T. (1992). «Система распознавания слов сети распространения повторяющихся ошибок в реальном времени» . ICASSP . Icassp'92: 617–620. ISBN 9780780305328.
  49. ^ Waibel, A .; Hanazawa, T .; Hinton, G .; Shikano, K .; Ланг, KJ (март 1989 г.). «Распознавание фонем с помощью нейронных сетей с запаздыванием» (PDF) . Транзакции IEEE по акустике, речи и обработке сигналов . 37 (3): 328–339. DOI : 10.1109 / 29.21701 . hdl : 10338.dmlcz / 135496 . ISSN 0096-3518 .  
  50. ^ Бейкер, J .; Дэн Ли; Гласс, Джим; Худанпур, С .; Lee, C.-H .; Morgan, N .; О'Шонесси, Д. (2009). «Исследования и направления в распознавании и понимании речи, часть 1». Журнал обработки сигналов IEEE . 26 (3): 75–80. Bibcode : 2009ISPM ... 26 ... 75В . DOI : 10.1109 / msp.2009.932166 . S2CID 357467 . 
  51. ^ Bengio, Y. (1991). «Искусственные нейронные сети и их применение для распознавания речи / последовательности» . Доктор философии Университета Макгилла. Тезис.
  52. ^ Дэн, L .; Hassanein, K .; Элмасри, М. (1994). «Анализ корреляционной структуры для нейронной прогнозирующей модели с приложениями к распознаванию речи». Нейронные сети . 7 (2): 331–339. DOI : 10.1016 / 0893-6080 (94) 90027-2 .
  53. ^ Доддингтон, G .; Przybocki, M .; Martin, A .; Рейнольдс, Д. (2000). «Оценка признания докладчиков NIST ± Обзор, методология, системы, результаты, перспективы». Речевое общение . 31 (2): 225–254. DOI : 10.1016 / S0167-6393 (99) 00080-1 .
  54. ^ a b Heck, L .; Konig, Y .; Sonmez, M .; Вайнтрауб М. (2000). «Устойчивость к искажению телефонных трубок в распознавании говорящих за счет дискриминационного дизайна». Речевое общение . 31 (2): 181–192. DOI : 10.1016 / s0167-6393 (99) 00077-1 .
  55. ^ «Акустическое моделирование с глубокими нейронными сетями с использованием необработанного сигнала времени для LVCSR (доступна загрузка PDF-файла)» . ResearchGate . Проверено 14 июня 2017 года .
  56. ^ a b c Хохрайтер, Зепп; Шмидхубер, Юрген (1 ноября 1997 г.). «Кратковременная долговременная память». Нейронные вычисления . 9 (8): 1735–1780. DOI : 10.1162 / neco.1997.9.8.1735 . ISSN 0899-7667 . PMID 9377276 . S2CID 1915014 .   
  57. ^ a b Грейвс, Алекс; Эк, Дуглас; Берингер, Николь; Шмидхубер, Юрген (2003). «Биологически правдоподобное распознавание речи с помощью нейронных сетей LSTM» (PDF) . 1st Intl. Семинар по биологически обоснованным подходам к передовым информационным технологиям, Bio-ADIT 2004, Лозанна, Швейцария . С. 175–184.
  58. ^ a b Грейвс, Алекс; Фернандес, Сантьяго; Гомес, Фаустино (2006). «Коннекционистская временная классификация: маркировка несегментированных данных последовательности с помощью рекуррентных нейронных сетей». Труды Международной конференции по машинному обучению, ICML 2006 : 369–376. CiteSeerX 10.1.1.75.6306 . 
  59. ^ Сантьяго Фернандес, Алекс Грейвс и Юрген Шмидхубер (2007). Применение рекуррентных нейронных сетей для распознавания ключевых слов . Протоколы ICANN (2), стр. 220–229.
  60. ^ а б Сак, Хашим; Старший, Андрей; Рао, Канишка; Бофейс, Франсуаза; Шалквик, Йохан (сентябрь 2015 г.). «Голосовой поиск Google: быстрее и точнее» .
  61. ^ Хинтон, Джеффри Э. (1 октября 2007 г.). «Изучение нескольких уровней представления» . Тенденции в когнитивных науках . 11 (10): 428–434. DOI : 10.1016 / j.tics.2007.09.004 . ISSN 1364-6613 . PMID 17921042 . S2CID 15066318 .   
  62. ^ Хинтон, GE ; Осиндеро, С .; Тех, Ю.В. (2006). «Алгоритм быстрого обучения для сетей с глубоким убеждением» (PDF) . Нейронные вычисления . 18 (7): 1527–1554. DOI : 10.1162 / neco.2006.18.7.1527 . PMID 16764513 . S2CID 2309950 .   
  63. ^ Bengio, Yoshua (2012). «Практические рекомендации по градиентному обучению глубоких архитектур». arXiv : 1206.5533 [ cs.LG ].
  64. ^ GE Hinton., « Изучение нескольких уровней репрезентации », Trends in Cognitive Sciences , 11, стр. 428–434, 2007.
  65. ^ a b c Hinton, G .; Deng, L .; Ю, Д .; Dahl, G .; Mohamed, A .; Jaitly, N .; Старший, А .; Vanhoucke, V .; Nguyen, P .; Sainath, T .; Кингсбери, Б. (2012). «Глубокие нейронные сети для акустического моделирования в распознавании речи: общие взгляды четырех исследовательских групп». Журнал обработки сигналов IEEE . 29 (6): 82–97. Bibcode : 2012ISPM ... 29 ... 82H . DOI : 10.1109 / msp.2012.2205597 . S2CID 206485943 . 
  66. ^ Дэн, Ли; Хинтон, Джеффри; Кингсбери, Брайан (1 мая 2013 г.). «Новые типы глубокого обучения нейронной сети для распознавания речи и связанных приложений: обзор» . Microsoft Research . CiteSeerX 10.1.1.368.1123 - через research.microsoft.com. 
  67. ^ Дэн, Ли; Ли, Цзиньюй; Хуанг, Цзюй-Тин; Яо, Кайшэн; Ю, Донг; Сейде, Фрэнк; Зельцер, Майкл; Цвейг, Джефф; Он, Сяодун; Уильямс, Джейсон; Гун, Ифань; Асеро, Алекс (2013). «Последние достижения в области глубокого обучения для исследования речи в Microsoft». 2013 IEEE Международная конференция по акустике, речи и обработки сигналов . С. 8604–8608. DOI : 10.1109 / icassp.2013.6639345 . ISBN 978-1-4799-0356-6. S2CID  13412186 .
  68. ^ Сак, Хасим; Старший, Андрей; Бофэ, Франсуаза (2014). «Рекуррентные архитектуры нейронных сетей с кратковременной памятью для крупномасштабного акустического моделирования» (PDF) . Архивировано из оригинального (PDF) 24 апреля 2018 года.
  69. ^ Ли, Сянган; У, Xihong (2014). «Построение глубоких рекуррентных нейронных сетей на основе кратковременной памяти для распознавания речи с большим словарным запасом». arXiv : 1410.4281 [ cs.CL ].
  70. ^ Дзен, Хейга; Сак, Хасим (2015). «Однонаправленная рекуррентная нейронная сеть с кратковременной памятью и рекуррентным выходным уровнем для синтеза речи с малой задержкой» (PDF) . Google.com . ICASSP. С. 4470–4474.
  71. ^ Дэн, L .; Abdel-Hamid, O .; Ю. Д. (2013). «Глубокая сверточная нейронная сеть, использующая гетерогенное объединение для обмена акустической инвариантностью с фонетической путаницей» (PDF) . Google.com . ICASSP.
  72. ^ a b Sainath, Tara N .; Мохамед, Абдель-Рахман; Кингсбери, Брайан; Рамабхадран, Бхувана (2013). «Глубокие сверточные нейронные сети для LVCSR». 2013 IEEE Международная конференция по акустике, речи и обработки сигналов . С. 8614–8618. DOI : 10.1109 / icassp.2013.6639347 . ISBN 978-1-4799-0356-6. S2CID  13816461 .
  73. ^ Лекун (2016). Слайды по глубокому обучению в Интернете
  74. ^ a b c Практикум NIPS: Глубокое обучение для распознавания речи и связанных приложений, Уистлер, Британская Колумбия, Канада, декабрь 2009 г. (Организаторы: Ли Дэн, Джефф Хинтон, Д. Ю).
  75. ^ a b Основной доклад: Последние разработки в глубоких нейронных сетях. ICASSP, 2013 (Джефф Хинтон).
  76. Перейти ↑ D. Yu, L. Deng, G. Li, and F. Seide (2011). «Дискриминационное предварительное обучение глубоких нейронных сетей», патентная заявка США.
  77. ^ a b c Deng, L .; Hinton, G .; Кингсбери, Б. (2013). «Новые типы глубокого обучения нейронной сети для распознавания речи и связанных приложений: обзор (ICASSP)» (PDF) . Цитировать журнал требует |journal=( помощь )
  78. ^ a b c Yu, D .; Дэн, Л. (2014). Автоматическое распознавание речи: подход глубокого обучения (Издатель: Springer) . ISBN 978-1-4471-5779-3.
  79. ^ «Дэн получает престижную премию IEEE за технические достижения - Microsoft Research» . Microsoft Research . 3 декабря 2015.
  80. ^ a b Ли, Дэн (сентябрь 2014 г.). «Основной доклад:« Достижения и проблемы глубокого обучения - от анализа и распознавания речи до языка и мультимодальной обработки » » . Межречье .
  81. ^ Yu, D .; Дэн, Л. (2010). «Роли предварительного обучения и тонкой настройки в контекстно-зависимых DBN-HMM для распознавания речи в реальном мире» . Семинар NIPS по глубокому обучению и неконтролируемому обучению функций .
  82. ^ Seide, F .; Li, G .; Ю. Д. (2011). «Транскрипция разговорной речи с использованием контекстно-зависимых глубоких нейронных сетей» . Межречье .
  83. ^ Дэн, Ли; Ли, Цзиньюй; Хуанг, Цзюй-Тин; Яо, Кайшэн; Ю, Донг; Сейде, Фрэнк; Зельцер, Майк; Цвейг, Джефф; Хэ, Сяодун (1 мая 2013 г.). «Последние достижения в области глубокого обучения для исследования речи в Microsoft» . Microsoft Research .
  84. ^ «Генеральный директор Nvidia делает большую ставку на глубокое обучение и виртуальную реальность» . Венчурный бит . 5 апреля 2016.
  85. ^ «От неработающего к нейронным сетям» . Экономист .
  86. ^ a b Ой, К.-С .; Юнг, К. (2004). «Реализация нейронных сетей на GPU». Распознавание образов . 37 (6): 1311–1314. DOI : 10.1016 / j.patcog.2004.01.013 .
  87. ^ « Обзор методов оптимизации глубокого обучения на графических процессорах », С. Миттал и С. Вайшай, Журнал системной архитектуры, 2019 г.
  88. ^ a b Челлапилла, Кумар; Пури, Сидд; Симард, Патрис (2006), Высокопроизводительные сверточные нейронные сети для обработки документов
  89. ^ Cireşan, Дэн Клаудиу; Мейер, Ули; Гамбарделла, Лука Мария; Шмидхубер, Юрген (21 сентября 2010 г.). «Глубокие, большие, простые нейронные сети для распознавания рукописных цифр». Нейронные вычисления . 22 (12): 3207–3220. arXiv : 1003.0358 . DOI : 10.1162 / neco_a_00052 . ISSN 0899-7667 . PMID 20858131 . S2CID 1918673 .   
  90. ^ Райна, Раджат; Мадхаван, Ананд; Нг, Эндрю Ю. (2009). «Крупномасштабное глубокое обучение без учителя с использованием графических процессоров». Материалы 26-й ежегодной международной конференции по машинному обучению . ICML '09. Нью-Йорк, Нью-Йорк, США: ACM: 873–880. CiteSeerX 10.1.1.154.372 . DOI : 10.1145 / 1553374.1553486 . ISBN  9781605585161. S2CID  392458 .
  91. ^ Sze, Вивьен; Чен Ю-Синь; Ян, Тянь-Цзюй; Эмер, Джоэл (2017). «Эффективная обработка глубоких нейронных сетей: учебное пособие и обзор». arXiv : 1703.09039 [ cs.CV ].
  92. ^ a b «Проблема молекулярной активности Merck» . kaggle.com .
  93. ^ a b «Многозадачные нейронные сети для прогнозов QSAR | Data Science Association» . www.datascienceassn.org . Проверено 14 июня 2017 года .
  94. ^ a b «Токсикология в вызове данных 21-го века»
  95. ^ a b «NCATS объявляет победителей конкурса данных Tox21» .
  96. ^ a b «Архивная копия» . Архивировано из оригинального 28 февраля 2015 года . Проверено 5 марта 2015 года .CS1 maint: заархивированная копия как заголовок ( ссылка )
  97. ^ Чиресан, округ Колумбия; Meier, U .; Masci, J .; Gambardella, LM; Шмидхубер, Дж. (2011). «Гибкие, высокопроизводительные сверточные нейронные сети для классификации изображений» (PDF) . Международная совместная конференция по искусственному интеллекту . DOI : 10.5591 / 978-1-57735-516-8 / ijcai11-210 .
  98. ^ Чиресан, Дан; Джусти, Алессандро; Gambardella, Luca M .; Шмидхубер, Юрген (2012). Pereira, F .; Берджес, CJC; Bottou, L .; Weinberger, KQ (ред.). Достижения в системах обработки нейронной информации 25 (PDF) . Curran Associates, Inc., стр. 2843–2851.
  99. ^ Ciresan, D .; Giusti, A .; Gambardella, LM; Шмидхубер, Дж. (2013). «Обнаружение митоза в изображениях гистологии рака молочной железы с использованием глубоких нейронных сетей». Труды MICCAI . Конспект лекций по информатике. 7908 (Pt 2): 411–418. DOI : 10.1007 / 978-3-642-40763-5_51 . ISBN 978-3-642-38708-1. PMID  24579167 .
  100. ^ "Проект идентификации изображений языка Wolfram Language" . www.imageidentify.com . Проверено 22 марта 2017 года .
  101. ^ Виньялс, Ориоль; Тошев Александр; Бенжио, Сами; Эрхан, Думитру (2014). «Покажи и расскажи: генератор титров нейронных изображений». arXiv : 1411.4555 [ cs.CV ]..
  102. ^ Фанг, Хао; Гупта, Саураб; Иандола, Форрест; Шривастава, Рупеш; Дэн Ли; Dollár, Петр; Гао, Цзяньфэн; Он, Сяодун; Митчелл, Маргарет; Платт, Джон С; Лоуренс Зитник, C; Цвейг, Джеффри (2014). «От подписей к наглядным представлениям и обратно». arXiv : 1411.4952 [ cs.CV ]..
  103. ^ Кирос, Райан; Салахутдинов Руслан; Земель, Ричард S (2014). «Объединение визуально-семантических вложений с многомодальными моделями нейронного языка». arXiv : 1411.2539 [ cs.LG ]..
  104. ^ Чжун, Шэн-хуа; Лю, Ян; Лю, Ян (2011). «Билинейное глубокое обучение для классификации изображений». Материалы 19-й Международной конференции ACM по мультимедиа . ММ '11. Нью-Йорк, Нью-Йорк, США: ACM: 343–352. DOI : 10.1145 / 2072298.2072344 . hdl : 10397/23574 . ISBN 9781450306164. S2CID  11922007 .
  105. ^ «Почему глубокое обучение внезапно меняет вашу жизнь» . Удача . 2016 . Проверено 13 апреля 2018 года .
  106. ↑ Сильвер, Дэвид; Хуанг, Аджа; Мэддисон, Крис Дж .; Гез, Артур; Сифре, Лоран; Дрише, Джордж ван ден; Шриттвизер, Джулиан; Антоноглоу, Иоаннис; Паннеершелвам, Веда (январь 2016 г.). «Освоение игры в го с глубокими нейронными сетями и поиском по дереву». Природа . 529 (7587): 484–489. Bibcode : 2016Natur.529..484S . DOI : 10,1038 / природа16961 . ISSN 1476-4687 . PMID 26819042 . S2CID 515925 .   
  107. ^ Руководство по глубокому обучению и нейронным сетям
  108. ^ Сегеди, Кристиан; Тошев Александр; Эрхан, Думитру (2013). «Глубокие нейронные сети для обнаружения объектов» . Достижения в системах обработки нейронной информации : 2553–2561.
  109. ^ Ролник, Дэвид; Тегмарк, Макс (2018). «Сила более глубоких сетей для выражения естественных функций» . Международная конференция по обучающим представительствам . ICLR 2018.
  110. ^ Хоф, Роберт Д. "Искусственный интеллект наконец вступает в свои права?" . Обзор технологий Массачусетского технологического института . Проверено 10 июля 2018 .
  111. ^ a b Gers, Felix A .; Шмидхубер, Юрген (2001). «Рекуррентные сети LSTM изучают простые контекстно-свободные и контекстно-зависимые языки» . IEEE-транзакции в нейронных сетях . 12 (6): 1333–1340. DOI : 10.1109 / 72.963769 . PMID 18249962 . 
  112. ^ a b c Суцкевер, Л .; Vinyals, O .; Ле, К. (2014). «Последовательность обучения с помощью нейронных сетей» (PDF) . Proc. НИПС . arXiv : 1409,3215 . Bibcode : 2014arXiv1409.3215S .
  113. ^ a b Jozefowicz, Rafal; Виньялс, Ориол; Шустер, Майк; Шазир, Ноам; Ву, Юнхуэй (2016). «Изучение границ языкового моделирования». arXiv : 1602.02410 [ cs.CL ].
  114. ^ a b Гиллик, Дэн; Бранк, Клифф; Виньялс, Ориол; Субраманья, Амарнаг (2015). «Многоязычная обработка байтов». arXiv : 1512.00103 [ cs.CL ].
  115. ^ Миколов, Т .; и другие. (2010). «Языковая модель на основе рекуррентной нейронной сети» (PDF) . Межречье .
  116. ^ a b «Изучение точного времени с помощью рекуррентных сетей LSTM (доступна загрузка PDF-файла)» . ResearchGate . Дата обращения 13 июня 2017 .
  117. ^ LeCun, Y .; и другие. (1998). «Градиентное обучение применительно к распознаванию документов». Труды IEEE . 86 (11): 2278–2324. DOI : 10.1109 / 5.726791 .
  118. ^ Бенжио, Йошуа; Буланже-Левандовски, Николас; Паскану, Разван (2013). «Достижения в оптимизации рекуррентных сетей». 2013 IEEE Международная конференция по акустике, речи и обработки сигналов . С. 8624–8628. arXiv : 1212.0901 . CiteSeerX 10.1.1.752.9151 . DOI : 10.1109 / icassp.2013.6639349 . ISBN  978-1-4799-0356-6. S2CID  12485056 .
  119. ^ Даль, G .; и другие. (2013). «Улучшение DNN для LVCSR с использованием выпрямленных линейных единиц и отсева» (PDF) . ICASSP .
  120. ^ "Расширение данных - deeplearning.ai | Coursera" . Coursera . Проверено 30 ноября 2017 года .
  121. Перейти ↑ Hinton, GE (2010). «Практическое руководство по обучению ограниченных машин Больцмана» . Tech. Отчет UTML TR 2010-003 .
  122. ^ Ты, Ян; Булуч, Айдын; Деммель, Джеймс (ноябрь 2017 г.). «Масштабирование глубокого обучения на GPU и кластерах приземления рыцарей» . Труды Международной конференции по высокопроизводительным вычислениям, сетям, хранилищам и анализу на - SC '17 . SC '17, ACM. С. 1–12. DOI : 10.1145 / 3126908.3126912 . ISBN 9781450351140. S2CID  8869270 . Проверено 5 марта 2018 .
  123. ^ Viebke, Андре; Мемети, Суэйб; Пллана, Сабри; Авраам, Аджит (2019). «CHAOS: схема распараллеливания для обучения сверточных нейронных сетей на Intel Xeon Phi». Журнал суперкомпьютеров . 75 : 197–227. arXiv : 1702.07908 . Bibcode : 2017arXiv170207908V . DOI : 10.1007 / s11227-017-1994-х . S2CID 14135321 . 
  124. ^ Тинг Цинь и др. «Алгоритм обучения CMAC на основе RLS». Письма о нейронной обработке 19.1 (2004): 49-61.
  125. ^ Тинг Цинь и др. « Непрерывный CMAC-QRLS и его систолический массив ». Письма о нейронной обработке 22.1 (2005): 1-16.
  126. ^ Исследования, AI (23 октября 2015 г.). «Глубокие нейронные сети для акустического моделирования в распознавании речи» . airesearch.com . Проверено 23 октября 2015 года .
  127. ^ «Графические процессоры продолжают доминировать на рынке ускорителей искусственного интеллекта» . Информационная неделя . Декабрь 2019 . Проверено 11 июня 2020 .
  128. ^ Рэй, Тирнан (2019). «ИИ меняет всю природу вычислений» . ZDNet . Проверено 11 июня 2020 .
  129. ^ «AI и вычисления» . OpenAI . 16 мая 2018 . Проверено 11 июня 2020 .
  130. ^ Консорциум языковых данных TIMIT Acoustic-Phonetic Continuous Speech Corpus , Филадельфия.
  131. ↑ Робинсон, Тони (30 сентября 1991 г.). «Несколько улучшений системы распознавания телефона в сети с повторяющимся распространением ошибок». Технический отчет инженерного факультета Кембриджского университета . CUED / F-INFENG / TR82. DOI : 10,13140 / RG.2.2.15418.90567 .
  132. ↑ Abdel-Hamid, O .; и другие. (2014). «Сверточные нейронные сети для распознавания речи» . Транзакции IEEE / ACM по обработке звука, речи и языка . 22 (10): 1533–1545. DOI : 10.1109 / taslp.2014.2339736 . S2CID 206602362 . 
  133. ^ Дэн, L .; Платт, Дж. (2014). «Ансамбль глубокого обучения для распознавания речи». Proc. Межречье . S2CID 15641618 . 
  134. ^ Тот, Ласло (2015). «Распознавание телефонов с помощью иерархических сверточных сетей Deep Maxout» (PDF) . Журнал EURASIP по обработке звука, речи и музыки . 2015 . DOI : 10,1186 / s13636-015-0068-3 . S2CID 217950236 .  
  135. ↑ Макмиллан, Роберт (17 декабря 2014 г.). «Как Skype использовал искусственный интеллект для создания своего удивительного переводчика нового языка | WIRED» . Проводной . Проверено 14 июня 2017 года .
  136. ^ Ханнун, Авни; Кейс, Карл; Каспер, Джаред; Катандзаро, Брайан; Диамос, Грег; Эльзен, Эрих; Пренгер, Райан; Сатиш, Санджив; Сенгупта, Шубхо; Коутс, Адам; Нг, Эндрю Y (2014). «Глубокая речь: масштабирование сквозного распознавания речи». arXiv : 1412.5567 [ cs.CL ].
  137. ^ "База данных рукописных цифр MNIST, Янн ЛеКун, Коринна Кортес и Крис Берджес" . yann.lecun.com .
  138. ^ Cireşan, Дэн; Мейер, Ули; Маски, Джонатан; Шмидхубер, Юрген (август 2012 г.). «Многоколоночная глубокая нейронная сеть для классификации дорожных знаков». Нейронные сети . Избранные статьи из IJCNN 2011. 32 : 333–338. CiteSeerX 10.1.1.226.8219 . DOI : 10.1016 / j.neunet.2012.02.023 . PMID 22386783 .  
  139. ↑ Nvidia демонстрирует автомобильный компьютер, прошедший курс «глубокого обучения» (6 января 2015 г.), Дэвид Талбот, MIT Technology Review
  140. ^ GW Smith; Фредерик Фоль Леймари (10 апреля 2017 г.). «Машина как художник: введение» . Искусство . 6 (4): 5. doi : 10.3390 / arts6020005 .
  141. ↑ Blaise Agüera y Arcas (29 сентября 2017 г.). «Искусство в эпоху машинного интеллекта» . Искусство . 6 (4): 18. DOI : 10,3390 / arts6040018 .
  142. ^ Голдберг, Йоав; Леви, Омар (2014). "Объяснение word2vec: Получение метода вложения слов с отрицательной выборкой Миколова и др.". arXiv : 1402.3722 [ cs.CL ].
  143. ^ a b Socher, Ричард; Мэннинг, Кристофер. «Глубокое обучение для НЛП» (PDF) . Проверено 26 октября 2014 года .
  144. ^ Сохер, Ричард; Бауэр, Джон; Мэннинг, Кристофер; Нг, Эндрю (2013). «Анализ с помощью композиционных векторных грамматик» (PDF) . Материалы конференции ACL 2013 .
  145. ^ Сохер, Ричард (2013). «Рекурсивные глубинные модели для семантической композиционности по банку дерева настроений» (PDF) . Цитировать журнал требует |journal=( помощь )
  146. ^ Шен, Йелонг; Он, Сяодун; Гао, Цзяньфэн; Дэн Ли; Меснил, Грегуар (1 ноября 2014 г.). «Скрытая семантическая модель со структурой сверточного пула для поиска информации» . Microsoft Research .
  147. ^ Хуанг, По-Сен; Он, Сяодун; Гао, Цзяньфэн; Дэн Ли; Асеро, Алекс; Черт возьми, Ларри (1 октября 2013 г.). «Изучение глубоко структурированных семантических моделей для веб-поиска с использованием данных перехода» . Microsoft Research .
  148. ^ Меснил, G .; Dauphin, Y .; Yao, K .; Bengio, Y .; Deng, L .; Hakkani-Tur, D .; Он, X .; Черт возьми, L .; Tur, G .; Ю, Д .; Цвейг, Г. (2015). «Использование рекуррентных нейронных сетей для заполнения слотов в понимании разговорной речи». Транзакции IEEE по обработке звука, речи и языка . 23 (3): 530–539. DOI : 10.1109 / taslp.2014.2383614 . S2CID 1317136 . 
  149. ^ а б Гао, Цзяньфэн; Он, Сяодун; Йи, Скотт Вен-тау; Дэн Ли (1 июня 2014 г.). «Изучение непрерывных представлений фраз для моделирования перевода» . Microsoft Research .
  150. ^ Брокардо, Марсело Луис; Траоре, Исса; Вунганг, Исаак; Обайдат, Мохаммад С. (2017). «Проверка авторства с использованием сетевых систем глубокого убеждения». Международный журнал коммуникационных систем . 30 (12): e3259. DOI : 10.1002 / dac.3259 .
  151. ^ «Глубокое обучение для обработки естественного языка: теория и практика (Учебное пособие CIKM2014) - Исследования Microsoft» . Microsoft Research . Проверено 14 июня 2017 года .
  152. ↑ Туровский, Барак (15 ноября 2016 г.). "Найдено в переводе: Более точные, плавные предложения в Google Translate" . Блог Google по ключевым словам . Проверено 23 марта 2017 года .
  153. ^ a b c d Шустер, Майк; Джонсон, Мелвин; Торат, Нихил (22 ноября 2016 г.). "Zero-Shot Translation с помощью многоязычной системы нейронного машинного перевода Google" . Блог Google Research . Проверено 23 марта 2017 года .
  154. ^ Зепп Хохрайтер; Юрген Шмидхубер (1997). «Долговременная кратковременная память» . Нейронные вычисления . 9 (8): 1735–1780. DOI : 10.1162 / neco.1997.9.8.1735 . PMID 9377276 . S2CID 1915014 .  
  155. ^ Феликс А. Жерс; Юрген Шмидхубер; Фред Камминс (2000). «Учимся забывать: постоянное предсказание с LSTM». Нейронные вычисления . 12 (10): 2451–2471. CiteSeerX 10.1.1.55.5709 . DOI : 10.1162 / 089976600300015015 . PMID 11032042 . S2CID 11598600 .   
  156. ^ Ву, Юнхуэй; Шустер, Майк; Чен, Чжифэн; Le, Quoc V; Норузи, Мохаммад; Машери, Вольфганг; Крикун, Максим; Цао, юань; Гао, Цинь; Машери, Клаус; Клингнер, Джефф; Шах, Апурва; Джонсон, Мелвин; Лю, Сяобин; Кайзер, Лукаш; Gouws, Стефан; Като, Ёсикиё; Кудо, Таку; Казава, Хидэто; Стивенс, Кейт; Куриан, Джордж; Патил, Нишант; Ван, Вэй; Янг, Клифф; Смит, Джейсон; Риза, Джейсон; Рудник, Алекс; Виньялс, Ориол; Коррадо, Грег; и другие. (2016). «Система нейронного машинного перевода Google: устранение разрыва между человеческим и машинным переводом». arXiv : 1609.08144 [ cs.CL ].
  157. ^ Metz, Кейд (27 сентября 2016). «Вливание ИИ делает Google Translate более мощным , чем когда - либо» . Проводной .
  158. ^ a b Бойте, Кристиан; Бланшон, Эрве; Селигман, Марк; Беллинк, Валери (2010). «MT в Интернете и для Интернета» (PDF) . Проверено 1 декабря +2016 .
  159. ^ Эрроусмит, Дж; Миллер, П. (2013). «Экспериментальное наблюдение: показатели выбытия по фазам II и III в 2011-2012 гг.». Обзоры природы Открытие лекарств . 12 (8): 569. DOI : 10.1038 / nrd4090 . PMID 23903212 . S2CID 20246434 .  
  160. ^ Verbist, B; Кламбауэр, G; Vervoort, L; Таллоен, Вт; Qstar, Консорциум; Шкеды, З; Thas, O; Бендер, А; Гельманн, HW; Hochreiter, S (2015). «Использование транскриптомики для оптимизации потенциальных клиентов в проектах по открытию лекарств: уроки, извлеченные из проекта QSTAR» . Открытие наркотиков сегодня . 20 (5): 505–513. DOI : 10.1016 / j.drudis.2014.12.014 . PMID 25582842 . 
  161. ^ Валлах, Ижар; Дзамба, Майкл; Хейфец, Авраам (9 октября 2015 г.). «AtomNet: глубокая сверточная нейронная сеть для прогнозирования биоактивности при открытии лекарств на основе структуры». arXiv : 1510.02855 [ cs.LG ].
  162. ^ «У стартапа из Торонто есть более быстрый способ найти эффективные лекарства» . Глобус и почта . Дата обращения 9 ноября 2015 .
  163. ^ «Стартап использует суперкомпьютеры для поиска лекарств» . KQED Будущее вас . Дата обращения 9 ноября 2015 .
  164. ^ «У стартапа из Торонто есть более быстрый способ найти эффективные лекарства» .
  165. ↑ Жаворонков, Алекс (2019). «Глубокое обучение позволяет быстро идентифицировать сильные ингибиторы киназы DDR1». Природа Биотехнологии . 37 (9): 1038–1040. DOI : 10.1038 / s41587-019-0224-х . PMID 31477924 . S2CID 201716327 .  
  166. ↑ Грегори, Парикмахер. «Молекула, созданная искусственным интеллектом, демонстрирует« лекарственные качества »» . Проводной .
  167. ↑ Ткаченко, Егор (8 апреля 2015 г.). «Автономное управление CRM через приближение CLV с глубоким обучением с подкреплением в дискретном и непрерывном пространстве действий». arXiv : 1504.01840 [ cs.LG ].
  168. ^ ван ден Оорд, Аарон; Дилеман, Сандер; Шраувен, Бенджамин (2013). Берджес, CJC; Bottou, L .; Веллинг, М .; Ghahramani, Z .; Weinberger, KQ (ред.). Достижения в системах обработки нейронной информации 26 (PDF) . Curran Associates, Inc., стр. 2643–2651.
  169. ^ Фэн, XY; Zhang, H .; Ren, YJ; Шан, PH; Zhu, Y .; Лян, YC; Guan, RC; Сюй, Д. (2019). «Система рекомендаций на основе глубокого обучения« Pubmender »для выбора места публикации биомедицинских публикаций: исследование разработки и проверки» . Журнал медицинских интернет-исследований . 21 (5): e12957. DOI : 10.2196 / 12957 . PMC 6555124 . PMID 31127715 .  
  170. ^ Elkahky, Али Mamdouh; Песня, Ян; Хэ, Сяодун (1 мая 2015 г.). «Многопрофильный подход глубокого обучения для междоменного моделирования пользователей в системах рекомендаций» . Microsoft Research .
  171. ^ Chicco, Davide; Садовски, Питер; Бальди, Пьер (1 января 2014 г.). Нейронные сети с глубоким автоэнкодером для предсказаний аннотаций генных онтологий . Труды 5-й конференции ACM по биоинформатике, вычислительной биологии и информатике здравоохранения - BCB '14 . ACM. С. 533–540. DOI : 10.1145 / 2649387.2649442 . ЛВП : 11311/964622 . ISBN 9781450328944. S2CID  207217210 .
  172. ^ Сатьянараяна, Арти (1 января 2016). «Прогнозирование качества сна на основе носимых данных с использованием глубокого обучения» . JMIR mHealth и uHealth . 4 (4): e125. DOI : 10.2196 / mhealth.6562 . PMC 5116102 . PMID 27815231 . S2CID 3821594 .   
  173. ^ Цой, Эдвард; Шуэц, Энди; Стюарт, Уолтер Ф .; Сунь Цзимэн (13 августа 2016 г.). «Использование рекуррентных моделей нейронных сетей для раннего выявления начала сердечной недостаточности» . Журнал Американской ассоциации медицинской информатики . 24 (2): 361–370. DOI : 10.1093 / Jamia / ocw112 . ISSN 1067-5027 . PMC 5391725 . PMID 27521897 .   
  174. ^ Litjens, Geert; Kooi, Thijs; Беджнорди, Бабак Эхтешами; Сетио, Арно Ариндра Адиосо; Чомпи, Франческо; Гафуриан, Мохсен; ван дер Лаак, Йерун AWM; ван Гиннекен, Брам; Санчес, Клара И. (декабрь 2017 г.). «Обзор глубокого обучения в области анализа медицинских изображений». Анализ медицинских изображений . 42 : 60–88. arXiv : 1702.05747 . Bibcode : 2017arXiv170205747L . DOI : 10.1016 / j.media.2017.07.005 . PMID 28778026 . S2CID 2088679 .  
  175. ^ Форслид, Густав; Визландер, Хакан; Бенгтссон, Эверт; Уолби, Каролина; Хирш, Ян-Майкл; Старк, Кристина Руноу; Саданандан, Саджит Кечерил (2017). «Глубокие сверточные нейронные сети для обнаружения клеточных изменений из-за злокачественности» . Международная конференция IEEE 2017 по семинарам по компьютерному зрению (ICCVW) . С. 82–89. DOI : 10.1109 / ICCVW.2017.18 . ISBN 9781538610343. S2CID  4728736 .
  176. ^ Де, Шаунак; Мэйти, Абхишек; Гоэль, Вритти; Шитоле, Санджай; Бхаттачарья, Авик (2017). «Прогнозирование популярности постов в instagram для журнала о стиле жизни с помощью глубокого обучения». 2017 2-я Международная конференция по системам связи, вычислениям и ИТ-приложениям (CSCITA) . С. 174–177. DOI : 10,1109 / CSCITA.2017.8066548 . ISBN 978-1-5090-4381-1. S2CID  35350962 .
  177. ^ «Раскрашивание и восстановление старых изображений с помощью глубокого обучения» . Блог FloydHub . 13 ноября 2018 . Проверено 11 октября 2019 года .
  178. ^ Шмидт, Уве; Рот, Стефан. Поля усадки для эффективного восстановления изображения (PDF) . Компьютерное зрение и распознавание образов (CVPR), Конференция IEEE 2014 г.
  179. ^ Чех, Томаш. «Глубокое обучение: новый рубеж в обнаружении отмывания денег» . Обзор глобального банковского дела и финансов .
  180. ^ a b c «Армейские исследователи разрабатывают новые алгоритмы для обучения роботов» . EurekAlert! . Проверено 29 августа 2018 .
  181. ^ Утгофф, ЧП; Стракуци, ди-джей (2002). «Многослойное обучение». Нейронные вычисления . 14 (10): 2497–2529. DOI : 10.1162 / 08997660260293319 . PMID 12396572 . S2CID 1119517 .  
  182. ^ Эльман, Джеффри Л. (1998). Переосмысление врожденности: коннекционистский взгляд на развитие . MIT Press. ISBN 978-0-262-55030-7.
  183. ^ Shrager, J .; Джонсон, MH (1996). «Динамическая пластичность влияет на появление функции в простом массиве коры головного мозга». Нейронные сети . 9 (7): 1119–1129. DOI : 10.1016 / 0893-6080 (96) 00033-0 . PMID 12662587 . 
  184. ^ Кварц, SR; Сейновски, Т.Дж. (1997). «Нейронная основа когнитивного развития: манифест конструктивизма». Поведенческие науки и науки о мозге . 20 (4): 537–556. CiteSeerX 10.1.1.41.7854 . DOI : 10.1017 / s0140525x97001581 . PMID 10097006 .  
  185. ↑ S. Blakeslee., «На раннем этапе развития мозга расписание может иметь решающее значение», The New York Times, Science Section , стр. B5 – B6, 1995.
  186. ^ Mazzoni, P .; Андерсен, РА; Иордания, Мичиган (15 мая 1991 г.). «Более правдоподобное с биологической точки зрения правило обучения для нейронных сетей» . Труды Национальной академии наук . 88 (10): 4433–4437. Bibcode : 1991PNAS ... 88.4433M . DOI : 10.1073 / pnas.88.10.4433 . ISSN 0027-8424 . PMC 51674 . PMID 1903542 .   
  187. ↑ О'Рейли, Рэндалл С. (1 июля 1996 г.). «Биологически правдоподобное обучение на основе ошибок с использованием локальных различий активации: обобщенный алгоритм рециркуляции». Нейронные вычисления . 8 (5): 895–938. DOI : 10.1162 / neco.1996.8.5.895 . ISSN 0899-7667 . S2CID 2376781 .  
  188. ^ Testolin, Альберто; Зорзи, Марко (2016). «Вероятностные модели и порождающие нейронные сети: на пути к единой структуре для моделирования нормальных и нарушенных нейрокогнитивных функций» . Границы вычислительной неврологии . 10 : 73. DOI : 10,3389 / fncom.2016.00073 . ISSN 1662-5188 . PMC 4943066 . PMID 27468262 . S2CID 9868901 .    
  189. ^ Testolin, Альберто; Стоянов, Ивилин; Зорзи, Марко (сентябрь 2017 г.). «Восприятие букв возникает в результате неконтролируемого глубокого обучения и повторного использования естественных характеристик изображения». Природа человеческого поведения . 1 (9): 657–664. DOI : 10.1038 / s41562-017-0186-2 . ISSN 2397-3374 . PMID 31024135 . S2CID 24504018 .   
  190. ^ Буэзинг, Ларс; Билл, Йоханнес; Несслер, Бернхард; Маасс, Вольфганг (3 ноября 2011 г.). «Нейронная динамика как выборка: модель для стохастических вычислений в рекуррентных сетях импульсных нейронов» . PLOS Вычислительная биология . 7 (11): e1002211. Bibcode : 2011PLSCB ... 7E2211B . DOI : 10.1371 / journal.pcbi.1002211 . ISSN 1553-7358 . PMC 3207943 . PMID 22096452 . S2CID 7504633 .    
  191. ^ Морель, Даниэль; Сингх, Чандан; Леви, Уильям Б. (25 января 2018 г.). «Линеаризация возбуждающей синаптической интеграции без дополнительных затрат». Журнал вычислительной нейробиологии . 44 (2): 173–188. DOI : 10.1007 / s10827-017-0673-5 . ISSN 0929-5313 . PMID 29372434 . S2CID 3831587 .   
  192. ^ Наличные, S .; Юсте, Р. (февраль 1999 г.). «Линейное суммирование возбуждающих входов пирамидными нейронами СА1». Нейрон . 22 (2): 383–394. DOI : 10.1016 / s0896-6273 (00) 81098-3 . ISSN 0896-6273 . PMID 10069343 . S2CID 14663106 .   
  193. ^ Olshausen, B; Филд, Д. (1 августа 2004 г.). «Разреженное кодирование сенсорных входов». Текущее мнение в нейробиологии . 14 (4): 481–487. DOI : 10.1016 / j.conb.2004.07.007 . ISSN 0959-4388 . PMID 15321069 . S2CID 16560320 .   
  194. ^ Яминс, Дэниел ЛК; ДиКарло, Джеймс Дж. (Март 2016 г.). «Использование целевых моделей глубокого обучения для понимания сенсорной коры головного мозга». Природа Неврологии . 19 (3): 356–365. DOI : 10.1038 / nn.4244 . ISSN 1546-1726 . PMID 26906502 . S2CID 16970545 .   
  195. ^ Зорзи, Марко; Тестолин, Альберто (19 февраля 2018 г.). «Эмерджентистский взгляд на происхождение чувства числа» . Фил. Пер. R. Soc. B . 373 (1740): 20170043. DOI : 10.1098 / rstb.2017.0043 . ISSN 0962-8436 . PMC 5784047 . PMID 29292348 . S2CID 39281431 .    
  196. ^ Güçlü, Умут; ван Гервен, Марсель AJ (8 июля 2015 г.). «Глубокие нейронные сети обнаруживают градиент сложности нейронных представлений через вентральный поток» . Журнал неврологии . 35 (27): 10005–10014. arXiv : 1411.6422 . DOI : 10.1523 / jneurosci.5023-14.2015 . PMC 6605414 . PMID 26157000 .  
  197. Перейти ↑ Metz, C. (12 декабря 2013 г.). «Гуру« глубокого обучения »Facebook раскрывает будущее искусственного интеллекта» . Проводной .
  198. ^ "Алгоритм Google AI овладевает древней игрой в го" . Новости природы и комментарии . Проверено 30 января 2016 года .
  199. ↑ Сильвер, Дэвид ; Хуанг, Аджа ; Мэддисон, Крис Дж .; Гез, Артур; Сифре, Лоран; Дрише, Джордж ван ден; Шриттвизер, Джулиан; Антоноглоу, Иоаннис; Паннеершелвам, Веда; Ланкто, Марк; Дилеман, Сандер; Греве, Доминик; Нхам, Джон; Кальхбреннер, Нал; Суцкевер, Илья ; Лилликрап, Тимоти; Лич, Мадлен; Кавукчуоглу, Корай; Грэпель, Тор; Хассабис, Демис (28 января 2016 г.). «Освоение игры в го с глубокими нейронными сетями и поиском по дереву». Природа . 529 (7587): 484–489. Bibcode : 2016Natur.529..484S . DOI : 10,1038 / природа16961 . ISSN 0028-0836 . PMID  26819042 . S2CID  515925 .
  200. ^ "Алгоритм Google DeepMind использует глубокое обучение и многое другое, чтобы овладеть игрой в го | MIT Technology Review" . Обзор технологий Массачусетского технологического института . Проверено 30 января 2016 года .
  201. ^ «Blippar демонстрирует новое приложение дополненной реальности в реальном времени» . TechCrunch .
  202. ^ Metz, Кейд (6 ноября 2017). «Исследователи искусственного интеллекта покидают лабораторию Илона Маска, чтобы начать создание робототехники» - через NYTimes.com.
  203. ^ Брэдли Нокс, W .; Камень, Питер (2008). «ТАМЕР: обучение агента вручную с помощью оценочного подкрепления». 2008 7-я Международная конференция IEEE по развитию и обучению : 292–297. DOI : 10.1109 / devlrn.2008.4640845 . ISBN 978-1-4244-2661-4. S2CID  5613334 .
  204. ^ «Поговорите с алгоритмами: AI становится более быстрым учеником» . Governmentciomedia.com . Проверено 29 августа 2018 .
  205. ↑ Маркус, Гэри (14 января 2018 г.). «В защиту скептицизма по поводу глубокого обучения» . Гэри Маркус . Проверено 11 октября 2018 года .
  206. ↑ Knight, Will (14 марта 2017 г.). «DARPA финансирует проекты, которые попытаются открыть черные ящики ИИ» . Обзор технологий Массачусетского технологического института . Проверено 2 ноября 2017 года .
  207. ↑ Маркус, Гэри (25 ноября 2012 г.). «Является ли« глубокое обучение »революцией в искусственном интеллекте?» . Житель Нью-Йорка . Проверено 14 июня 2017 .
  208. ^ Александр Мордвинцев; Кристофер Олах; Майк Тайка (17 июня 2015 г.). «Inceptionism: углубляясь в нейронные сети» . Блог Google Research . Проверено 20 июня 2015 года .
  209. ↑ Алекс Херн (18 июня 2015 г.). «Да, андроиды мечтают об электрических овцах» . Хранитель . Проверено 20 июня 2015 года .
  210. ^ a b c Герцель, Бен (2015). «Есть ли глубокие причины, лежащие в основе патологий современных алгоритмов глубокого обучения?» (PDF) .
  211. ^ Нгуен, Ань; Йосинский, Джейсон; Клун, Джефф (2014). «Глубокие нейронные сети легко обмануть: надежные прогнозы для неузнаваемых изображений». arXiv : 1412.1897 [ cs.CV ].
  212. ^ Сегеди, Кристиан; Заремба, Войцех; Суцкевер, Илья; Бруна, Жанна; Эрхан, Думитру; Гудфеллоу, Ян; Фергус, Роб (2013). «Интригующие свойства нейронных сетей». arXiv : 1312.6199 [ cs.CV ].
  213. ^ Чжу, Южная Каролина; Мамфорд, Д. (2006). «Стохастическая грамматика изображений». Найденный. Trends Comput. График. Vis . 2 (4): 259–362. CiteSeerX 10.1.1.681.2190 . DOI : 10.1561 / 0600000018 . 
  214. Перейти ↑ Miller, GA, and N. Chomsky. «Образцовое зачатие». Документ для конференции по обнаружению образов, Мичиганский университет. 1957 г.
  215. ^ Эйснер, Джейсон. «Глубокое изучение рекурсивной структуры: введение в грамматику» .
  216. ^ «Хакеры уже начали превращать искусственный интеллект в оружие» . Gizmodo . Проверено 11 октября 2019 года .
  217. ^ «Как хакеры могут заставить ИИ делать глупые ошибки» . Daily Dot . 18 июня 2018 . Проверено 11 октября 2019 года .
  218. ^ a b c d e «AI легко обмануть - почему это нужно менять» . Singularity Hub . 10 октября 2017 . Проверено 11 октября 2017 года .
  219. ^ Гибни, Элизабет (2017). «Ученый, обнаруживающий фальшивые видео» . Природа . DOI : 10.1038 / nature.2017.22784 .
  220. ^ a b c d Mühlhoff, Райнер (6 ноября 2019 г.). «Человеческий искусственный интеллект: или как выполнять большие вычисления в человеческом мозге? К медиасоциологии машинного обучения». Новые СМИ и общество . 22 (10): 1868–1884. DOI : 10.1177 / 1461444819885334 . ISSN 1461-4448 . S2CID 209363848 .  
  221. ^ «Facebook теперь может найти ваше лицо, даже если на нем нет тегов» . Проводной . ISSN 1059-1028 . Проверено 22 ноября 2019 . 

Дальнейшее чтение [ править ]

  • Гудфеллоу, Ян ; Бенхио, Йошуа ; Курвиль, Аарон (2016). Глубокое обучение . MIT Press. ISBN 978-0-26203561-3, вводный учебник.