Искусственная нейронная сеть

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Статьи по Теме Глоссарий искусственного интеллекта Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

Искусственные нейронные сети ( ИНС ), обычно называемые просто нейронными сетями ( НС ), представляют собой вычислительные системы, смутно вдохновленные биологическими нейронными сетями, которые составляют мозг животных . ^[1]

ИНС основана на наборе связанных блоков или узлов, называемых искусственными нейронами , которые в общих чертах моделируют нейроны в биологическом мозге. Каждое соединение, как синапсы в биологическом мозге, может передавать сигнал другим нейронам. Искусственный нейрон, который получает сигнал, затем обрабатывает его и может сигнализировать подключенным к нему нейронам. «Сигнал» в соединении - это действительное число , и выходной сигнал каждого нейрона вычисляется некоторой нелинейной функцией суммы его входов. Связи называются ребрами . Нейроны и ребра обычно имеют вескоторый корректируется по мере обучения. Вес увеличивает или уменьшает силу сигнала в соединении. Нейроны могут иметь такой порог, что сигнал отправляется только в том случае, если совокупный сигнал пересекает этот порог. Обычно нейроны объединены в слои. Разные слои могут выполнять разные преобразования на своих входах. Сигналы проходят от первого слоя (входной) к последнему (выходному), возможно, после многократного прохождения слоев.

Обучение [ править ]

Нейронные сети обучаются (или обучаются) на примерах обработки, каждый из которых содержит известные «входные данные» и «результат», формируя между ними взвешенные по вероятности ассоциации, которые хранятся в структуре данных самой сети. Обучение нейронной сети из данного примера обычно проводится путем определения разницы между обработанным выводом сети (часто предсказанием) и целевым выводом. Это ошибка. Затем сеть корректирует свои взвешенные ассоциации в соответствии с правилом обучения и с использованием этого значения ошибки. Последовательные корректировки приведут к тому, что нейронная сеть будет выдавать результат, который становится все более похожим на целевой результат. После достаточного количества этих корректировок обучение может быть прекращено по определенным критериям.Это называется обучением с учителем..

Такие системы «учатся» выполнять задачи, рассматривая примеры, как правило, не запрограммированные с помощью правил для конкретных задач. Например, при распознавании изображений они могут научиться определять изображения, содержащие кошек, путем анализа примеров изображений, которые были вручную помечены как «кошка» или «без кошек», и использования результатов для идентификации кошек на других изображениях. Они делают это без каких-либо предварительных знаний о кошках, например, о том, что у них мех, хвосты, усы и кошачьи лица. Вместо этого они автоматически генерируют идентифицирующие характеристики из примеров, которые они обрабатывают.

История [ править ]

Уоррен Маккалок и Уолтер Питтс ^[2] (1943) открыли эту тему, создав вычислительную модель для нейронных сетей. ^[3] В конце 1940-х годов Д.О. Хебб ^[4] создал гипотезу обучения, основанную на механизме нейронной пластичности, которая стала известна как обучение Хебба . Фарли и Уэсли А. Кларк ^[5] (1954) сначала использовали вычислительные машины, тогда называемые «калькуляторами», для моделирования сети Хебба. Розенблатт ^[6] (1958) создал перцептрон . ^[7] Первые функциональные многослойные сети были опубликованы Ивахненко.и Лапа в 1965 г. как групповой метод обработки данных . ^{[8] [9] [10]} Основы непрерывного обратного распространения ошибки ^{[8] [11] [12] [13]} были выведены в контексте теории управления Келли ^[14] в 1960 году и Брайсоном в 1961 году, ^[15] используя принципы динамического программирования .

В 1970 году Сеппо Линнаинмаа опубликовал общий метод автоматического дифференцирования (AD) дискретных связанных сетей вложенных дифференцируемых функций. ^{[16] [17]} В 1973 году Дрейфус использовал обратное распространение ошибок, чтобы адаптировать параметры контроллеров пропорционально градиентам ошибок. ^[18] Алгоритм обратного распространения ошибки Werbos (1975) позволил на практике обучить многоуровневым сетям. В 1982 году он применил AD-метод Линнайнмаа к нейронным сетям, получив широкое распространение. ^{[11] [19]} После этого исследования прекратились после Мински и Паперта (1969),^[20], которые обнаружили, что базовые перцептроны неспособны обрабатывать схему исключающего ИЛИ и что компьютерам не хватает мощности для обработки полезных нейронных сетей.

Развитие очень крупномасштабной интеграции (СБИС) металл-оксид-полупроводник (МОП) в виде технологии комплементарных МОП (КМОП) позволило увеличить количество МОП- транзисторов в цифровой электронике . Это обеспечило большую вычислительную мощность для разработки практических искусственных нейронных сетей в 1980-х годах. ^[21]

В 1986 году Рамелхарт , Хинтон и Уильямс показали, что обратное распространение обучается интересным внутренним представлениям слов как векторов признаков при обучении предсказанию следующего слова в последовательности. ^[22]

В 1992 году было введено max-pooling, чтобы помочь с наименьшей инвариантностью к сдвигу и устойчивостью к деформации, чтобы облегчить распознавание 3D-объектов . ^{[23] [24] [25]} Шмидхубер принял многоуровневую иерархию сетей (1992), предварительно обучая один уровень за один раз путем неконтролируемого обучения и тонко настраиваясь с помощью обратного распространения ошибки . ^[26]

Джеффри Хинтон и др. (2006) предложили изучить высокоуровневое представление с использованием последовательных слоев двоичных или действительных латентных переменных с помощью ограниченной машины Больцмана ^[27] для моделирования каждого слоя. В 2012 году Нг и Дин создали сеть, которая научилась распознавать концепции более высокого уровня, такие как кошки, только путем просмотра немаркированных изображений. ^[28] Неконтролируемое предварительное обучение и увеличенная вычислительная мощность с помощью графических процессоров и распределенных вычислений позволили использовать более крупные сети, особенно в задачах распознавания изображений и визуального распознавания, которые стали известны как « глубокое обучение ». ^[29]

Чиресан и его коллеги (2010) ^[30] показали, что, несмотря на проблему исчезающего градиента, графические процессоры делают возможным обратное распространение для многослойных нейронных сетей с прямой связью. ^[31] В период с 2009 по 2012 год ИНС начали выигрывать призы в конкурсах ИНС, приближаясь к человеческому уровню при выполнении различных задач, первоначально в области распознавания образов и машинного обучения . ^{[32] [33]} Например, двунаправленный и многомерный длинные кратковременная память (LSTM) ^{[34] [35] [36] [37]} из Gravesи другие. выиграл три конкурса по распознаванию связного почерка в 2009 году, не зная заранее, какие из трех языков нужно выучить. ^{[36] [35]}

Чиресан и его коллеги создали первые распознаватели образов для достижения конкурентоспособных / сверхчеловеческих характеристик ^[38] на таких тестах, как распознавание дорожных знаков (IJCNN 2012).

Модели [ править ]

Этот раздел может сбивать с толку или непонятно читателям . Помогите, пожалуйста, прояснить раздел . На странице обсуждения может быть обсуждение этого вопроса . ( Апрель 2017 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

ИНС начинались как попытка использовать архитектуру человеческого мозга для выполнения задач, с которыми обычные алгоритмы не имели большого успеха. Вскоре они переориентировались на улучшение эмпирических результатов, в основном отказавшись от попыток остаться верными своим биологическим предшественникам. Нейроны связаны друг с другом по разным схемам, чтобы выходные данные одних нейронов становились входными данными для других. Сеть образует направленный , взвешенный граф . ^[39]

Искусственная нейронная сеть состоит из набора смоделированных нейронов. Каждый нейрон представляет собой узел, который связан с другими узлами посредством связей, которые соответствуют биологическим связям аксон-синапс-дендрит. У каждой ссылки есть вес, который определяет силу влияния одного узла на другой. ^[40]

Компоненты ИНС [ править ]

Нейроны [ править ]

ИНС состоят из искусственных нейронов, которые концептуально происходят из биологических нейронов . Каждый искусственный нейрон имеет входы и выдает один выходной сигнал, который может быть отправлен на несколько других нейронов. Входными данными могут быть значения характеристик выборки внешних данных, таких как изображения или документы, или они могут быть выходами других нейронов. Выходы конечных выходных нейронов нейронной сети выполняют такую ​​задачу, как распознавание объекта на изображении.

Для того, чтобы найти выход нейрона, первый взять взвешенную сумму всех входов, взвешенную по весам этих соединений от входов к нейрону. К этой сумме мы добавляем смещение . Эту взвешенную сумму иногда называют активацией . Затем эта взвешенная сумма проходит через (обычно нелинейную) функцию активации для получения выходных данных. Первоначальные входные данные - это внешние данные, такие как изображения и документы. Конечные результаты выполняют задачу, например, распознают объект на изображении. ^[41]

Соединения и веса [ править ]

Сеть состоит из соединений, каждое соединение обеспечивает выход одного нейрона в качестве входа для другого нейрона. Каждому соединению присваивается вес, который отражает его относительную важность. ^[39] У данного нейрона может быть несколько входных и выходных соединений. ^[42]

Функция распространения [ править ]

Функция распространения вычисляет входные данные нейрона из выходов его предшественников нейронов и их соединений в виде взвешенной суммы. ^[39] смещение термин может быть добавлен в результате распространения. ^[43]

Организация [ править ]

Нейроны обычно организованы в несколько уровней, особенно в глубоком обучении . Нейроны одного слоя соединяются только с нейронами непосредственно предшествующего и непосредственно следующего слоев. Слой, который получает внешние данные, является входным слоем . Слой, который дает окончательный результат, - это выходной слой . Между ними ноль или более скрытых слоев . Также используются однослойные и неслойные сети. Между двумя уровнями возможны несколько схем соединения. Они могут быть полностью связаны , при этом каждый нейрон одного слоя соединяется с каждым нейроном следующего слоя. Они могут объединяться, где группа нейронов в одном слое соединяется с одним нейроном в следующем слое, тем самым уменьшая количество нейронов в этом слое. ^[44] Нейроны только с такими связями образуют ориентированный ациклический граф и известны как сети прямого распространения . ^{[45] С} другой стороны, сети, которые позволяют соединения между нейронами в одном или предыдущих слоях, известны как рекуррентные сети . ^[46]

Гиперпараметр [ править ]

Гиперпараметр - это постоянный параметр , значение которого устанавливается до начала процесса обучения. Значения параметров выводятся путем обучения. Примеры гиперпараметров включают скорость обучения , количество скрытых слоев и размер пакета. ^[47] Значения некоторых гиперпараметров могут зависеть от значений других гиперпараметров. Например, размер некоторых слоев может зависеть от общего количества слоев.

Обучение [ править ]

Этот раздел включает в себя список ссылок , связанных материалов или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Август 2019 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Обучение - это адаптация сети для лучшего решения задачи с учетом выборочных наблюдений. Обучение включает в себя настройку весов (и необязательных пороговых значений) сети для повышения точности результата. Это достигается за счет минимизации наблюдаемых ошибок. Обучение завершено, когда изучение дополнительных наблюдений не снижает процент ошибок. Даже после обучения частота ошибок обычно не достигает 0. Если после обучения частота ошибок слишком высока, сеть обычно необходимо перепроектировать. Практически это достигается путем определения функции затрат, которая периодически оценивается во время обучения. Пока его объем производства продолжает снижаться, обучение продолжается. Стоимость часто определяется как статистиказначение которого можно только приблизительно определить. На самом деле выходными данными являются числа, поэтому, когда ошибка мала, разница между результатом (почти наверняка кошка) и правильным ответом (кошка) невелика. Обучение пытается уменьшить общую разницу между наблюдениями. ^[39] Большинство обучающих моделей можно рассматривать как прямое приложение теории оптимизации и статистической оценки .

Скорость обучения [ править ]

Скорость обучения определяет размер корректирующих шагов, которые модель предпринимает для корректировки ошибок в каждом наблюдении. Высокая скорость обучения сокращает время обучения, но с меньшей конечной точностью, в то время как более низкая скорость обучения занимает больше времени, но с потенциалом для большей точности. Оптимизация, такая как Quickprop , в первую очередь нацелена на ускорение минимизации ошибок, в то время как другие улучшения в основном направлены на повышение надежности. Чтобы избежать колебаний внутри сети, таких как чередование весов соединений, и улучшить скорость сходимости, уточнения используют адаптивную скорость обучения, которая увеличивается или уменьшается по мере необходимости. ^[48]Концепция импульса позволяет взвешивать баланс между градиентом и предыдущим изменением, так что корректировка веса в некоторой степени зависит от предыдущего изменения. Импульс, близкий к 0, подчеркивает градиент, а значение, близкое к 1, подчеркивает последнее изменение.

Функция стоимости [ править ]

В то время как можно определить функцию стоимости специальной , часто выбор определяется желаемыми свойствами работы функции (например, выпуклость ) или потому , что она возникает из модели (например , в вероятностной модели модели апостериорная вероятность может быть использована в качестве обратного Стоимость).

Обратное распространение [ править ]

Обратное распространение - это метод, используемый для корректировки весов соединений для компенсации каждой ошибки, обнаруженной во время обучения. Сумма ошибки эффективно распределяется между соединениями. Технически backprop вычисляет градиент (производную) функции стоимости, связанной с данным состоянием, по отношению к весам. Обновления весов могут быть выполнены с помощью стохастического градиентного спуска или других методов, таких как Extreme Learning Machines , ^[49] «безопорные» сети, ^[50] обучение без возврата, ^[51] «невесомые» сети, ^{[52] [53 ] ]} и неконнекционистские нейронные сети .

Парадигмы обучения [ править ]

Этот раздел включает в себя список ссылок , связанных материалов или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Август 2019 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Три основных обучение парадигмы контролируемое обучение , бесконтрольное обучение и обучение с подкреплением . Каждый из них соответствует определенной учебной задаче.

Обучение с учителем [ править ]

В обучении с учителем используется набор парных входов и желаемых выходов. Задача обучения состоит в том, чтобы произвести желаемый результат для каждого ввода. В этом случае функция стоимости связана с устранением неправильных вычетов. ^[54] Обычно используемая стоимость - это среднеквадратичная ошибка , которая пытается минимизировать среднеквадратичную ошибку между выходом сети и желаемым выходом. Задачи, подходящие для обучения с учителем, - это распознавание образов (также известное как классификация) и регрессия (также известная как аппроксимация функций). Обучение с учителем также применимо к последовательным данным (например, для рукописного ввода, распознавания речи и жестов).). Это можно рассматривать как обучение с «учителем» в форме функции, которая обеспечивает постоянную обратную связь о качестве решений, полученных на данный момент.

Обучение без учителя [ править ]

При обучении без учителя входные данные предоставляются вместе с функцией стоимости, некоторой функцией данных и выходными данными сети. Функция стоимости зависит от задачи (предметной области модели) и любых априорных предположений (неявных свойств модели, ее параметров и наблюдаемых переменных). В качестве тривиального примера рассмотрим модель, где - константа, а стоимость . Минимизация этой стоимости дает значение , равное среднему значению данных. Функция стоимости может быть намного сложнее. Его форма зависит от приложения: например, при сжатии он может быть связан с взаимной информацией между и${\ displaystyle \ textstyle x}$${\ displaystyle \ textstyle f (x) = a}$${\displaystyle \textstyle a}$${\displaystyle \textstyle C=E[(x-f(x))^{2}]}$${\displaystyle \textstyle a}$${\displaystyle \textstyle x}$${\displaystyle \textstyle f(x)}$, тогда как в статистическом моделировании это может быть связано с апостериорной вероятностью модели с учетом данных (обратите внимание, что в обоих этих примерах эти величины будут максимизированы, а не минимизированы). Задачи, которые подпадают под парадигму обучения без учителя, относятся к общим задачам оценки ; приложения включают кластеризацию , оценку статистических распределений , сжатие и фильтрацию .

Обучение с подкреплением [ править ]

В таких приложениях, как видеоигры, актер выполняет ряд действий, получая обычно непредсказуемый ответ от окружающей среды после каждого из них. Цель состоит в том, чтобы выиграть игру, т. Е. Получить наиболее положительные (с наименьшей стоимостью) отзывы. В обучении с подкреплением цель состоит в том, чтобы взвесить сеть (разработать политику) для выполнения действий, которые минимизируют долгосрочные (ожидаемые совокупные) затраты. В каждый момент времени агент выполняет действие, а среда генерирует наблюдение и мгновенную стоимость в соответствии с некоторыми (обычно неизвестными) правилами. Правила и долгосрочную стоимость обычно можно только оценить. В любой момент агент решает, следует ли исследовать новые действия, чтобы раскрыть свои затраты, или использовать предыдущее обучение, чтобы действовать быстрее.

Формально среда моделируется как марковский процесс принятия решений (MDP) с состояниями и действиями . Поскольку переходы между состояниями неизвестны, вместо них используются распределения вероятностей: распределение мгновенных затрат, распределение наблюдений и распределение переходов , в то время как политика определяется как условное распределение по действиям с учетом наблюдений. Взятые вместе, они определяют цепь Маркова (MC). Цель состоит в том, чтобы найти MC с самой низкой стоимостью.${\displaystyle \textstyle {s_{1},...,s_{n}}\in S}$${\displaystyle \textstyle {a_{1},...,a_{m}}\in A}$${\displaystyle \textstyle P(c_{t}|s_{t})}$${\displaystyle \textstyle P(x_{t}|s_{t})}$${\displaystyle \textstyle P(s_{t+1}|s_{t},a_{t})}$

ИНС служат обучающим компонентом в таких приложениях. ^{[55] [56]} Динамическое программирование в сочетании с ИНС (обеспечивающее нейродинамическое программирование) ^[57] применялось к таким проблемам, как маршрутизация транспортных средств , ^[58] видеоигры, управление природными ресурсами ^{[59] [60]} и медицина ^{[ 61]} из-за способности ИНС снижать потери точности даже при уменьшении плотности дискретизации сетки для численной аппроксимации решения задач управления. Задачи, которые подпадают под парадигму обучения с подкреплением, - это задачи управления, игры и другие задачи последовательного принятия решений.

Самообучение [ править ]

Самообучение в нейронных сетях было введено в 1982 году вместе с нейронной сетью, способной к самообучению, под названием Crossbar Adaptive Array (CAA). ^[62] Это система только с одним входом, ситуацией s и только одним выходом, действием (или поведением) a. У него нет ни внешнего совета, ни внешнего подкрепления из окружающей среды. CAA перекрестным образом вычисляет как решения о действиях, так и эмоциях (чувствах) в связи с возникшими ситуациями. Система управляется взаимодействием познания и эмоций. ^[63] При заданной матрице памяти W = || w (a, s) || алгоритм самообучения перекладины на каждой итерации выполняет следующие вычисления:

 В ситуации s выполните действие a; Получите последствие ситуации s '; Вычислить эмоцию пребывания в последующей ситуации v (s '); Обновить память перекладины w '(a, s) = w (a, s) + v (s').

Ценность обратного распространения (вторичное подкрепление) - это эмоция по отношению к ситуации последствий. CAA существует в двух средах: одна - это поведенческая среда, в которой она ведет себя, а другая - генетическая среда, откуда она изначально и только один раз получает начальные эмоции, которые могут возникнуть в поведенческой среде. Получив вектор генома (вектор видов) из генетической среды, CAA будет изучать стремление к цели в поведенческой среде, которая содержит как желательные, так и нежелательные ситуации. ^[64]

Другое [ править ]

В байесовской структуре для минимизации затрат выбирается распределение по набору допустимых моделей. Эволюционные методы , ^[65] программирование экспрессии генов , ^[66] моделирование отжига , ^[67] максимизация ожидания , непараметрические методы и оптимизация роя частиц ^[68] - это другие алгоритмы обучения. Конвергентная рекурсия - это алгоритм обучения нейронных сетей контроллера артикуляции модели мозжечка (CMAC). ^{[69] [70]}

Режимы [ править ]

Этот раздел включает в себя список ссылок , связанных материалов или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Август 2019 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Доступны два режима обучения: стохастический и пакетный. В стохастическом обучении каждый вход создает корректировку веса. При пакетном обучении веса корректируются на основе пакета входных данных, накапливая ошибки по пакету. Стохастическое обучение вносит «шум» в процесс, используя локальный градиент, рассчитанный на основе одной точки данных; это снижает вероятность застревания сети в локальных минимумах. Однако пакетное обучение обычно дает более быстрый и стабильный спуск к локальному минимуму, поскольку каждое обновление выполняется в направлении средней ошибки пакета. Распространенным компромиссом является использование «мини-партий», небольших партий с выборками в каждой партии, выбранными стохастически из всего набора данных.

Типы [ править ]

ИНС превратились в широкое семейство методов, которые продвинули уровень техники во многих областях. Самые простые типы имеют один или несколько статических компонентов, включая количество единиц, количество слоев, веса единиц и топологию . Динамические типы позволяют одному или нескольким из них развиваться в процессе обучения. Последние намного сложнее, но могут сократить периоды обучения и дать лучшие результаты. Некоторые типы позволяют / требуют, чтобы обучение «контролировалось» оператором, в то время как другие работают независимо. Некоторые типы работают исключительно аппаратно, а другие - чисто программно и работают на компьютерах общего назначения.

Некоторые из основных достижений включают: сверточные нейронные сети , которые оказались особенно успешными при обработке визуальных и других двумерных данных; ^{[71] [72]} долговременная кратковременная память позволяет избежать проблемы исчезающего градиента ^[73] и может обрабатывать сигналы, которые содержат сочетание низкочастотных и высокочастотных компонентов, помогая распознавать речь с большим словарным запасом, ^{[74] [75]} преобразование текста в синтез речи, ^{[76] [11] [77]} и фотореалистичные говорящие головы; ^[78] конкурентные сети, такие как порождающие враждебные сети внесколько сетей (различной структуры) конкурируют друг с другом в таких задачах, как выигрыш в игре ^[79] или обман оппонента относительно подлинности входных данных. ^[80]

Сетевой дизайн [ править ]

Поиск нейронной архитектуры (NAS) использует машинное обучение для автоматизации проектирования ИНС. Различные подходы к NAS позволили разработать сети, которые хорошо сопоставимы с системами, созданными вручную. Базовый алгоритм поиска состоит в том, чтобы предложить модель кандидата, оценить ее по набору данных и использовать результаты в качестве обратной связи для обучения сети NAS. ^[81] Доступные системы включают AutoML и AutoKeras. ^[82]

Проблемы проектирования включают определение количества, типа и связности сетевых уровней, а также размера каждого из них и типа соединения (полное, объединение в пул и т. Д.).

Гиперпараметры также должны быть определены как часть дизайна (они не изучаются), управляя такими вопросами, как количество нейронов в каждом слое, скорость обучения, шаг, шаг, глубина, восприимчивое поле и заполнение (для CNN) и т. Д. ^{[ 83]}

Используйте [ редактировать ]

Использование искусственных нейронных сетей требует понимания их характеристик.

• Выбор модели: это зависит от представления данных и приложения. Чрезмерно сложные модели замедляют обучение.
• Алгоритм обучения: существует множество компромиссов между алгоритмами обучения. Практически любой алгоритм будет хорошо работать с правильными гиперпараметрами для обучения на конкретном наборе данных. Однако выбор и настройка алгоритма обучения на невидимых данных требует значительных экспериментов.
• Надежность: если модель, функция стоимости и алгоритм обучения выбраны надлежащим образом, полученная ИНС может стать надежной.

Возможности ИНС подпадают под следующие широкие категории: ^{[ необходима цитата ]}

• Аппроксимация функций или регрессионный анализ , включая прогнозирование временных рядов , аппроксимацию пригодности и моделирование.
• Классификация , включая распознавание образов и последовательностей, обнаружение новизны и последовательное принятие решений. ^[84]
• Обработка данных , включая фильтрацию, кластеризацию, слепое разделение источников и сжатие.
• Робототехника , в том числе управляющие манипуляторы и протезы .

Приложения [ править ]

Благодаря своей способности воспроизводить и моделировать нелинейные процессы искусственные нейронные сети нашли применение во многих дисциплинах. Области применения включают в себя идентификацию системы и контроль (управление автомобилем, траектория предсказания, ^[85] управление процессом , рациональное использование природных ресурсов ), квантовая химия , ^[86] Вообще игры играть , ^[87] распознавание образов (радиолокационные системы, идентификация лица , классификация сигнала, ^[88] 3D-реконструкция , ^[89] распознавание объектов и др.), Распознавание последовательности (жест, речь, рукописный текст).и распознавание печатного текста ^[90] ), медицинская диагностика , финансы ^[91] (например, автоматизированные торговые системы ), интеллектуальный анализ данных , визуализация, машинный перевод , фильтрация социальных сетей ^[92] и фильтрация спама в электронной почте . ИНС использовались для диагностики нескольких типов рака ^{[93] [94]} и для отличия линий высокоинвазивных раковых клеток от менее инвазивных линий, используя только информацию о форме клеток. ^{[95] [96]}

ИНС использовались для ускорения анализа надежности инфраструктуры, подверженной стихийным бедствиям ^{[97] [98],} и для прогнозирования оседания фундаментов. ^[99] ИНС также использовались для построения модели черного ящика в геофизике : гидрология , ^{[100] [101]} моделирование океана и прибрежной инженерной , ^{[102] [103]} и геоморфологии . ^[104] ИНС используются для обеспечения кибербезопасности с целью различения законных действий и злонамеренных. Например, машинное обучение использовалось для классификации вредоносных программ для Android ^[105]для определения доменов, принадлежащих злоумышленникам, и для обнаружения URL-адресов, представляющих угрозу безопасности. ^{[106] В} настоящее время проводятся исследования систем ИНС, предназначенных для тестирования на проникновение, обнаружения ботнетов, ^[107] мошенничества с кредитными картами ^[108] и сетевых вторжений.

ИНС были предложены в качестве инструмента для решения уравнений в частных производных в физике ^{[109] [110]} и моделирования свойств открытых квантовых систем многих тел . ^{[111] [112] [113] [114]} В исследованиях мозга ИНС изучали краткосрочное поведение отдельных нейронов , ^[115] динамика нейронных цепей возникает из взаимодействий между отдельными нейронами и как поведение может возникать из абстрактных нейронных модулей, которые представляют собой полные подсистемы. Исследования рассматривали долгосрочную и краткосрочную пластичность нейронных систем и их связь с обучением и памятью от отдельного нейрона до системного уровня.

Теоретические свойства [ править ]

Вычислительная мощность [ править ]

Многослойный персептрон является универсальной функцией аппроксиматором, как доказано в теореме универсальной аппроксимации . Однако доказательство неконструктивно в отношении количества требуемых нейронов, топологии сети, весов и параметров обучения.

Конкретные рецидивирующий архитектуры с рациональными значными весами (в отличие от полной точности вещественного числа -значного веса) имеют мощность универсальной машины Тьюринга , ^[116] , используя конечное число нейронов и стандартных линейных соединений. Кроме того, использование иррациональных значений весов приводит к машине с супер- силой Тьюринга . ^[117]

Емкость [ править ]

Свойство модели «емкость» соответствует ее способности моделировать любую заданную функцию. Это связано с объемом информации, которая может храниться в сети, и с понятием сложности. Сообществу известны два понятия вместимости. Информационная емкость и размерность ВК. Информационная способность перцептрона интенсивно обсуждается в книге сэра Дэвида Маккея ^[118], которая обобщает работу Томаса Ковер. ^[119] Пропускная способность сети стандартных нейронов (не сверточной) может быть определена с помощью четырех правил ^[120], которые вытекают из понимания нейрона как электрического элемента . Информационная емкость охватывает функции, моделируемые сетью при любых данных в качестве входных. Второе понятие - этоРазмер ВК . VC Dimension использует принципы теории меры и находит максимальную пропускную способность при наилучших возможных обстоятельствах. Это при заданных входных данных в определенной форме. Как отмечено в ^[118], размер виртуального канала для произвольных входов составляет половину информационной емкости персептрона. Размер VC для произвольных точек иногда называют объемом памяти. ^[121]

Конвергенция [ править ]

Модели могут не сходиться последовательно в одном решении, во-первых, потому что могут существовать локальные минимумы, в зависимости от функции стоимости и модели. Во-вторых, используемый метод оптимизации может не гарантировать сходимости, когда он начинается далеко от любого локального минимума. В-третьих, для достаточно больших данных или параметров некоторые методы становятся непрактичными.

Поведение конвергенции одних типов архитектур ИНС изучено лучше, чем других. Когда ширина сети приближается к бесконечности, ИНС хорошо описывается расширением Тейлора первого порядка на протяжении всего обучения и, таким образом, наследует поведение сходимости аффинных моделей . ^{[122] [123]} Другой пример: когда параметры малы, наблюдается, что ИНС часто соответствуют целевым функциям от низких до высоких частот. ^{[124] [125] [126] [127]} Это явление противоположно поведению некоторых хорошо изученных итерационных численных схем, таких как метод Якоби .

Обобщение и статистика [ править ]

Этот раздел включает в себя список ссылок , связанных материалов или внешних ссылок , но его источники остаются неясными, поскольку в нем отсутствуют встроенные цитаты . Пожалуйста, помогите улучшить этот раздел, добавив более точные цитаты. ( Август 2019 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Приложения, цель которых - создать систему, которая хорошо обобщается на невидимые примеры, сталкиваются с возможностью перетренированности. Это возникает в запутанных или чрезмерно заданных системах, когда пропускная способность сети значительно превышает необходимые свободные параметры. Два подхода к проблеме перетренированности. Первый - использовать перекрестную проверку и аналогичные методы для проверки наличия перетренированности и выбора гиперпараметров для минимизации ошибки обобщения.

Второй - использовать некоторую форму регуляризации . Эта концепция возникает в вероятностной (байесовской) структуре, где регуляризация может быть выполнена путем выбора большей априорной вероятности по сравнению с более простыми моделями; но также и в статистической теории обучения, где цель состоит в том, чтобы минимизировать более двух величин: «эмпирический риск» и «структурный риск», что примерно соответствует ошибке по обучающей выборке и прогнозируемой ошибке в невидимых данных из-за переобучения.

Контролируемые нейронные сети, которые используют функцию стоимости среднеквадратичной ошибки (MSE), могут использовать формальные статистические методы для определения достоверности обученной модели. MSE на проверочном наборе может использоваться как оценка дисперсии. Затем это значение можно использовать для расчета доверительного интервала выходных данных сети, предполагая нормальное распределение . Проведенный таким образом анализ достоверности статистически достоверен, пока выходное распределение вероятностей остается неизменным, а сеть не изменяется.

При назначении SoftMax функции активации , обобщение логистической функции , на выходном слое нейронной сети (или SoftMax компонента в сети на основе компонентов) для категориальных целевых переменных, выходы могут быть интерпретированы как апостериорные вероятности. Это полезно при классификации, поскольку дает определенную степень уверенности в классификациях.

Функция активации softmax:

${\displaystyle y_{i}={\frac {e^{x_{i}}}{\sum _{j=1}^{c}e^{x_{j}}}}}$

Критика [ править ]

Обучение [ править ]

Распространенная критика нейронных сетей, особенно в робототехнике, заключается в том, что они требуют слишком большого обучения для работы в реальном мире. ^{[ необходима цитата ]} Возможные решения включают случайное перемешивание обучающих примеров с использованием алгоритма численной оптимизации, который не требует слишком больших шагов при изменении сетевых подключений, следуя примеру, группирование примеров в так называемые мини-пакеты и / или введение рекурсивного наименьшего количества алгоритм квадратов для CMAC . ^[69]

Теория [ править ]

Основное возражение состоит в том, что ИНС недостаточно отражают функцию нейронов. Обратное распространение - критический шаг, хотя такого механизма не существует в биологических нейронных сетях. ^{[128] Неизвестно,} как информация кодируется реальными нейронами. ДАТЧИК нейроны огня потенциалы действия более часто с активацией датчика и мышечных клеток тянуть сильнее , когда связанные с ними двигательные нейроны получают потенциалы действия более часто. ^[129] За исключением случая передачи информации от сенсорного нейрона к двигательному нейрону, почти ничего не известно о принципах обработки информации биологическими нейронными сетями.

Основное требование ИНС - то, что они воплощают новые и мощные общие принципы обработки информации. Эти принципы плохо определены. Часто утверждается, что они возникают из самой сети. Это позволяет описать простую статистическую ассоциацию (основная функция искусственных нейронных сетей) как обучение или распознавание. Александр Дьюдни отметил, что в результате искусственные нейронные сети обладают «бесполезным» качеством, придающим особую ауру лени и явным отсутствием любопытства по поводу того, насколько хороши эти вычислительные системы. Никакой человеческой руки (или разум) вмешивается; решения находят как по волшебству; и никто, кажется, ничему не научился ". ^[130]Один из ответов Дьюдни заключается в том, что нейронные сети выполняют множество сложных и разнообразных задач, начиная от автономного управления самолетом ^{[131] и} заканчивая обнаружением мошенничества с кредитными картами и освоением игры в го .

Писатель-технолог Роджер Бриджмен прокомментировал:

Нейронные сети, например, находятся на скамье подсудимых не только потому, что они были раскручены до небес (а что нет?), Но и потому, что вы можете создать успешную сеть, не понимая, как она работает: набор чисел, который фиксирует ее поведение, по всей вероятности, будет «непрозрачной, нечитаемой таблицей ... бесполезной как научный ресурс».

Несмотря на его решительное заявление о том, что наука - это не технология, Дьюдни, кажется, здесь называет нейронные сети плохой наукой, когда большинство из тех, кто их разрабатывает, просто пытаются стать хорошими инженерами. Нечитаемую таблицу, которую могла бы прочитать полезная машина, все равно стоило бы иметь. ^[132]

Биологический мозг использует как мелкие, так и глубокие цепи, как сообщает анатомия мозга ^[133], демонстрируя широкий спектр инвариантности. Weng ^[134] утверждал, что мозг самонастраивается в основном в соответствии со статистикой сигналов, и поэтому последовательный каскад не может уловить все основные статистические зависимости.

Оборудование [ править ]

Большие и эффективные нейронные сети требуют значительных вычислительных ресурсов. ^[135] В то время как в мозгу есть оборудование, адаптированное к задаче обработки сигналов через граф нейронов, моделирование даже упрощенного нейрона на архитектуре фон Неймана может потреблять огромные объемы памяти и хранилища. Кроме того, разработчику часто требуется передавать сигналы через многие из этих соединений и связанных с ними нейронов, что требует огромной мощности и времени процессора .

Шмидхубер отметил, что возрождение нейронных сетей в двадцать первом веке в значительной степени связано с достижениями в области аппаратного обеспечения: с 1991 по 2015 год вычислительная мощность, особенно предоставляемая GPGPU (на графических процессорах ), увеличилась примерно в миллион раз, в результате чего стандартный алгоритм обратного распространения ошибки возможен для обучающих сетей, которые на несколько уровней глубже, чем раньше. ^[8] Использование ускорителей, таких как ПЛИС и графические процессоры, может сократить время обучения с месяцев до дней. ^{[136] [135]}

Нейроморфная инженерия напрямую решает аппаратные трудности, создавая не-фон-Нейманские микросхемы для непосредственной реализации нейронных сетей в схемах. Другой тип микросхемы, оптимизированный для обработки нейронных сетей, называется Tensor Processing Unit или TPU. ^[137]

Практические контрпримеры [ править ]

Анализировать то, что было изучено с помощью ИНС, намного проще, чем анализировать то, что было изучено биологической нейронной сетью. Кроме того, исследователи, занимающиеся изучением алгоритмов обучения нейронных сетей, постепенно открывают общие принципы, которые позволяют машине обучения быть успешной. Например, локальное и нелокальное обучение, мелкая или глубокая архитектура. ^[138]

Гибридные подходы [ править ]

Сторонники гибридных моделей (сочетающих нейронные сети и символические подходы) утверждают, что такая смесь может лучше охватить механизмы человеческого разума. ^{[139] [140]}

Галерея [ править ]

• Однослойная искусственная нейронная сеть с прямой связью. Стрелки, идущие от , опущены для ясности. У этой сети p входов и q выходов. В этой системе значение q-го выхода будет рассчитываться как${\displaystyle \scriptstyle x_{2}}$${\displaystyle \scriptstyle y_{q}}$${\displaystyle \scriptstyle y_{q}=K*(\sum (x_{i}*w_{iq})-b_{q})}$

• Двухслойная искусственная нейронная сеть с прямой связью.

• Искусственная нейронная сеть.

• Граф зависимости ИНС.

• Однослойная искусственная нейронная сеть с прямой связью с 4 входами, 6 скрытыми и 2 выходами. Заданное состояние положения и направления выводит управляющие значения на основе колеса.

• Двухуровневая искусственная нейронная сеть с прямой связью с 8 входами, 2x8 скрытыми и 2 выходами. При заданном состоянии положения, направлении и других значениях среды выводятся управляющие значения на основе двигателя.

• Параллельная конвейерная структура нейронной сети CMAC. Этот алгоритм обучения может сходиться за один шаг.

См. Также [ править ]

Этот раздел « см. Также » может содержать чрезмерное количество предложений . Пожалуйста, убедитесь, что указаны только самые релевантные ссылки, они не являются красными ссылками и что каких-либо ссылок еще нет в этой статье. (Март 2018 г.) ( Узнайте, как и когда удалить этот шаблон сообщения )

Ссылки [ править ]

Библиография [ править ]

Внешние ссылки [ править ]

• Зоопарк нейронных сетей - подборка типов нейронных сетей
• Мозг Стилуэлла - эпизод " Поле разума", в котором показан эксперимент, в котором люди действуют как отдельные нейроны в нейронной сети, которая классифицирует рукописные цифры.