Искусственная нейронная сеть «s обучения правила или процесс обучения является методом, математическая логика и алгоритм , который улучшает производительность сети и / или время обучения. Обычно это правило многократно применяется по сети. Это делается путем обновления весов и уровней смещения сети, когда сеть моделируется в конкретной среде данных. [1] Правило обучения может принимать существующие условия (веса и смещения) сети и сравнивать ожидаемый результат и фактический результат сети, чтобы дать новые и улучшенные значения весов и смещения. [2]В зависимости от сложности моделируемой реальной модели правило обучения сети может быть таким простым, как вентиль XOR или среднеквадратическая ошибка , или сложным, как результат системы дифференциальных уравнений .
Правило обучения - это один из факторов, который определяет, насколько быстро и насколько точно может быть создана искусственная сеть. В зависимости от процесса разработки сети существует три основных модели машинного обучения:
Задний план
Многие методы обучения в машинном обучении похожи друг на друга и основаны друг на друге, что затрудняет их классификацию по четким категориям. Но их можно широко понять в 4 категориях методов обучения, хотя эти категории не имеют четких границ и, как правило, принадлежат к нескольким категориям методов обучения [3] -
- Hebbian - Neocognitron , Brain-state-in-a-box [4]
- Градиентный спуск - ADALINE , сеть Хопфилда , рекуррентная нейронная сеть
- Конкурентное - обучение Вектор квантование , Самоорганизующийся Feature Map , Adaptive Resonance Theory
- Стохастик - машина Больцмана, машина Коши
Следует отметить, что, хотя эти правила обучения могут показаться основанными на схожих идеях, у них есть тонкие различия, поскольку они являются обобщением или применением предыдущего правила, и, следовательно, имеет смысл изучать их отдельно, исходя из их происхождения. и намерения.
Hebbian Learning
Разработан Дональдом Хеббом в 1949 году для описания активации биологических нейронов. В середине 1950-х годов его также применяли для компьютерного моделирования нейронных сетей.
Где представляет скорость обучения, представляет собой выходной сигнал нейрона i, а y - выходной сигнал нейрона. Было показано, что правило Хебба в его основной форме нестабильно. Правило Оя в , BCM Теория и другие правила обучения , построенные на вершине или рядом с правилом Хебба в изучении биологических нейронов.
Правило обучения персептрона (PLR)
Правило обучения перцептрона происходит из предположения Хебба и использовалось Фрэнком Розенблаттом в его перцептроне в 1958 году. Сеть передается в функцию активации ( передачи ), а выходные данные функции используются для корректировки весов. Сигнал обучения - это разница между желаемой и реальной реакцией нейрона. Пошаговая функция часто используется как функция активации, а выходы обычно ограничены -1, 0 или 1.
Вес обновляется с помощью
где «t» - целевое значение, « o» - выход перцептрона, и называется скоростью обучения.
Алгоритм сходится к правильной классификации, если: [5]
- данные обучения линейно разделимы *
- Достаточно мала (хотя и меньше обычно означает больше времени на обучение и больше эпох)
* Следует также отметить, что однослойный персептрон с этим правилом обучения неспособен работать с линейно неразделимыми входами, и, следовательно, проблема XOR не может быть решена с использованием только этого правила [6]
Обратное распространение
Говорят, что Сеппо Линнаинмаа в 1970 году разработал алгоритм обратного распространения ошибки [7], но истоки этого алгоритма восходят к 1960-м годам со многими участниками. Это обобщение алгоритма наименьших средних квадратов для линейного персептрона и правила дельта-обучения.
Он реализует поиск градиентного спуска через пространство возможных весов сети, итеративно уменьшая ошибку между целевыми значениями и выходами сети.
Обучение Уидроу-Хоффа (правило дельта-обучения)
Подобно правилу обучения перцептрона, но с другим происхождением. Он был разработан для использования в сети ADALAINE , которая отличается от Perceptron в основном обучением. Веса корректируются в соответствии с взвешенной суммой входов (нетто), тогда как в персептроне знак взвешенной суммы был полезен для определения выхода, поскольку порог был установлен на 0, -1 или +1. Это отличает АДАЛИН от нормального перцептрона.
Правило дельты (DR) похоже на правило обучения персептрона (PLR) с некоторыми отличиями:
- Ошибка (δ) в DR не ограничивается значениями 0, 1 или -1 (как в PLR), но может иметь любое значение.
- DR может быть получен для любой дифференцируемой функции вывода / активации f, тогда как в PLR работает только для пороговой функции вывода.
Иногда только тогда, когда Widrow-Hoff применяется к двоичным целям, его называют правилом дельты, но эти термины, кажется, часто используются как взаимозаменяемые. Правило дельты считается частным случаем алгоритма обратного распространения .
Правило дельты также очень похоже на модель Рескорла-Вагнера, в соответствии с которой происходит формирование условий Павлова . [8]
Конкурсное обучение
Соревновательное обучение считается вариантом обучения на языке хебби , но оно достаточно особенное, чтобы его обсудить отдельно. Конкурентное обучение работает за счет увеличения специализации каждого узла в сети. Он хорошо подходит для поиска кластеров в данных.
Модели и алгоритмы, основанные на принципе соревновательного обучения, включают векторное квантование и самоорганизующиеся карты (карты Кохонена).
Смотрите также
Рекомендации
- ^ Саймон Хайкин (16 июля 1998). «Глава 2: Процессы обучения». Нейронные сети: комплексная основа (2-е изд.). Прентис Холл. С. 50–104. ISBN 978-8178083001. Проверено 2 мая 2012 года .
- ^ С. Рассел, П. Норвиг (1995). «Глава 18: Учимся на примерах». Искусственный интеллект: современный подход (3-е изд.). Прентис Холл. С. 693–859. ISBN 0-13-103805-2. Проверено 20 ноя 2013 .
- ^ Раджашекаран, Сундарамурти. (2003). Нейронные сети, нечеткая логика и генетические алгоритмы: синтез и приложения . Пай, Г.А. Виджаялакшми. (Восточная экономика ред.). Нью-Дели: Прентис-Холл Индии. ISBN 81-203-2186-3. OCLC 56960832 .
- ^ Голден, Ричард М. (1986-03-01). «Нейронная модель« Состояние мозга в коробке »представляет собой алгоритм градиентного спуска». Журнал математической психологии . 30 (1): 73–80. DOI : 10.1016 / 0022-2496 (86) 90043-X . ISSN 0022-2496 .
- ^ Шиванандам, С. Н. (2007). Принципы мягких вычислений . Дипа, С. Н. (1-е изд.). Нью-Дели: Wiley India. ISBN 978-81-265-1075-7. OCLC 760996382 .
- ^ Минский, Марвин, 1927-2016. (1969). Персептроны; введение в вычислительную геометрию . Паперт, Сеймур. Кембридж, Массачусетс: MIT Press. ISBN 0-262-13043-2. OCLC 5034 .CS1 maint: несколько имен: список авторов ( ссылка )
- ^ Шмидхубер, Юрген (январь 2015 г.). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети . 61 : 85–117. arXiv : 1404,7828 . DOI : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 . S2CID 11715509 .
- ^ Рескорла, Роберт (31 марта 2008 г.). «Модель Рескорла-Вагнера» . Scholarpedia . 3 (3): 2237. Bibcode : 2008SchpJ ... 3.2237R . DOI : 10,4249 / scholarpedia.2237 . ISSN 1941-6016 .