Правило обучения Оя , или просто правило Оя , названное в честь финского компьютерного ученого Эркки Оя , представляет собой модель того, как нейроны в мозге или в искусственных нейронных сетях со временем меняют силу связи или обучаются. Это модификация стандартного правила Хебба (см. Обучение Хебба ), которое посредством мультипликативной нормализации решает все проблемы стабильности и генерирует алгоритм для анализа главных компонентов . Это вычислительная форма эффекта, который, как полагают, происходит в биологических нейронах.
Теория
Правило Оджи требует ряда упрощений для получения, но в его окончательной форме оно очевидно стабильно, в отличие от правила Хебба. Это частный случай одного нейрона обобщенного алгоритма Хебба . Однако правило Оджи можно обобщить и другими способами до различной степени стабильности и успеха.
Формула
Рассмотрим упрощенную модель нейрона. который возвращает линейную комбинацию своих входов x с использованием пресинаптических весов w :
Правило Оджи определяет изменение пресинаптических весов w с учетом выходной реакциинейрона на его входы x, чтобы быть
где η - скорость обучения, которая также может изменяться со временем. Обратите внимание, что жирным шрифтом обозначены векторы, а n определяет дискретное время итерации. Правило также может быть сделано для непрерывных итераций как
Вывод
Простейшим известным правилом обучения является правило Хебба, которое концептуально заявляет, что нейроны, срабатывающие вместе, соединяются между собой . В компонентной форме в виде разностного уравнения записывается
- ,
или в скалярной форме с неявной n- зависимостью,
- ,
где y ( x n ) снова является выходом, на этот раз явно зависящим от его входного вектора x .
Правило Хебба имеет синаптические веса, приближающиеся к бесконечности с положительной скоростью обучения. Мы можем остановить это, нормализовав веса так, чтобы величина каждого веса была ограничена между 0, что соответствует отсутствию веса, и 1, что соответствует единственному входному нейрону с любым весом. Мы делаем это, нормализуя весовой вектор, чтобы он имел длину один:
- .
Обратите внимание, что в исходной статье Оджи [1] p = 2 , что соответствует квадратуре (корень из суммы квадратов), который является известным правилом декартовой нормализации. Однако любой тип нормализации, даже линейный, даст тот же результат без потери общности .
За небольшую скорость обучения уравнение можно разложить в степенной ряд в. [1]
- .
При малых η наши члены высшего порядка O ( η 2 ) обращаются в нуль. Мы снова делаем спецификацию линейного нейрона, то есть выход нейрона равен сумме произведения каждого входа и его синаптического веса на степень p-1, которая в случае p = 2 равна сам синаптический вес, или
- .
Мы также указываем, что наши веса нормализуются до 1 , что будет необходимым условием стабильности, поэтому
- ,
который, будучи замененным в нашем расширении, дает правило Оджи, или
- .
Стабильность и PCA
При анализе сходимости отдельного нейрона, развивающегося по правилу Оджи, извлекается первый главный компонент или особенность набора данных. Кроме того, с помощью расширений, использующих обобщенный алгоритм Хебба , можно создать нейронную сеть с несколькими Oja, которая может извлекать столько функций, сколько требуется, что позволяет проводить анализ основных компонентов .
Основной компонент J извлекается из набора данных х через некоторый присоединенный вектор д J или J = д J ⋅ х , и мы сможем восстановить исходный набор данных путем принятия
- .
В случае одиночного нейрона, обученного по правилу Оджи, мы обнаруживаем, что весовой вектор сходится к q 1 или первому главному компоненту, когда время или количество итераций приближается к бесконечности. Мы также можем определить, учитывая набор входных векторов X i , что его корреляционная матрица R ij = X i X j имеет связанный собственный вектор, задаваемый q j с собственным значением λ j . Дисперсия выходов нашего Oja нейроне σ 2 ( п ) = ⟨y 2 ( п )⟩ затем сходится с итераций времени к главному собственному значению, или
- .
Эти результаты получены с использованием анализа функций Ляпунова , и они показывают, что нейрон Оджи обязательно сходится строго к первому главному компоненту, если определенные условия выполняются в нашем исходном правиле обучения. Что наиболее важно, скорость обучения η может изменяться со временем, но только так, чтобы ее сумма расходилась, но ее сумма степеней сходилась , т. Е.
- .
Наша выходная функция активации y ( x ( n )) также может быть нелинейной и нестатической, но она должна быть непрерывно дифференцируемой как по x, так и по w, а производные должны быть ограничены по времени. [2]
Обобщения
Недавно в контексте ассоциативного обучения было показано, что правило Хебба, которое похоже на правило Оджи, может быть обобщено с использованием модели, подобной Изингу: [3] Основная идея обобщения основана на формулировке энергетической функции как в модели Изинга, а затем применяя алгоритм стохастического градиентного спуска к этой энергетической функции. Энергетическая функция и правило обновления, соответствующие следующей производной, задаются следующим образом:
- ,
- ,
где: , это связь между входами, сила корреляции между моделью и выходом, соответствует наличию внешнего магнитного поля, определяет связи между входами.
Тогда для , , а также мы получаем правило Хебба, а для , , , а также , где является единичной матрицей, введем уменьшение веса. Затем формула сводится к:
- ,
Приложения
Правило Оджи было первоначально описано в статье Оджи 1982 г. [1], но принцип самоорганизации, к которому оно применяется, впервые приписывается Алану Тьюрингу в 1952 г. [2] PCA также имел долгую историю использования до того, как правило Оджи было формализовано. его использование в сетевых вычислениях в 1989 году. Таким образом, модель может быть применена к любой проблеме самоорганизующегося отображения , в особенности к тем, в которых извлечение признаков представляет первостепенный интерес. Таким образом, правило Оджи занимает важное место в обработке изображений и речи. Это также полезно, поскольку оно легко расширяется до более высоких измерений обработки, что позволяет быстро интегрировать несколько выходов. Каноническим примером является его использование в бинокулярном зрении . [4]
Биология и правило подпространства Оджи
Существуют четкие доказательства как долгосрочной потенциации, так и долговременной депрессии в биологических нейронных сетях, наряду с эффектом нормализации как входных весов, так и выходов нейронов. Однако, хотя пока нет прямых экспериментальных доказательств того, что правило Оджи действует в биологической нейронной сети, биофизический вывод обобщения правила возможен. Такое происхождение требует ретроградной передачи сигналов от постсинаптического нейрона, что является биологически правдоподобным (см. Обратное распространение нейронов ) и принимает форму
где, как и раньше, w ij - синаптический вес между нейронами i- го входа и j- го выхода, x - вход, y - постсинаптический выход, и мы определяем ε как постоянную, аналогичную скорости обучения, а c pre и c post представляют собой пресинаптические и постсинаптические функции, моделирующие ослабление сигналов с течением времени. Обратите внимание, что угловые скобки обозначают среднее значение, а оператор ∗ представляет собой свертку . Взяв пре- и постсинаптические функции в частотное пространство и комбинируя члены интегрирования со сверткой, мы обнаруживаем, что это дает произвольное обобщение правила Оджи, известного как подпространство Оджи , [5] а именно
Смотрите также
Рекомендации
- ^ a b c Oja, Erkki (ноябрь 1982 г.). «Упрощенная модель нейрона как анализатор главных компонент». Журнал математической биологии . 15 (3): 267–273. DOI : 10.1007 / BF00275687 . PMID 7153672 . S2CID 16577977 . BF00275687.
- ^ а б Хайкин, Саймон (1998). Нейронные сети: всеобъемлющий фундамент (2-е изд.). Прентис Холл. ISBN 978-0-13-273350-2.
- ↑ Якуб М. Томчак, Ассоциативное обучение с использованием модели Изинга , в «Достижения в области системной науки», (ред.) Ежи Свёнтек, Адам Грзех, Павел Свёнтек, Якуб М. Томчак, Достижения в области интеллектуальных и мягких вычислений, Vol. 240, Springer-Verlag, 2014 г., стр. 295-304, PDF
- ^ Интратор, Натан (2007). «Обучение без учителя» . Лекции по нейронным вычислениям . Тель-Авивский университет . Проверено 22 ноября 2007 .
- ^ Оя, Эркки (1989). «Нейронные сети, основные компоненты и подпространства». Международный журнал нейронных систем . 1 (1): 61–68. DOI : 10.1142 / S0129065789000475 .
- ^ Фристон, штат Калифорния; CD Frith; RSJ Frackowiak (22 октября 1993 г.). "Алгоритмы обучения анализу главных компонентов: нейробиологический анализ". Труды: Биологические науки . 254 (1339): 47–54. Bibcode : 1993RSPSB.254 ... 47F . DOI : 10,1098 / rspb.1993.0125 . JSTOR 49565 . PMID 8265675 . S2CID 42179377 .
Внешние ссылки
- Оя, Эркки: правило обучения Оджа в Scholarpedia
- Оя, Эркки: Университет Аалто