Обобщенный алгоритм Хебба ( ГСГ ), также известный в литературе как правило Сангера , является линейным упреждением модели нейронной сети для неконтролируемого обучения с приложениями , прежде всего , в анализе главных компонент . Впервые определенное в 1989 г. [1], оно похоже на правило Оджи по формулировке и стабильности, за исключением того, что оно может применяться к сетям с несколькими выходами. Название происходит из-за сходства между алгоритмом и гипотезой Дональда Хебба [2]о способе модификации синаптических сил в мозге в ответ на опыт, т. е. о том, что изменения пропорциональны корреляции между возбуждением пре- и постсинаптических нейронов . [3]
Теория [ править ]
ГСГ комбинирует правило Оджи с процессом Грама-Шмидта, чтобы создать правило обучения формы
- , [4]
где w ij определяет синаптический вес или силу связи между j- м входным и i- м выходным нейронами, x и y - входной и выходной векторы, соответственно, а η - параметр скорости обучения .
Вывод [ править ]
В матричной форме правило Оджи можно записать
- ,
![{\ displaystyle \, {\ frac {{\ text {d}} w (t)} {{\ text {d}} t}} ~ = ~ w (t) Q- \ mathrm {diag} [w (t ) Qw (t) ^ {\ mathrm {T}}] w (t)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d16f0f29132ff35b6c7eec4df151ac577d96450c)
а алгоритм Грама-Шмидта имеет вид
- ,
![\, \ Delta w (t) ~ = ~ - \ mathrm {lower} [w (t) w (t) ^ {\ mathrm {T}}] w (t)](https://wikimedia.org/api/rest_v1/media/math/render/svg/4ff91a1c738e9f05aa66194d5a52fcdc275dfcb5)
где w ( t ) - любая матрица, в данном случае представляющая синаптические веса, Q = η x x T - матрица автокорреляции, просто внешнее произведение входных данных, diag - это функция, которая диагонализирует матрицу, а lower - функция, которая устанавливает все матричные элементы на диагонали или выше равны 0. Мы можем объединить эти уравнения, чтобы получить наше исходное правило в матричной форме,
- ,
![\, \ Delta w (t) ~ = ~ \ eta (t) \ left (\ mathbf {y} (t) \ mathbf {x} (t) ^ {\ mathrm {T}} - \ mathrm {LT} [ \ mathbf {y} (t) \ mathbf {y} (t) ^ {\ mathrm {T}}] w (t) \ right)](https://wikimedia.org/api/rest_v1/media/math/render/svg/72cc78b60356b0cf1ee99a2e5579783da5a85da6)
где функция LT устанавливает все матричные элементы над диагональю равными 0, и обратите внимание, что наш выход y ( t ) = w ( t ) x ( t ) является линейным нейроном. [1]
Стабильность и PCA [ править ]
Приложения [ править ]
ГСГ используется в приложениях, где необходима самоорганизующаяся карта или где можно использовать анализ признаков или основных компонентов . Примеры таких случаев включают искусственный интеллект и обработку речи и изображений.
Его важность проистекает из того факта, что обучение - это однослойный процесс, то есть синаптический вес изменяется только в зависимости от реакции входов и выходов этого уровня, что позволяет избежать многослойной зависимости, связанной с алгоритмом обратного распространения . Он также имеет простой и предсказуемый компромисс между скоростью обучения и точностью сходимости, задаваемой параметром скорости обучения η . [5]
См. Также [ править ]
Ссылки [ править ]
- ^ a b Сэнгер, Теренс Д. (1989). «Оптимальное обучение без учителя в однослойной линейной нейронной сети с прямой связью» (PDF) . Нейронные сети . 2 (6): 459–473. CiteSeerX 10.1.1.128.6893 . DOI : 10.1016 / 0893-6080 (89) 90044-0 . Проверено 24 ноября 2007 .
- ^ Хебба, DO (1949). Организация поведения . Нью-Йорк: Wiley & Sons. ISBN 9781135631918.
- ^ Герц, Джон; Андерс Кроу; Ричард Г. Палмер (1991). Введение в теорию нейронных вычислений . Редвуд-Сити, Калифорния: издательство Addison-Wesley Publishing Company. ISBN 978-0201515602.
- ^ Горрелл, Женевьева (2006), «Обобщенный алгоритм Хебба для инкрементальной декомпозиции сингулярных значений при обработке естественного языка», EACL , CiteSeerX 10.1.1.102.2084
- ^ a b Хайкин, Саймон (1998). Нейронные сети: всеобъемлющий фундамент (2-е изд.). Прентис Холл. ISBN 978-0-13-273350-2.
- ^ Ой, Эркки (ноябрь 1982). «Упрощенная модель нейрона как анализатор главных компонент». Журнал математической биологии . 15 (3): 267–273. DOI : 10.1007 / BF00275687 . PMID 7153672 . S2CID 16577977 . BF00275687.
