Обобщенный алгоритм Хебба ( GHA ), также известный в литературе как правило Сенгера , представляет собой линейную модель нейронной сети с прямой связью для неконтролируемого обучения с приложениями, прежде всего, в анализе главных компонентов . Впервые сформулированное в 1989 году [1] , оно похоже на правило Ойи по своей формулировке и устойчивости, за исключением того, что его можно применять к сетям с несколькими выходами. Название происходит из-за сходства между алгоритмом и гипотезой, выдвинутой Дональдом Хеббом [2] .о том, как сила синапсов в мозге изменяется в ответ на опыт, т. е. о том, что изменения пропорциональны корреляции между возбуждением пре- и постсинаптических нейронов . [3]
где w ij определяет синаптический вес или силу связи между j -м входным и i -м выходным нейронами, x и y — входной и выходной векторы соответственно, а η — параметр скорости обучения .
где w ( t ) — любая матрица, в данном случае представляющая синаптические веса, Q = η x x T — матрица автокорреляции, просто внешнее произведение входов, diag — функция, которая диагонализует матрицу, а нижняя — функция, которая устанавливает все матричные элементы на диагонали или выше равны 0. Мы можем объединить эти уравнения, чтобы получить наше исходное правило в матричной форме,
где функция LT устанавливает все матричные элементы выше диагонали равными 0, и обратите внимание, что наш выход y ( t ) = w ( t ) x ( t ) является линейным нейроном. [1]
GHA используется в приложениях, где необходима самоорганизующаяся карта или где можно использовать анализ признаков или основных компонентов. Примеры таких случаев включают искусственный интеллект и обработку речи и изображений.
Его важность обусловлена тем фактом, что обучение представляет собой одноуровневый процесс, то есть синаптический вес изменяется только в зависимости от отклика на входы и выходы этого слоя, что позволяет избежать многослойной зависимости, связанной с алгоритмом обратного распространения . Он также имеет простой и предсказуемый компромисс между скоростью обучения и точностью сходимости, установленный параметром скорости обучения η . [5]