Хеббийская теория

Теория Хебба - это нейробиологическая теория, утверждающая, что увеличение синаптической эффективности возникает из-за повторяющейся и постоянной стимуляции постсинаптической клетки пресинаптической клеткой. Это попытка объяснить синаптическую пластичность , адаптацию нейронов мозга в процессе обучения. Он был введен Дональдом Хеббом в его книге 1949 года «Организация поведения» . ^[1] Теория также называется правило Хебба , постулат Хебба и теория сборки клеток . Хебб заявляет об этом следующим образом:

Предположим, что постоянство или повторение реверберационной активности (или «следа») имеет тенденцию вызывать длительные клеточные изменения, которые добавляют к ее стабильности. ... Когда Аксон клеток А находится достаточно близко , чтобы возбудить ячейки B и неоднократно или постоянно принимает участие в обжиг, некоторый процесс роста или метаболические изменения происходят в одной или обеих клеток таким образом, что A ' эффективность s, как один из клетки, стреляющие B , увеличиваются. ^[1]

Теорию часто резюмируют как «клетки, которые стреляют вместе, соединяются вместе». ^[2] Однако, Хебб подчеркнуть , что клетки A необходимо «принять участие в стрельбе» клеток B , и такая причинно - следственная связь может иметь место только тогда , когда клетка A срабатывает непосредственно перед, а не в то же самое время , как, клетки B . Этот аспект причинности в работе Хебба предвосхитил то, что теперь известно о пластичности , зависящей от времени всплеска , которая требует временного приоритета. ^[3]

Теория пытается объяснить ассоциативное или хеббовское обучение , при котором одновременная активация клеток приводит к выраженному увеличению синаптической силы между этими клетками. Он также обеспечивает биологическую основу безошибочных методов обучения для обучения и восстановления памяти. При изучении когнитивных функций нейронных сетей ее часто рассматривают как нейронную основу обучения без учителя .

Хеббийские энграммы и теория сборки клеток [ править ]

Теория Хебба касается того, как нейроны могут соединяться, чтобы стать инграммами . Теории Хебба о форме и функции клеточных ансамблей можно понять из следующего: ^{[1] : 70}

Общая идея - старая, что любые две клетки или системы клеток, которые постоянно активны в одно и то же время, будут иметь тенденцию становиться «связанными», так что активность одной способствует активности другой.

Хебб также написал: ^{[1] : 63}

Когда одна клетка неоднократно помогает запускать другую, аксон первой клетки развивает синаптические выступы (или увеличивает их, если они уже существуют) в контакте с сомой второй клетки.

Гордон Олпорт выдвигает дополнительные идеи относительно теории сборки клеток и ее роли в формировании инграмм в соответствии с концепцией автоассоциации, описанной следующим образом:

Если входы в систему вызывают повторение одного и того же паттерна активности, набор активных элементов, составляющих этот паттерн, будет становиться все более прочно взаимосвязанным. То есть каждый элемент будет иметь тенденцию включать все остальные элементы и (с отрицательными весами) отключать элементы, которые не являются частью шаблона. Другими словами, шаблон в целом станет «автоматически связанным». Мы можем назвать выученный (автоматически связанный) паттерн инграммой. ^{[4] : 44}

Теория Хебба была основной основой традиционного взгляда на то, что при целостном анализе инграммы представляют собой нейронные сети или нейронные сети .

Работа в лаборатории Эрика Кандела предоставила доказательства участия хеббийских механизмов обучения в синапсах у морских брюхоногих моллюсков Aplysia californica . ^{[ необходима цитата ]}

Эксперименты по Хебба механизмов синапса изменения по центральной нервной системы синапсах позвоночных намного труднее контролировать , чем эксперименты с относительно простыми периферической нервной системы синапсов , изученных в морских беспозвоночных. Большая часть работы по долгосрочным синаптическим изменениям между нейронами позвоночных (например, долгосрочное потенцирование ) включает использование нефизиологической экспериментальной стимуляции клеток мозга. Однако некоторые из физиологически релевантных механизмов модификации синапсов, которые были изучены в головном мозге позвоночных, действительно кажутся примерами процессов Хебба. Одно из таких исследований ^{[ какое? ]} рассматривает результаты экспериментов, которые показывают, что длительные изменения в силе синапсов могут быть вызваны физиологически релевантной синаптической активностью, действующей как через хеббовские, так и негеббийские механизмы.

Принципы [ править ]

С точки зрения искусственных нейронов и искусственных нейронных сетей принцип Хебба можно описать как метод определения того, как изменять веса между модельными нейронами. Вес между двумя нейронами увеличивается, если два нейрона активируются одновременно, и уменьшается, если они активируются по отдельности. Узлы, которые имеют тенденцию быть одновременно положительными или отрицательными, имеют сильные положительные веса, в то время как те, которые имеют тенденцию быть противоположными, имеют сильные отрицательные веса.

Ниже приводится примерное описание изучения хеббского языка: (возможно множество других описаний)

${\ displaystyle \, w_ {ij} = x_ {i} x_ {j}}$

где - вес соединения нейрона с нейроном и вход для нейрона . Обратите внимание, что это обучение по шаблону (веса обновляются после каждого примера обучения). В сети Хопфилда соединения устанавливаются на ноль, если (рефлексивные соединения не разрешены). С бинарными нейронами (активация 0 или 1) соединения будут установлены на 1, если подключенные нейроны имеют одинаковую активацию для шаблона.${\ displaystyle w_ {ij}}$${\ displaystyle j}$${\ displaystyle i}$${\ displaystyle x_ {i}}$${\ displaystyle i}$${\ displaystyle w_ {ij}}$${\ displaystyle i = j}$

Другое шаблонное описание:

${\ displaystyle w_ {ij} = {\ frac {1} {p}} \ sum _ {k = 1} ^ {p} x_ {i} ^ {k} x_ {j} ^ {k}, \,}$

где есть вес связи от нейрона к нейрону , это количество учебных моделей и й вход для нейрона . Это обучение по эпохам (веса обновляются после того, как представлены все обучающие примеры). Опять же, в сети Хопфилда соединения обнуляются, если (нет рефлексивных соединений).${\ displaystyle w_ {ij}}$${\ displaystyle j}$${\ displaystyle i}$${\ displaystyle p}$${\ displaystyle x_ {i} ^ {k}}$${\ displaystyle k}$${\ displaystyle i}$${\ displaystyle w_ {ij}}$${\ displaystyle i = j}$

Математическая модель Гарри Клопфа - это разновидность хеббийского обучения, которая учитывает такие явления, как блокирование и многие другие явления нейронного обучения . ^[5] Модель Клопфа воспроизводит множество биологических явлений, а также проста в реализации.

Отношение к обучению без учителя, стабильности и обобщению [ править ]

Из-за простой природы обучения Хебба, основанного только на совпадении пре- и постсинаптической активности, может быть неясно, почему эта форма пластичности приводит к осмысленному обучению. Однако можно показать, что пластичность Хебба действительно учитывает статистические свойства входных данных таким образом, что их можно отнести к категории обучения без учителя.

Математически это можно показать на упрощенном примере. Давайте работать в упрощающем предположении об одном нейроне скорости , основанном на скорости , чьи входы имеют скорости . Отклик нейрона в режиме скорости обычно описывается как линейная комбинация его входных данных, за которыми следует функция отклика :${\ Displaystyle у (т)}$${\ Displaystyle х_ {1} (т) ... х_ {N} (т)}$

${\ displaystyle y = f \ left (\ sum _ {i = 1} ^ {N} w_ {i} x_ {i} \ right).}$

Как было определено в предыдущих разделах, пластичность Хебба описывает эволюцию синаптического веса во времени :${\ displaystyle w}$

${\ displaystyle {\ frac {dw_ {i}} {dt}} = \ eta x_ {i} y.}$

Предполагая для простоты функцию линейного отклика , мы можем написать${\ displaystyle f}$

${\ displaystyle {\ frac {dw_ {i}} {dt}} = \ eta x_ {i} \ sum _ {j = 1} ^ {N} w_ {j} x_ {j}}$

или в матричной форме:

${\displaystyle {\frac {d\mathbf {w} }{dt}}=\eta \mathbf {x} \mathbf {x} ^{T}\mathbf {w} .}$

Предполагая, что нас интересует долгосрочная эволюция весов, мы можем взять среднее по времени из приведенного выше уравнения. При дополнительном предположении , что (то есть среднее время входов равен нулю), то получим , то корреляционная матрица входных данных:${\displaystyle \langle \mathbf {x} \rangle =0}$${\displaystyle \langle \mathbf {x} \mathbf {x} ^{T}\rangle =C}$

${\displaystyle {\frac {d\mathbf {w} }{dt}}=\eta C\mathbf {w} .}$

Это система связанных линейных дифференциальных уравнений. Поскольку он симметричен , он также диагонализуем , и, работая в его базисе собственных векторов, можно найти решение, которое имело бы вид${\displaystyle N}$${\displaystyle C}$

${\displaystyle \mathbf {w} (t)=k_{1}e^{\eta \alpha _{1}t}\mathbf {c} _{1}+k_{2}e^{\eta \alpha _{2}t}\mathbf {c} _{2}+...+k_{N}e^{\eta \alpha _{N}t}\mathbf {c} _{N}}$

где - произвольные постоянные, - собственные векторы и соответствующие им собственные значения. Поскольку корреляционная матрица всегда является положительно определенной матрицей${\displaystyle k_{i}}$${\displaystyle \mathbf {c} _{i}}$${\displaystyle C}$${\displaystyle \alpha _{i}}$, все собственные значения положительны, и легко увидеть, как указанное выше решение всегда экспоненциально расходится во времени. Это внутренняя проблема из-за нестабильности этой версии правила Хебба, так как в любой сети с доминирующим сигналом синаптические веса будут увеличиваться или уменьшаться экспоненциально. Интуитивно это происходит потому, что всякий раз, когда пресинаптический нейрон возбуждает постсинаптический нейрон, нагрузка между ними усиливается, вызывая еще более сильное возбуждение в будущем и так далее, самоусиливающимся образом. Можно подумать, что решение состоит в том, чтобы ограничить частоту срабатывания постсинаптического нейрона, добавив нелинейную насыщающую функцию отклика , но на самом деле можно показать, что для любой модели нейрона правило Хебба нестабильно. ^[6]${\displaystyle f}$Таким образом, сетевые модели нейронов обычно используют другие теории обучения , такие как теория BCM , правила Оя в , ^[7] или обобщенным алгоритмом Хебба .

Тем не менее, даже для нестабильного решения, приведенного выше, можно увидеть, что по прошествии достаточного времени один из членов преобладает над другими, и

${\displaystyle \mathbf {w} (t)\approx e^{\eta \alpha ^{*}t}\mathbf {c} ^{*}}$

где - наибольшее собственное значение . В это время постсинаптический нейрон выполняет следующую операцию:${\displaystyle \alpha ^{*}}$${\displaystyle C}$

${\displaystyle y=A\sum _{i=1}^{N}c_{i}^{*}x_{i}.}$

где - некоторая константа. Поскольку, опять же, это собственный вектор, соответствующий наибольшему собственному значению корреляционной матрицы между s, это точно соответствует вычислению первого главного компонента входных данных.${\displaystyle A}$${\displaystyle \mathbf {c} ^{*}}$${\displaystyle x_{i}}$

Этот механизм может быть расширен для выполнения полного PCA (анализа главных компонентов) входных данных путем добавления дополнительных постсинаптических нейронов при условии, что постсинаптические нейроны не могут улавливать один и тот же главный компонент, например, путем добавления латерального торможения в постсинаптическом слое. Таким образом, мы соединили обучение Hebbian с PCA, который представляет собой элементарную форму обучения без учителя, в том смысле, что сеть может улавливать полезные статистические аспекты входных данных и «описывать» их в дистиллированном виде в своих выходных данных. ^[8]

Исключения [ править ]

Несмотря на обычное использование моделей Хебба для долгосрочного потенцирования, существует несколько исключений из принципов и примеров Хебба, которые демонстрируют, что некоторые аспекты теории чрезмерно упрощены. Одно из наиболее хорошо задокументированных исключений касается того, как синаптическая модификация может происходить не только между активированными нейронами A и B, но и с соседними нейронами. ^[9] Это связано с тем, что модификация Хебба зависит от ретроградной передачи сигналов , чтобы изменить пресинаптический нейрон. ^[10] Соединение, наиболее часто определяемое как выполняющее роль ретроградного передатчика, - это оксид азота , который из-за своей высокой растворимости и диффузии часто оказывает влияние на соседние нейроны. ^[11]Этот тип диффузной синаптической модификации, известный как объемное обучение, счетчики или, по крайней мере, дополняет традиционную хеббовскую модель. ^[12]

Хеббийский обучающий отчет о зеркальных нейронах [ править ]

Обучение Хебба и пластичность, зависящая от времени спайков, использовались во влиятельной теории возникновения зеркальных нейронов . ^{[13] [14]} Зеркальные нейроны - это нейроны, которые активируются как когда человек выполняет действие, так и когда человек видит ^[15] или слышит ^[16]другой выполняет аналогичное действие. Открытие этих нейронов оказало большое влияние на объяснение того, как люди понимают действия других, показав, что, когда человек воспринимает действия других, человек активирует моторные программы, которые они использовали бы для выполнения аналогичных действий. Затем активация этих моторных программ добавляет информацию к восприятию и помогает предсказать, что человек будет делать дальше, на основе собственной моторной программы воспринимающего. Задача состояла в том, чтобы объяснить, как у людей появляются нейроны, которые реагируют как на выполнение действия, так и на то, что он слышит или видит, как другой выполняет аналогичные действия.

Кристиан Кейзерси Дэвид Перретт предположил, что когда человек выполняет определенное действие, он будет видеть, слышать и чувствовать выполнение действия. Эти реафферентные сенсорные сигналы будут запускать активность нейронов, реагирующих на вид, звук и ощущение действия. Поскольку активность этих сенсорных нейронов будет последовательно перекрываться во времени с активностью двигательных нейронов, вызвавших действие, обучение Хебба предсказывает, что синапсы, соединяющие нейроны, реагирующие на зрение, звук и ощущение действия, и нейроны, запускающие действие должно быть усилено. То же самое верно, когда люди смотрят на себя в зеркало, слышат, как они болтают или им подражают. После неоднократного переживания этой переадресации,

Доказательства этой точки зрения получены из многих экспериментов, которые показывают, что моторные программы могут запускаться новыми слуховыми или визуальными стимулами после повторного сочетания стимула с выполнением моторной программы (обзор доказательств см. В Giudice et al., 2009 ^[17] ). Например, люди, которые никогда не играли на пианино, не активируют области мозга, участвующие в игре на пианино, при прослушивании фортепианной музыки. Доказано, что пяти часов занятий на фортепиано, в которых участник слышит звук фортепиано каждый раз, когда он нажимает клавишу, достаточно для того, чтобы вызвать активность двигательных областей мозга при прослушивании фортепианной музыки, которая будет услышана позже. ^[18]В соответствии с тем фактом, что пластичность, зависящая от времени спайков, возникает только в том случае, если активация пресинаптического нейрона предсказывает активацию постсинаптического нейрона ^[19], связь между сенсорными стимулами и моторными программами также, по-видимому, усиливается только в том случае, если стимул зависит от моторная программа.

См. Также [ править ]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Хебб Д.О. (1961). «Отличительные особенности обучения у высших животных». В JF Delafresnaye (ред.). Мозговые механизмы и обучение . Лондон: Издательство Оксфордского университета.
• Хебб Д.О. (1940). «Поведение человека после обширного двустороннего удаления лобных долей». Архив неврологии и психиатрии . 44 (2): 421–438. DOI : 10,1001 / archneurpsyc.1940.02280080181011 .
• Епископ, CM (1995). Нейронные сети для распознавания образов . Оксфорд: Издательство Оксфордского университета. ISBN 978-0-19-853849-3.
• Paulsen, O .; Сейновски, Т.Дж. (2000). «Естественные закономерности активности и долговременная синаптическая пластичность» . Текущее мнение в нейробиологии . 10 (2): 172–179. DOI : 10.1016 / S0959-4388 (00) 00076-3 . PMC  2900254 . PMID  10753798 .

Внешние ссылки [ править ]

• Обзор
• Учебное пособие по изучению Hebbian ( Часть 1: Фильтрация новинок , Часть 2: PCA )