Теория Хебба - это нейробиологическая теория, утверждающая, что увеличение синаптической эффективности возникает из-за повторяющейся и постоянной стимуляции постсинаптической клетки пресинаптической клеткой. Это попытка объяснить синаптическую пластичность , адаптацию нейронов мозга в процессе обучения. Он был введен Дональдом Хеббом в его книге 1949 года «Организация поведения» . [1] Теория также называется правило Хебба , постулат Хебба и теория сборки клеток . Хебб заявляет об этом следующим образом:
Предположим, что постоянство или повторение реверберационной активности (или «следа») имеет тенденцию вызывать длительные клеточные изменения, которые добавляют к ее стабильности. ... Когда аксон клетки A находится достаточно близко, чтобы возбудить клетку B, и неоднократно или постоянно участвует в ее возбуждении, в одной или обеих клетках происходит некоторый процесс роста или метаболические изменения, так что эффективность A как одного из клетки, стреляющие B , увеличиваются. [1]
Теорию часто резюмируют как «Ячейки, которые срабатывают вместе, соединяются вместе». [2] Однако, Хебб подчеркнуть , что клетки A необходимо «принять участие в стрельбе» клеток B , и такая причинно - следственная связь может иметь место только тогда , когда клетка A срабатывает непосредственно перед, а не в то же самое время , как, клетки B . Этот аспект причинности в работе Хебба предвосхитил то, что теперь известно о пластичности , зависящей от времени всплеска , которая требует временного приоритета. [3]
Теория пытается объяснить ассоциативное или хеббовское обучение , при котором одновременная активация клеток приводит к выраженному увеличению синаптической силы между этими клетками. Он также обеспечивает биологическую основу безошибочных методов обучения для обучения и восстановления памяти. При изучении когнитивных функций нейронных сетей ее часто рассматривают как нейронную основу обучения без учителя .
Геббийские энграммы и теория сборки клеток
Теория Хебба касается того, как нейроны могут соединяться, чтобы стать инграммами . Теории Хебба о форме и функции клеточных ансамблей можно понять из следующего: [1] : 70
Общая идея - старая, что любые две клетки или системы клеток, которые многократно активны в одно и то же время, будут иметь тенденцию становиться «связанными», так что активность одной способствует активности другой.
Хебб также написал: [1] : 63
Когда одна клетка неоднократно помогает запускать другую, аксон первой клетки развивает синаптические выступы (или увеличивает их, если они уже существуют) в контакте с сомой второй клетки.
[Д. Алан Олпорт] выдвигает дополнительные идеи относительно теории сборки клеток и ее роли в формировании инграмм в соответствии с концепцией автоассоциации, описанной следующим образом:
Если входы в систему вызывают повторение одного и того же паттерна активности, набор активных элементов, составляющих этот паттерн, будет становиться все более прочно взаимосвязанным. То есть каждый элемент будет иметь тенденцию включать все остальные элементы и (с отрицательными весами) отключать элементы, которые не являются частью шаблона. Другими словами, шаблон в целом станет «автоматически связанным». Мы можем назвать выученный (автоматически связанный) паттерн инграммой. [4] : 44
Работа в лаборатории Эрика Кандела предоставила доказательства участия хеббийских механизмов обучения в синапсах у морских брюхоногих моллюсков Aplysia californica . [ Править ] Эксперименты по Хебба механизмов синапса изменения по центральной нервной системы синапсах позвоночных намного труднее контролировать , чем эксперименты с относительно простыми периферической нервной системы синапсов , изученных в морских беспозвоночных. Большая часть работы по долгосрочным синаптическим изменениям между нейронами позвоночных (например, долгосрочное потенцирование ) включает использование нефизиологической экспериментальной стимуляции клеток мозга. Однако некоторые из физиологически релевантных механизмов модификации синапсов, которые были изучены в головном мозге позвоночных, действительно кажутся примерами процессов Хебба. Одно из таких исследований [ какое? ] рассматривает результаты экспериментов, которые показывают, что длительные изменения в силе синапсов могут быть вызваны физиологически релевантной синаптической активностью, действующей как через хеббовские, так и негеббийские механизмы.
Принципы
С точки зрения искусственных нейронов и искусственных нейронных сетей принцип Хебба можно описать как метод определения того, как изменять веса между модельными нейронами. Вес между двумя нейронами увеличивается, если два нейрона активируются одновременно, и уменьшается, если они активируются по отдельности. Узлы, которые имеют тенденцию быть одновременно положительными или отрицательными, имеют сильные положительные веса, в то время как те, которые имеют тенденцию быть противоположными, имеют сильные отрицательные веса.
Ниже приводится примерное описание изучения хеббского языка: (возможно множество других описаний)
где это вес связи от нейрона к нейрону а также вход для нейрона . Обратите внимание, что это обучение по шаблону (веса обновляются после каждого примера обучения). В сети Хопфилда соединения равны нулю, если (рефлексивные соединения не допускаются). С бинарными нейронами (активация 0 или 1) соединения будут установлены на 1, если подключенные нейроны имеют одинаковую активацию для шаблона.
При использовании нескольких обучающих паттернов выражение становится средним для отдельных:
где это вес связи от нейрона к нейрону , количество тренировочных шаблонов, в й вход для нейрона а <> - среднее значение по всем шаблонам обучения. Это обучение по эпохам (веса обновляются после того, как представлены все обучающие примеры), и это последний термин, применимый как к дискретным, так и к непрерывным тренировочным наборам. Опять же, в сети Хопфилда соединения равны нулю, если (без возвратных связей).
Математическая модель Гарри Клопфа - это разновидность хеббийского обучения, которая учитывает такие явления, как блокирование и многие другие явления нейронного обучения . [5] Модель Клопфа воспроизводит множество биологических явлений, а также проста в реализации.
Отношение к обучению без учителя, стабильность и обобщение
Из-за простой природы обучения Хебба, основанного только на совпадении пре- и постсинаптической активности, может быть неясно, почему эта форма пластичности приводит к осмысленному обучению. Однако можно показать, что пластичность Хебба действительно учитывает статистические свойства входных данных таким образом, что их можно отнести к категории обучения без учителя.
Математически это можно показать на упрощенном примере. Давайте работать в упрощающем предположении об одном нейроне, зависящем от скорости, входы которого имеют ставки . Ответ нейрона обычно описывается как линейная комбинация его входных данных, , за которым следует функция ответа :
Как было определено в предыдущих разделах, пластичность Хебба описывает эволюцию синаптического веса во времени. :
Предположим, для простоты, функция ответа идентичности , мы можем написать
или в матричной форме:
Как и в предыдущей главе, если обучение по эпохам проводится в среднем над дискретной или непрерывной (временной) обучающей выборкой осуществимо:
где - произвольные постоянные, являются собственными векторами а также их соответствующие собственные значения. Поскольку корреляционная матрица всегда является положительно определенной матрицей , все собственные значения положительны, и можно легко увидеть, как указанное выше решение всегда экспоненциально расходится во времени. Это внутренняя проблема из-за нестабильности этой версии правила Хебба, так как в любой сети с доминирующим сигналом синаптические веса будут увеличиваться или уменьшаться экспоненциально. Интуитивно это происходит потому, что всякий раз, когда пресинаптический нейрон возбуждает постсинаптический нейрон, нагрузка между ними усиливается, вызывая еще более сильное возбуждение в будущем и так далее, самоусиливающимся образом. Можно подумать, что решение состоит в том, чтобы ограничить скорость возбуждения постсинаптического нейрона, добавив нелинейную насыщающую функцию ответа., но на самом деле можно показать, что для любой модели нейрона правило Хебба нестабильно. [6] Таким образом, сетевые модели нейронов обычно используют другие теории обучения , такие как теория BCM , правила Оя в , [7] или обобщенным алгоритмом Хебба .
Тем не менее, даже для нестабильного решения, приведенного выше, можно увидеть, что по прошествии достаточного времени один из членов преобладает над другими, и
где - наибольшее собственное значение. В это время постсинаптический нейрон выполняет следующую операцию:
Потому что, опять же, - собственный вектор, соответствующий наибольшему собственному значению корреляционной матрицы между s, это точно соответствует вычислению первого главного компонента входных данных.
Этот механизм может быть расширен для выполнения полного PCA (анализа главных компонентов) входных данных путем добавления дополнительных постсинаптических нейронов при условии, что постсинаптические нейроны не могут улавливать один и тот же главный компонент, например, путем добавления латерального торможения в постсинаптическом слое. Таким образом, мы соединили обучение Hebbian с PCA, который представляет собой элементарную форму обучения без учителя, в том смысле, что сеть может улавливать полезные статистические аспекты входных данных и «описывать» их в дистиллированном виде в своих выходных данных. [8]
Ограничения
Несмотря на обычное использование моделей Хебба для долговременной потенциации, принцип Хебба не охватывает все формы синаптической долговременной пластичности. Хебб не постулировал никаких правил для тормозных синапсов и не делал прогнозов для последовательностей антипричинных спайков (пресинаптический нейрон срабатывает после постсинаптического нейрона). Синаптическая модификация может происходить не только между активированными нейронами A и B, но и в соседних синапсах. [9] Поэтому все формы гетеросинаптической и гомеостатической пластичности считаются негеббийскими. Примером может служить ретроградная передача сигналов пресинаптическим терминалам. [10] Соединение, наиболее часто определяемое как выполняющее роль ретроградного передатчика, - это оксид азота , который из-за своей высокой растворимости и диффузии часто оказывает влияние на соседние нейроны. [11] Этот тип диффузной синаптической модификации, известный как объемное обучение, не включен в традиционную модель Хебба. [12]
Хеббийский обучающий счет зеркальных нейронов
Обучение Хебба и пластичность, зависящая от времени спайков, использовались во влиятельной теории возникновения зеркальных нейронов . [13] [14] Зеркальные нейроны - это нейроны, которые срабатывают как когда человек выполняет действие, так и когда человек видит [15] или слышит [16], что другой выполняет аналогичное действие. Открытие этих нейронов оказало большое влияние на объяснение того, как люди понимают действия других, показав, что, когда человек воспринимает действия других, человек активирует моторные программы, которые они использовали бы для выполнения аналогичных действий. Затем активация этих моторных программ добавляет информацию к восприятию и помогает предсказать, что человек будет делать дальше, на основе собственной моторной программы воспринимающего. Задача состояла в том, чтобы объяснить, как у людей появляются нейроны, которые реагируют как на выполнение действия, так и на то, что он слышит или видит, как другой выполняет аналогичные действия.
Кристиан Кейзерс и Дэвид Перретт предположили, что когда человек выполняет определенное действие, он будет видеть, слышать и чувствовать его выполнение. Эти реафферентные сенсорные сигналы будут запускать активность нейронов, реагирующих на вид, звук и ощущение действия. Поскольку активность этих сенсорных нейронов будет последовательно перекрываться во времени с активностью двигательных нейронов, вызвавших действие, обучение Хебба предсказывает, что синапсы, соединяющие нейроны, реагирующие на зрение, звук и ощущение действия, и нейроны, запускающие действие должно быть усилено. То же самое верно, когда люди смотрят на себя в зеркало, слышат, как они болтают или им подражают. После многократного переживания этого переосмысления синапсы, соединяющие сенсорные и моторные представления о действии, становятся настолько сильными, что мотонейроны начинают стрелять по звуку или видению действия, и создается зеркальный нейрон.
Доказательства этой точки зрения получены из многих экспериментов, которые показывают, что моторные программы могут запускаться новыми слуховыми или визуальными стимулами после повторного сочетания стимула с выполнением моторной программы (обзор доказательств см. В Giudice et al., 2009 [17] ). Например, люди, которые никогда не играли на пианино, не активируют области мозга, участвующие в игре на пианино, при прослушивании фортепианной музыки. Доказано, что пяти часов занятий на фортепиано, в которых участник слышит звук фортепиано каждый раз, когда он нажимает клавишу, достаточно для того, чтобы вызвать активность двигательных областей мозга при прослушивании фортепианной музыки, которая будет услышана позже. [18] В соответствии с тем фактом, что пластичность, зависящая от времени спайков, возникает только в том случае, если активация пресинаптического нейрона предсказывает активацию постсинаптического нейрона, [19] связь между сенсорными стимулами и моторными программами также, по-видимому, усиливается только в том случае, если стимул является в зависимости от моторной программы.
Смотрите также
- Принцип Дейла
- Обнаружение совпадений в нейробиологии
- Leabra
- Метапластичность
- Тетаническая стимуляция
- Синаптотропная гипотеза
- Нейропластичность
Рекомендации
- ^ а б в г Хебб, Д. О. (1949). Организация поведения . Нью-Йорк: Wiley & Sons.
- ^ Зигрид Лёвель , Геттингенский университет; Точное предложение звучит так: «нейроны соединяются вместе, если они срабатывают вместе» (Löwel, S. и Singer, W. (1992) Science 255 (опубликовано 10 января 1992 г.) «Выбор внутренних горизонтальных связей в зрительной коре с помощью коррелированной нейронной активности» . Научный журнал . США: Американская ассоциация развития науки. С. 209–212. ISSN 0036-8075 .
- ^ Caporale N; Дэн И (2008). «Пластичность, зависящая от времени спайка: правило обучения Хебба». Ежегодный обзор неврологии . 31 : 25–46. DOI : 10.1146 / annurev.neuro.31.060407.125639 . PMID 18275283 .
- ^ Олпорт, Д.А. (1985). «Распределенная память, модульные системы и дисфазия». В Ньюмане, СК; Эпштейн Р. (ред.). Современные перспективы дисфазии . Эдинбург: Черчилль Ливингстон. ISBN 978-0-443-03039-0.
- ^ Klopf, АХ (1972). Функции мозга и адаптивные системы - гетеростатическая теория . Технический отчет AFCRL-72-0164, Кембриджские исследовательские лаборатории ВВС, Бедфорд, Массачусетс.
- ^ Эулиано, Нил Р. (1999-12-21). «Нейронные и адаптивные системы: основы моделирования» (PDF) . Вайли. Архивировано из оригинального (PDF) 25 декабря 2015 года . Проверено 16 марта 2016 .
- ^ Шуваль, Харель (2005-01-03). «Физика мозга» . Синаптическая основа обучения и памяти: теоретический подход . Научный центр здоровья Техасского университета в Хьюстоне. Архивировано из оригинала на 2007-06-10 . Проверено 14 ноября 2007 .
- ^ Герстнер, Вульфрам; Kistler, Werner M .; Науд, Ричард; Панински, Лиам (июль 2014 г.). Глава 19: Синаптическая пластичность и обучение . Нейрональная динамика: от отдельных нейронов до сетей и моделей познания . Издательство Кембриджского университета. ISBN 978-1107635197. Проверено 9 ноября 2020 .
- ^ Хорган, Джон (май 1994). «Нейронное подслушивание». Scientific American . 270 (5): 16. Bibcode : 1994SciAm.270e..16H . DOI : 10.1038 / Scientificamerican0594-16 . PMID 8197441 .
- ^ Фитцсимондс, Рэйко; Му-Мин По (январь 1998 г.). «Ретроградная сигнализация в развитии и модификации синапсов» . Физиологические обзоры . 78 (1): 143–170. DOI : 10.1152 / Physrev.1998.78.1.143 . PMID 9457171 . S2CID 11604896 .
- ^ López, P; CP Araujo (2009). «Вычислительное исследование диффузных окрестностей в биологических и искусственных нейронных сетях» (PDF) . Международная совместная конференция по вычислительному интеллекту .
- ^ Mitchison, G; Н. Суиндейл (октябрь 1999 г.). «Может ли объемное обучение по Хеббю объяснять разрывы в картах коры головного мозга?» . Нейронные вычисления . 11 (7): 1519–1526. DOI : 10.1162 / 089976699300016115 . PMID 10490935 . S2CID 2325474 .
- ^ Keysers C; Перретт Д.И. (2004). «Демистификация социального познания: хеббийская перспектива» . Тенденции в когнитивных науках . 8 (11): 501–507. DOI : 10.1016 / j.tics.2004.09.005 . PMID 15491904 . S2CID 8039741 .
- ^ Keysers, C. (2011). Эмпатический мозг .
- ^ Галлезе V; Fadiga L; Fogassi L; Риццолатти G (1996). «Распознавание действий в премоторной коре» . Мозг . 119 (Pt 2): 593–609. DOI : 10,1093 / мозг / 119.2.593 . PMID 8800951 .
- ^ Keysers C; Kohler E; Умилта М.А. Nanetti L; Fogassi L; Галлезе V (2003). «Аудиовизуальные зеркальные нейроны и распознавание действий». Exp Brain Res . 153 (4): 628–636. CiteSeerX 10.1.1.387.3307 . DOI : 10.1007 / s00221-003-1603-5 . PMID 12937876 . S2CID 7704309 .
- ^ Del Giudice M; Manera V; Кейзерс С (2009). «Запрограммирован на обучение? Онтогенез зеркальных нейронов» (PDF) . Dev Sci . 12 (2): 350–363. DOI : 10.1111 / j.1467-7687.2008.00783.x . ЛВП : 2318/133096 . PMID 19143807 .
- ^ Лахав А; Saltzman E; Шлауг G (2007). «Звуковое представление действия: сеть аудиомоторного распознавания при прослушивании вновь приобретенных действий» . J Neurosci . 27 (2): 308–314. DOI : 10.1523 / jneurosci.4822-06.2007 . PMC 6672064 . PMID 17215391 .
- ^ Bauer EP; LeDoux JE; Надер К (2001). «Условие страха и ДП в боковой миндалине чувствительны к одним и тем же условным стимулам» . Nat Neurosci . 4 (7): 687–688. DOI : 10.1038 / 89465 . PMID 11426221 . S2CID 33130204 .
дальнейшее чтение
- Хебб, Д. О. (1961). «Отличительные особенности обучения у высших животных». В JF Delafresnaye (ред.). Мозговые механизмы и обучение . Лондон: Издательство Оксфордского университета.
- Хебб Д.О. (1940). «Поведение человека после обширного двустороннего удаления лобных долей». Архив неврологии и психиатрии . 44 (2): 421–438. DOI : 10,1001 / archneurpsyc.1940.02280080181011 .
- Епископ, CM (1995). Нейронные сети для распознавания образов . Оксфорд: Издательство Оксфордского университета. ISBN 978-0-19-853849-3.
- Paulsen, O .; Сейновски, Т.Дж. (2000). «Естественные закономерности активности и долговременная синаптическая пластичность» . Текущее мнение в нейробиологии . 10 (2): 172–179. DOI : 10.1016 / S0959-4388 (00) 00076-3 . PMC 2900254 . PMID 10753798 .
анг ганда ко
Внешние ссылки
- Обзор
- Учебное пособие по изучению Hebbian ( Часть 1: Фильтрация новинок , Часть 2: PCA )