Послушайте эту статью
Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Коннекционизм - это подход в области когнитивной науки, который пытается объяснить психические явления с помощью искусственных нейронных сетей (ИНС). [1] Коннекционизм представляет когнитивную теорию, основанную на одновременном возникновении распределенной активности сигналов через соединения, которые могут быть представлены в числовом виде, где обучение происходит путем изменения силы соединения на основе опыта. [2]

Некоторые преимущества коннекционистского подхода включают его применимость к широкому спектру функций, структурное приближение к биологическим нейронам, низкие требования к врожденной структуре и способность к постепенной деградации . [3] Некоторые недостатки включают трудность в расшифровке того, как ИНС обрабатывают информацию или учитывают композиционность ментальных представлений, и, как следствие, сложность объяснения явлений на более высоком уровне. [2]

Успех сетей глубокого обучения за последнее десятилетие значительно увеличил популярность этого подхода, но сложность и масштаб таких сетей привели к увеличению проблем интерпретируемости . [1] Многие считают, что коннекционизм предлагает альтернативу классическим теориям разума, основанным на символических вычислениях, но степень совместимости этих двух подходов была предметом многочисленных споров с момента их появления. [1]

Модель Connectionist (ANN) со скрытым слоем

Основные принципы [ править ]

Центральный принцип коннекционизма состоит в том, что ментальные явления могут быть описаны взаимосвязанными сетями простых и часто однородных единиц. Форма соединений и блоков может варьироваться от модели к модели. Например, единицы в сети могут представлять нейроны, а соединения могут представлять синапсы , как в человеческом мозге .

Активация распространения [ править ]

Основная статья: Распространение активации

В большинстве коннекционистских моделей сети со временем меняются. Тесно связанный и очень распространенный аспект моделей коннекционизма - это активация . В любое время объект в сети имеет активацию, которая представляет собой числовое значение, предназначенное для представления некоторого аспекта объекта. Например, если единицы в модели являются нейронами, активация может представлять вероятность того, что нейрон сгенерирует всплеск потенциала действия . Активация обычно распространяется на все другие подключенные к нему юниты. Распространение активации всегда является особенностью моделей нейронных сетей и очень часто встречается в моделях коннекционизма, используемых когнитивными психологами .

Нейронные сети [ править ]

Основная статья: Искусственные нейронные сети

Сегодня нейронные сети являются наиболее часто используемой моделью подключения. Хотя существует множество моделей нейронных сетей, они почти всегда следуют двум основным принципам, касающимся разума:

  1. Любое психическое состояние можно описать как (N) -мерный вектор числовых значений активации нейронных единиц в сети.
  2. Память создается путем изменения силы связей между нейронными единицами. Сильные соединения, или «весы», как правило , представлены в виде N × N матрицы .

Наибольшее разнообразие моделей нейронных сетей связано с:

  • Интерпретация единиц : единицы можно интерпретировать как нейроны или группы нейронов.
  • Определение активации : активацию можно определить по-разному. Например, в машине Больцмана активация интерпретируется как вероятность генерации всплеска потенциала действия и определяется с помощью логистической функции на сумме входов в единицу.
  • Алгоритм обучения : разные сети по-разному изменяют свои соединения. В общем, любое математически определенное изменение веса соединений с течением времени называется «алгоритмом обучения».

Сторонники коннекционизма согласны с тем, что рекуррентные нейронные сети (направленные сети, в которых соединения сети могут образовывать направленный цикл) являются лучшей моделью мозга, чем нейронные сети прямого распространения (направленные сети без циклов, называемые DAG ). Многие рекуррентные коннекционистские модели также включают теорию динамических систем . Многие исследователи, такие как коннекционист Пол Смоленски , утверждали, что коннекционистские модели будут развиваться в сторону полностью непрерывных , многомерных, нелинейных , динамических систем .

Биологический реализм [ править ]

Работа коннекционистов в целом не обязана быть биологически реалистичной и поэтому страдает недостатком нейробиологической достоверности. [4] [5] [6] [7] [8] [9] [10] Однако структура нейронных сетей происходит от структуры биологических нейронов , и эта параллель в структуре нижнего уровня часто рассматривается как преимущество коннекционизма в моделировании когнитивных структур по сравнению с другими подходами. [3] Одна область, в которой коннекционистские модели считаются биологически неправдоподобными, - это сети распространения ошибок, которые необходимы для поддержки обучения, [11] [12]но распространение ошибок может объяснить некоторую биологически генерируемую электрическую активность, наблюдаемую на коже черепа в связанных с событиями потенциалах, таких как N400 и P600 , [13], и это обеспечивает некоторую биологическую поддержку одного из ключевых предположений процедур коннекционистского обучения.

Обучение [ править ]

Веса в нейронной сети регулируются в соответствии с некоторым правилом обучения или алгоритмом, например, обучением по Хеббиану . Таким образом, коннекционисты создали множество сложных процедур обучения для нейронных сетей. Обучение всегда включает в себя изменение весов соединений. В общем, они включают математические формулы для определения изменения весов при заданных наборах данных, состоящих из векторов активации для некоторого подмножества нейронных единиц. Несколько исследований были сосредоточены на разработке методов преподавания и обучения, основанных на коннекционизме. [14]

Формализуя обучение таким образом, у коннекционистов есть много инструментов. Очень распространенной стратегией в методах обучения коннекционистам является включение градиентного спуска по поверхности ошибок в пространстве, определяемом матрицей весов. Все обучение градиентным спуском в моделях коннекционизма включает изменение каждого веса на частную производную поверхности ошибки по отношению к весу. Обратное распространение (BP), впервые ставшее популярным в 1980-х годах, вероятно, является наиболее широко известным сегодня алгоритмом коннекционистского градиентного спуска. [12]

Коннекционизм можно проследить до идей, возникших более века назад, которые до середины-конца 20-го века были не более чем спекуляциями.

Параллельная распределенная обработка [ править ]

Преобладающий сегодня подход коннекционистов изначально был известен как параллельная распределенная обработка (PDP). Это был подход искусственной нейронной сети, который подчеркивал параллельный характер нейронной обработки и распределенную природу нейронных представлений. Он предоставил исследователям общую математическую основу для работы. Она включает восемь основных аспектов:

  • Набор единиц обработки , представленный набором целых чисел.
  • Активации для каждого блока, представляется вектором зависящих от времени функций .
  • Выход функция для каждого блока, представляется вектором функций на активациях.
  • Модель связности между единицами, представлено матрицей действительных чисел , указывающих прочность соединения.
  • Правило распространения распространяя активаций с помощью соединений, представлены функции на выходе блоков.
  • Правило активации для объединения входов в блок , чтобы определить свою новую активацию, представленного в зависимости от текущей активации и распространения.
  • Обучения правило для изменения соединений на основе опыта, представлены изменения веса на основе любого числа переменных.
  • Среда , которая обеспечивает систему с опытом, представлены наборами векторов активации для некоторого подмножества из единиц.

Многие исследования, которые привели к разработке PDP, были выполнены в 1970-х годах, но PDP стал популярным в 1980-х, когда были выпущены книги Parallel Distributed Processing: Explorations in the Microstructure of Cognition - Volume 1 (основы) и Volume 2. (Психологические и биологические модели) , по Джеймс Л. McClelland , David E. Rumelhart и исследовательской группы PDP. Книги теперь считаются основополагающими работами по коннекционизму, и теперь принято полностью приравнивать PDP и коннекционизм, хотя термин «коннекционизм» в книгах не используется. Следуя модели PDP, исследователи теоретизировали системы, основанные на принципах перпендикулярной распределенной обработки (PDP).

Предыдущие работы [ править ]

Прямыми корнями PDP были теории перцептронов таких исследователей, как Фрэнк Розенблатт, из 1950-х и 1960-х годов. Но модели перцептронов стали очень непопулярными из-за книги Марвина Мински и Сеймура Паперта « Персептроны » , опубликованной в 1969 году. В ней продемонстрированы ограничения на виды функций, которые могут вычислять однослойные (без скрытого слоя) перцептроны, показывая, что даже простые функции, такие как эксклюзивные дизъюнкции (XOR) не могут быть обработаны должным образом. Книги по PDP преодолели это ограничение, показав, что многоуровневые нелинейные нейронные сети были гораздо более надежными и могли использоваться для огромного количества функций. [15]

Многие ранние исследователи отстаивали модели коннекционистского стиля, например, в 1940-х и 1950-х годах Уоррен МакКаллох и Уолтер Питтс ( MP нейрон ), Дональд Олдинг Хебб и Карл Лэшли . Маккалок и Питтс показали, как нейронные системы могут реализовывать логику первого порядка : их классическая статья «Логическое исчисление идей, имманентных нервной деятельности» (1943) важна в этом развитии. На них повлияли важные работы Николая Рашевского 1930-х годов. Хебб внес большой вклад в рассуждения о функционировании нервной системы и предложил принцип обучения - обучение по Хеббу., который до сих пор используется. Лэшли выступал за распределенные репрезентации в результате своей неспособности найти что-либо вроде локальной инграммы за годы экспериментов с поражениями .

Коннекционизм отдельно от PDP [ править ]

Хотя PDP является доминирующей формой коннекционизма, другие теоретические работы также следует классифицировать как коннекционистские.

Многие принципы коннекционизма можно проследить до ранних работ в психологии , таких как Уильям Джеймс . [16] Психологические теории, основанные на знаниях о человеческом мозге, были модными в конце 19 века. Еще в 1869 году невролог Джон Хьюлингс Джексон выступал за многоуровневые распределенные системы. Следуя этому руководству, « Принципы психологии» Герберта Спенсера , 3-е издание (1872 г.) и « Проект научной психологии» Зигмунда Фрейда (составленный в 1895 г.) выдвинули теории коннекционизма или протоконнекционизма. Как правило, это были спекулятивные теории. Но к началу 20 века Эдвард Торндайк экспериментировал с обучением, основанным на сети типа коннекционистов.

Фридрих Хайек независимо задумал модель обучения синапсов Хебба в статье, представленной в 1920 году, и развил эту модель в глобальную теорию мозга, состоящую из сетей синапсов Хебба, встраиваемых в более крупные системы карт и сети памяти [ цитата необходима ] . Прорывную работу Хайека цитировал Франк Розенблатт в своей статье о персептронах.

Другой формой коннекционистской модели была структура реляционной сети, разработанная лингвистом Сиднеем Лэмбом в 1960-х годах. Реляционные сети использовались только лингвистами и никогда не были объединены с подходом PDP. В результате их сейчас используют очень немногие исследователи.

Существуют также гибридные коннекционистские модели, в большинстве своем смешивающие символические представления с моделями нейронных сетей. Некоторые исследователи (например, Рон Сан ) отстаивают гибридный подход .

Дискуссия о коннекционизме против вычислительного [ править ]

Поскольку в конце 1980-х годов коннекционизм становился все более популярным, некоторые исследователи (в том числе Джерри Фодор , Стивен Пинкер и другие) выступили против него. Они утверждали, что развитие коннекционизма угрожает уничтожить то, что они считали прогрессом, достигнутым в областях когнитивной науки и психологии классическим подходом вычислительной техники . Компьютационализм - это особая форма когнитивизма, которая утверждает, что умственная деятельность является вычислительной , то есть, что ум действует, выполняя чисто формальные операции с символами, как машина Тьюринга . Некоторые исследователи утверждали, что тенденция к коннекционизму представляет собой возврат к ассоцианизму.и отказ от идеи языка мысли , что они считали ошибочным. Напротив, именно эти тенденции сделали коннекционизм привлекательным для других исследователей.

Коннекционизм и вычислительный подход не должны противоречить друг другу, но дебаты в конце 1980-х - начале 1990-х годов привели к противостоянию между двумя подходами. На протяжении дебатов некоторые исследователи утверждали, что коннекционизм и вычислительный подход полностью совместимы, хотя полного консенсуса по этому вопросу достичь не удалось. Различия между двумя подходами заключаются в следующем:

  • Вычислители постулируют символические модели, которые структурно похожи на лежащую в основе структуру мозга, в то время как коннекционисты занимаются «низкоуровневым» моделированием, пытаясь обеспечить сходство своих моделей с неврологическими структурами.
  • Вычислительные специалисты в целом сосредотачиваются на структуре явных символов ( ментальных моделей ) и синтаксических правилах для их внутренних манипуляций, в то время как коннекционисты сосредотачиваются на обучении на основе внешних стимулов и хранении этой информации в форме связей между нейронами.
  • Вычислительные специалисты считают, что внутренняя умственная деятельность состоит из манипулирования явными символами, в то время как коннекционисты полагают, что манипулирование явными символами дает плохую модель умственной деятельности.
  • Вычислительные специалисты часто постулируют символические подсистемы, специфичные для предметной области, предназначенные для поддержки обучения в определенных областях познания (например, язык, интенциональность, число), тогда как коннекционисты постулируют один или небольшой набор очень общих механизмов обучения.

Несмотря на эти различия, некоторые теоретики предположили, что архитектура коннекционизма - это просто способ, которым органический мозг реализует систему манипулирования символами. Это логически возможно, так как хорошо известно, что коннекционистские модели могут реализовывать системы манипулирования символами того типа, который используется в вычислительных моделях [17], поскольку они действительно должны уметь объяснять человеческую способность выполнять задачи манипулирования символами. . Было предложено несколько когнитивных моделей, сочетающих как символьно-манипулятивную, так и коннекционистскую архитектуру, в частности, Интегрированная коннекционистская / символическая когнитивная архитектура (ICS) Пола Смоленского . [1] [18]Но дебаты основываются на том, формирует ли эта манипуляция символами основу познания в целом, так что это не является потенциальным оправданием вычислительного подхода. Тем не менее, вычислительные описания могут быть, например, полезными высокоуровневыми описаниями познания логики.

Споры в основном были сосредоточены на логических аргументах о том, могут ли коннекционистские сети создавать синтаксическую структуру, наблюдаемую в такого рода рассуждениях. Позднее это было достигнуто, хотя и с использованием способностей быстрого связывания переменных, выходящих за рамки тех, которые обычно предполагаются в моделях коннекционизма. [17] [19] По состоянию на 2016 год прогресс в нейрофизиологии и общие успехи в понимании нейронных сетей привели к успешному моделированию большого количества этих ранних проблем, и, таким образом, дебаты о фундаментальном познании в значительной степени решены. среди нейробиологов в пользу коннекционизма. [ необходима цитата ]Однако эти относительно недавние разработки еще не достигли консенсуса среди тех, кто работает в других областях, таких как психология или философия разума.

Отчасти привлекательность вычислительных описаний заключается в том, что их относительно легко интерпретировать и, таким образом, можно рассматривать как способствующие нашему пониманию конкретных психических процессов, в то время как коннекционистские модели в целом более непрозрачны, поскольку их можно описать только в очень общие термины (например, указание алгоритма обучения, количества единиц и т. д.) или в терминах крайне низкого уровня. В этом смысле коннекционистские модели могут конкретизировать и тем самым предоставлять доказательства широкой теории познания (т. Е. Коннекционизма), не представляя полезную теорию конкретного моделируемого процесса. В этом смысле дебаты могут рассматриваться как в некоторой степени отражающие простое различие в уровне анализа, на котором строятся те или иные теории.Некоторые исследователи предполагают, что пробел в анализе является следствием коннекционистских механизмов, порождающихвозникающие явления, которые можно описать вычислительными терминами. [20]

Недавнее [ когда? ] популярность динамических систем в философии разума добавила новый взгляд на дебаты; некоторые авторы [ какие? ] теперь утверждают, что любой раскол между коннекционизмом и вычислительной системой более убедительно характеризуется как раскол между вычислительной системой и динамическими системами .

В 2014 году Алекс Грейвс и другие из DeepMind опубликовали серию статей, описывающих новую структуру глубокой нейронной сети, названную нейронной машиной Тьюринга [21], способной читать символы на ленте и сохранять символы в памяти. Relational Networks, еще один модуль Deep Network, опубликованный DeepMind, может создавать объектно-подобные представления и манипулировать ими, чтобы отвечать на сложные вопросы. Реляционные сети и нейронные машины Тьюринга - еще одно свидетельство того, что коннекционизм и вычислительный подход не должны противоречить друг другу.

См. Также [ править ]

  • Ассоцианизм
  • Искусственный интеллект
  • Бихевиоризм
  • Катастрофическое вмешательство
  • Кибернетика
  • Исключительный материализм
  • Теория интеграции функций
  • Гармоническая грамматика
  • Машинное обучение
  • Пандемониумная архитектура
  • Самоорганизующаяся карта

Примечания [ править ]

  1. ^ a b c d Гарсон, Джеймс (27 ноября 2018 г.). Залта, Эдвард Н. (ред.). Стэнфордская энциклопедия философии . Лаборатория метафизических исследований, Стэнфордский университет - через Стэнфордскую энциклопедию философии.
  2. ^ a b Смоленский, Павел (1999). «Коннекционистские подходы к языку, основанные на грамматике» (PDF) . Когнитивная наука . 23 (4): 589–613. DOI : 10,1207 / s15516709cog2304_9 .
  3. ^ a b Маркус, Гэри Ф. (2001). Алгебраический разум: интеграция коннекционизма и когнитивной науки (обучение, развитие и концептуальные изменения) . Кембридж, Массачусетс: MIT Press. стр.  27 -28. ISBN 978-0262632683.
  4. ^ "Журнал Энцефалоса" . www.encephalos.gr . Проверено 20 февраля 2018 .
  5. ^ Уилсон, Элизабет А. (04.02.2016). Нейронные географии: феминизм и микроструктура познания . Рутледж. ISBN 9781317958765.
  6. ^ "Органически-вдохновленная робототехника: гомеостатическая адаптация и телеология за пределами замкнутой сенсомоторной петли". S2CID 15349751 .  Цитировать журнал требует |journal=( помощь )
  7. ^ Зорзи, Марко; Testolin, Альберто; Стоянов, Ивилин П. (2013-08-20). «Моделирование языка и познания с глубоким обучением без учителя: обзор учебного пособия» . Границы в психологии . 4 : 515. DOI : 10.3389 / fpsyg.2013.00515 . ISSN 1664-1078 . PMC 3747356 . PMID 23970869 .   
  8. ^ «АНАЛИТИЧЕСКАЯ И КОНТИНЕНТАЛЬНАЯ ФИЛОСОФИЯ» .
  9. ^ Browne, А. (1997-01-01). Перспективы нейронных сетей в познании и адаптивной робототехнике . CRC Press. ISBN 9780750304559.
  10. ^ Pfeifer, R .; Schreter, Z .; Fogelman-Soulié, F .; Стали, Л. (1989-08-23). Коннекционизм в перспективе . Эльзевир. ISBN 9780444598769.
  11. ↑ Крик, Фрэнсис (январь 1989 г.). «Недавний ажиотаж по поводу нейронных сетей». Природа . 337 (6203): 129–132. Bibcode : 1989Natur.337..129C . DOI : 10.1038 / 337129a0 . ISSN 1476-4687 . PMID 2911347 . S2CID 5892527 .   
  12. ^ а б Румелхарт, Дэвид Э .; Хинтон, Джеффри Э .; Уильямс, Рональд Дж. (Октябрь 1986 г.). «Изучение представлений путем обратного распространения ошибок». Природа . 323 (6088): 533–536. Bibcode : 1986Natur.323..533R . DOI : 10.1038 / 323533a0 . ISSN 1476-4687 . S2CID 205001834 .  
  13. ^ Фитц, Хартмут; Чанг, Франклин (2019-06-01). «Языковые ERP отражают обучение через распространение ошибок прогнозирования». Когнитивная психология . 111 : 15–52. DOI : 10.1016 / j.cogpsych.2019.03.002 . hdl : 21.11116 / 0000-0003-474F-6 . ISSN 0010-0285 . PMID 30921626 . S2CID 85501792 .   
  14. ↑ Ново, Мария-Луиза; Альсина, Анхель; Марбан, Хосе-Мария; Берчиано, Айнхоа (2017). «Соединительный интеллект для детского математического образования» . Comunicar (на испанском языке). 25 (52): 29–39. DOI : 10.3916 / c52-2017-03 . ISSN 1134-3478 . 
  15. ^ Hornik, K .; Stinchcombe, M .; Уайт, Х. (1989). «Многослойные сети с прямой связью - универсальные аппроксиматоры». Нейронные сети . 2 (5): 359. DOI : 10,1016 / 0893-6080 (89) 90020-8 .
  16. ^ Андерсон, Джеймс А .; Розенфельд, Эдвард (1989). «Глава 1: (1890) Психология Уильяма Джеймса (Краткий курс) ». Нейрокомпьютеры: основы исследований . Книга Брэдфорда. п. 1. ISBN 978-0262510486.
  17. ^ a b Чанг, Франклин (2002). «Символически говоря: коннекционистская модель производства предложений» . Когнитивная наука . 26 (5): 609–651. DOI : 10,1207 / s15516709cog2605_3 . ISSN 1551-6709 . 
  18. ^ Смоленский, Павел (1990). «Привязка переменных тензорного продукта и представление символических структур в коннекционистских системах» (PDF) . Искусственный интеллект . 46 (1–2): 159–216. DOI : 10.1016 / 0004-3702 (90) 90007-M .
  19. ^ Шастри, Локендра; Аджанагадде, Венкат (сентябрь 1993 г.). «От простых ассоциаций к систематическим рассуждениям: коннекционистское представление правил, переменных и динамических привязок с использованием временной синхронизации». Поведенческие науки и науки о мозге . 16 (3): 417–451. DOI : 10.1017 / S0140525X00030910 . ISSN 1469-1825 . 
  20. ↑ Эллис, Ник С. (1998). «Эмерджентизм, коннекционизм и изучение языков» (PDF) . Изучение языков . 48: 4 (4): 631–664. DOI : 10.1111 / 0023-8333.00063 .
  21. Перейти ↑ Graves, Alex (2014). «Нейронные машины Тьюринга». arXiv : 1410.5401 [ cs.NE ].

Ссылки [ править ]

  • Rumelhart, DE, JL McClelland и исследовательская группа PDP (1986). Параллельная распределенная обработка: исследования микроструктуры познания. Том 1: Фонды , Кембридж, Массачусетс: MIT Press , ISBN 978-0262680530 
  • McClelland, JL, DE Rumelhart и исследовательская группа PDP (1986). Параллельная распределенная обработка: исследования микроструктуры познания. Том 2: Психологические и биологические модели , Кембридж, Массачусетс: MIT Press, ISBN 978-0262631105 
  • Пинкер, Стивен и Мелер, Жак (1988). Соединения и символы , Кембридж, Массачусетс: MIT Press, ISBN 978-0262660648 
  • Джеффри Л. Элман, Элизабет А. Бейтс, Марк Х. Джонсон, Аннет Кармилофф-Смит, Доменико Паризи, Ким Планкетт (1996). Переосмысление врожденности: коннекционистский взгляд на развитие , Кембридж, Массачусетс, Массачусетский технологический институт, ISBN 978-0262550307 
  • Маркус, Гэри Ф. (2001). Алгебраический разум: объединение коннекционизма и когнитивной науки (обучение, развитие и концептуальные изменения) , Кембридж, Массачусетс: MIT Press, ISBN 978-0262632683 
  • Дэвид А. Медлер (1998). «Краткая история коннекционизма» (PDF) . Обзоры нейронных вычислений . 1 : 61–101.

Внешние ссылки [ править ]

Послушайте эту статью ( 19 минут )
Разговорный значок Википедии
Этот аудиофайл был создан на основе редакции этой статьи от 26 ноября 2011 г. и не отражает последующих правок. ( 2011-11-26 )
( Аудио справка  · Больше устных статей )
  • Словарь философии разума, статья о коннекционизме
  • Гарсон, Джеймс . «Коннекционизм» . В Залте, Эдвард Н. (ред.). Стэнфордская энциклопедия философии .
  • Демонстрация интерактивных сетей активации и соревнований
  • «Коннекционизм» . Интернет-энциклопедия философии .
  • Критика коннекционизма