Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Теория адаптивного резонанса ( ART ) - это теория, разработанная Стивеном Гроссбергом и Гейл Карпентер, касающаяся аспектов того, как мозг обрабатывает информацию . В нем описывается ряд моделей нейронных сетей, которые используют контролируемые и неконтролируемые методы обучения и решают такие проблемы, как распознавание и прогнозирование образов .

Основная интуиция, лежащая в основе модели ART, заключается в том, что идентификация и распознавание объекта обычно происходят в результате взаимодействия «нисходящих» ожиданий наблюдателя с «восходящей» сенсорной информацией . Модель постулирует, что «нисходящие» ожидания принимают форму шаблона или прототипа памяти.это затем сравнивается с фактическими характеристиками объекта, обнаруженными органами чувств. Это сравнение позволяет определить принадлежность к категории. Пока эта разница между ощущением и ожиданием не превышает установленный порог, называемый «параметром бдительности», обнаруженный объект будет считаться членом ожидаемого класса. Таким образом, система предлагает решение проблемы «пластичности / стабильности», то есть проблемы приобретения новых знаний без нарушения существующих знаний, что также называется инкрементным обучением .

Модель обучения [ править ]

Базовая структура ART

Базовая система ART - это модель обучения без учителя . Обычно он состоит из поля сравнения и поля распознавания, состоящего из нейронов , параметра бдительности (порога распознавания) и модуля сброса.

  • Поле сравнения принимает входной вектор (одномерный массив значений) и передает его наилучшему совпадению в поле распознавания .
    • Лучшее совпадение - это единственный нейрон, набор весов (вектор весов) которого наиболее точно соответствует входному вектору .
  • Каждый нейрон поля распознавания выдает отрицательный сигнал (пропорциональный качеству соответствия этого нейрона входному вектору ) каждому из других нейронов поля распознавания и, таким образом, подавляет их выход.
    • Таким образом, поле распознавания проявляет латеральное торможение , позволяя каждому нейрону в нем представлять категорию, к которой классифицируются входные векторы .
  • После классификации входного вектора модуль сброса сравнивает силу совпадения распознавания с параметром бдительности .
    • Если параметр бдительности преодолен (т. Е. Входной вектор находится в пределах нормального диапазона, наблюдаемого на предыдущих входных векторах ), то начинается обучение:
      • Веса нейрона распознавания победы корректируются в соответствии с характеристиками входного вектора.
    • В противном случае, если уровень совпадения ниже параметра бдительности (т. Е. Совпадение входного вектора находится за пределами нормального ожидаемого диапазона для этого нейрона), нейрон распознавания- победителя блокируется, и выполняется процедура поиска.
      • В этой процедуре поиска нейроны распознавания отключаются один за другим функцией сброса до тех пор, пока параметр бдительности не будет преодолен совпадением распознавания.
        • В частности, на каждом цикле процедуры поиска выбирается наиболее активный нейрон распознавания и затем выключается, если его активация ниже параметра бдительности.
        • (обратите внимание, что таким образом он освобождает оставшиеся узнающие нейроны от своего подавления).
    • Если совпадение ни одного зафиксированного нейрона распознавания превышает параметр бдительности , то незафиксированный нейрон фиксируется, и его веса корректируются в соответствии с входным вектором .
  • Параметр бдительности имеет значительное влияние на систему: более высокая бдительность производит очень подробные воспоминания (много детализированных категорий), в то время как более низкая бдительность приводит к более общим воспоминаниям (меньшее количество более общих категорий).

Обучение [ править ]

Существует два основных метода обучения нейронных сетей на основе ART: медленный и быстрый. В методе медленного обучения степень обучения весов распознающего нейрона входному вектору вычисляется до непрерывных значений с помощью дифференциальных уравнений и, таким образом, зависит от продолжительности времени, в течение которого представлен входной вектор. При быстром обучении используются алгебраические уравнения для вычисления степени корректировки веса, а также используются двоичные значения. В то время как быстрое обучение является эффективным и действенным для множества задач, метод медленного обучения более правдоподобен с биологической точки зрения и может использоваться с сетями с непрерывным временем (т. Е. Когда входной вектор может непрерывно изменяться).

Типы [ править ]

ART 1 [1] [2] - простейшая разновидность сетей ART, принимающая только двоичные входы.ART 2 [3] расширяет возможности сети для поддержки непрерывного ввода.ART 2-A [4] - это усовершенствованная форма ART-2 с резко ускоренным временем выполнения и с качественными результатами, лишь в редких случаях уступающими полной реализации ART-2.ART 3 [5] основывается на ART-2, моделируя рудиментарную нейромедиаторную регуляцию синаптической активности. путем включения смоделированных концентраций ионов натрия (Na +) и кальция (Ca2 +) в уравнения системы, что приводит к более физиологически реалистичным средствам частичного подавления категорий, запускающих сброс несоответствия.

Обзор ARTMAP

ARTMAP [6], также известный как Predictive ART , объединяет два слегка модифицированных модуля ART-1 или ART-2 в контролируемую структуру обучения, где первый модуль принимает входные данные, а второй модуль принимает правильные выходные данные, а затем используется для создания минимально возможная корректировка параметра бдительности в первом блоке для правильной классификации.

Fuzzy ART [7] реализует нечеткую логику в распознавании образов ART, тем самым улучшая обобщаемость. Необязательной (и очень полезной) функцией нечеткого ART является дополнительное кодирование, средство включения отсутствия функций в классификации шаблонов, что имеет большое значение для предотвращения неэффективного и ненужного увеличения числа категорий. Применяемые меры подобия основаны на норме L1 . Известно, что Fuzzy ART очень чувствителен к шуму.

Нечеткий ARTMAP [8] - это просто ARTMAP, использующий нечеткие блоки ART, что приводит к соответствующему увеличению эффективности.

Упрощенный нечеткий ARTMAP (SFAM) [9] представляет собой сильно упрощенный вариант нечеткого ARTMAP, предназначенный для задач классификации .

Gaussian ART [10] и Gaussian ARTMAP [10] используют гауссовские функции активации и вычисления, основанные на теории вероятностей. Следовательно, они имеют некоторое сходство с моделями гауссовой смеси . По сравнению с нечетким ART и нечетким ARTMAP они менее чувствительны к шуму. Но стабильность заученных репрезентаций снижается, что может привести к увеличению категорий в открытых учебных задачах.

Fusion ART и связанные с ним сети [11] расширяют ART и ARTMAP на несколько каналов шаблонов. Они поддерживают несколько парадигм обучения.

TopoART [12] сочетает нечеткое ART с сетями обучения топологии, такими как растущий нейронный газ . Кроме того, он добавляет механизм шумоподавления. Существует несколько производных нейронных сетей, которые расширяют TopoART для дальнейшего обучения.

Hypersphere ART [13] и Hypersphere ARTMAP [13] тесно связаны с нечетким ART и нечетким ARTMAP соответственно. Но поскольку они используют другой тип представления категорий (а именно гиперсферы), они не требуют, чтобы их ввод был нормализован до интервала [0, 1]. Они применяют меры подобия, основанные на норме L2 .

LAPART [14] Нейронные сети теории адаптивного резонанса с латеральной ориентацией (LAPART) объединяют два алгоритма Fuzzy ART для создания механизма прогнозирования на основе изученных ассоциаций. Соединение двух Fuzzy ART обладает уникальной стабильностью, которая позволяет системе быстро сходиться к четкому решению. Кроме того, он может выполнять логический вывод и обучение с учителем, аналогично нечеткому ARTMAP.

Критика [ править ]

Было отмечено, что результаты Fuzzy ART и ART 1 (то есть изученные категории) критически зависят от порядка, в котором обрабатываются данные обучения. Эффект можно до некоторой степени уменьшить, используя более низкую скорость обучения, но он присутствует независимо от размера набора входных данных. Следовательно, оценки Fuzzy ART и ART 1 не обладают статистическим свойством согласованности . [15] Эту проблему можно рассматривать как побочный эффект соответствующих механизмов, обеспечивающих стабильное обучение в обеих сетях.

Более продвинутые сети ART, такие как TopoART и Hypersphere TopoART, которые объединяют категории в кластеры, могут решить эту проблему, поскольку формы кластеров не зависят от порядка создания связанных категорий. (см. Рис. 3 (g, h) и Рис. 4 в [16] )

Ссылки [ править ]

  1. ↑ Карпентер, Г.А. и Гроссберг, С. (2003), Теория адаптивного резонанса, заархивированная 19 мая 2006 г.в Wayback Machine , В книге Майкла А. Арбиба (ред.), Справочник по теории мозга и нейронных сетей, второе издание (стр. 87-90). Кембридж, Массачусетс: MIT Press
  2. ^ Гроссберг, С. (1987), Конкурсное обучение: от интерактивной активации к адаптивному резонансу. Архивировано 07 сентября 2006 г.в Wayback Machine , Cognitive Science (journal) , 11, 23-63.
  3. ^ Карпентер, Г.А. и Гроссберг, С. (1987), ИСКУССТВО 2: Самоорганизация стабильных кодов распознавания категорий для аналоговых входных шаблонов Архивировано 4 сентября 2006 г.в Wayback Machine , Applied Optics , 26 (23), 4919-4930
  4. ↑ Carpenter, GA, Grossberg, S., & Rosen, DB (1991a), ART 2-A: алгоритм адаптивного резонанса для быстрого изучения и распознавания категорий. Архивировано 19мая 2006 г. в Wayback Machine , Neural Networks (Publication) , 4, 493-504
  5. ^ Карпентер, Г.А. и Гроссберг, С. (1990), ИСКУССТВО 3: Иерархический поиск с использованием химических передатчиков в самоорганизующихся архитектурах распознавания образов. Архивировано 6 сентября 2006 г.в Wayback Machine , Neural Networks (Publication) , 3, 129-152
  6. ↑ Carpenter, GA, Grossberg, S., & Reynolds, JH (1991), ARTMAP: контролируемое обучение в реальном времени и классификация нестационарных данных с помощью самоорганизующейся нейронной сети. Архивировано 19 мая 2006 г. в Wayback Machine , Neural Networks. (Публикация) , 4, 565-588
  7. ↑ Carpenter, GA, Grossberg, S., & Rosen, DB (1991b), Fuzzy ART: быстрое стабильное обучение и категоризация аналоговых паттернов с помощью адаптивной резонансной системы. Архивировано 19мая 2006 г. в Wayback Machine , Neural Networks (публикация) , 4, 759-771
  8. ^ Карпентер, Г.А., Гроссберг, С., Markuzon, Н., Рейнольдс, JH, и Розен, Д. Б. (1992), нечеткая ArtMap: Нейросеть архитектура для дополнительного контролируемого изучения аналогового многомерных отображений в архиве 2006-05-19 на Wayback Machine , Транзакции IEEE в нейронных сетях , 3, 698-713
  9. ^ Мохаммад-Таги Вакил-Багмишех и Никола Павешич. (2003) Fast Simplified Fuzzy ARTMAP Network, Neural Processing Letters, 17 (3): 273–316.
  10. ^ а б Джеймс Р. Уильямсон. (1996), Gaussian ARTMAP: нейронная сеть для быстрого инкрементального изучения зашумленных многомерных карт , нейронных сетей, 9 (5): 881-897
  11. ^ YR Asfour, Г. А. Карпентер, С. Гроссберг, и GW Lesher. (1993) Fusion ARTMAP: адаптивная нечеткая сеть для многоканальной классификации . В: Труды Третьей Международной конференции по промышленному нечеткому управлению и интеллектуальным системам (IFIS).
  12. ^ Марко Черепанов. (2010) TopoART: Иерархическая сеть ART , изучающая топологию , В: Материалы Международной конференции по искусственным нейронным сетям (ICANN), часть III, LNCS 6354, 157-167
  13. ^ Б Георгиос С. Anagnostopoulos и Майкл Georgiopoulos. (2000), Hypersphere ART и ARTMAP для неконтролируемого и контролируемого инкрементного обучения , In: Proceedings of the International Joint Conference on Neural Networks (IJCNN), vol. 6, 59–64
  14. ^ Sandia National Laboratories (2017) Документация Lapart-python
  15. ^ Sarle, Уоррен S. (1995), Почему статистикам не ФАРТ архивации 20 июля 2011, в Wayback Machine
  16. ^ Марко Черепанов. (2012) Инкрементальная он-лайн кластеризация с иерархической нейронной сетью ART с изучением топологии с использованием гиперсферических категорий , In: Poster and Industry Proceedings of the Industrial Conference on Data Mining (ICDM), 22–34

Вассерман, Филип Д. (1989), Нейронные вычисления: теория и практика, Нью-Йорк: Ван Ностранд Рейнхольд, ISBN  0-442-20743-3

Внешние ссылки [ править ]

  • Стивен Гроссберг «s веб - сайт
  • Реализация ART для обучения без учителя (ART 1, ART 2A, ART 2A-C и дистанционное ART)
  • Резюме алгоритма ВРТ
  • LibTopoART - реализации TopoART для обучения с учителем и без учителя (TopoART, TopoART-AM, TopoART-C, TopoART-R, Episodic TopoART, Hypersphere TopoART и Hypersphere TopoART-C)