Нейронный газ

Нейронный газ - это искусственная нейронная сеть , вдохновленная самоорганизующейся картой и представленная в 1991 году Томасом Мартинетцем и Клаусом Шультеном . ^[1] Нейронный газ - это простой алгоритм поиска оптимальных представлений данных на основе векторов признаков . Алгоритм был придуман как «нейронный газ» из-за динамики векторов признаков в процессе адаптации, которые распределяются как газ в пространстве данных. Он применяется там, где сжатие данных или векторное квантование является проблемой, например, распознавание речи , ^[2] обработка изображений ^[3]или распознавание образов . В качестве надежно сходящейся альтернативы кластеризации k-средних он также используется для кластерного анализа . ^[4]

Алгоритм [ править ]

Учитывая вероятностное распределение векторов данных и конечное число векторов признаков . ${\ Displaystyle P (x)}$ ${\ displaystyle x}$ ${\ Displaystyle ш_ {я}, я = 1, \ cdots, N}$

На каждом временном шаге представлен произвольно выбранный вектор данных . Затем определяется порядок расстояний векторов признаков до данного вектора данных . Пусть обозначает индекс ближайшего вектора признаков, индекс второго ближайшего вектора признаков и индекс наиболее удаленного вектора признаков . Затем каждый вектор признаков адаптируется в соответствии с ${\ displaystyle t}$ ${\ displaystyle x}$ ${\ Displaystyle P (x)}$ ${\ displaystyle x}$ ${\ displaystyle i_ {0}}$ ${\ displaystyle i_ {1}}$ ${\ displaystyle i_ {N-1}}$ ${\ displaystyle x}$

w_{i_{k}}^{t+1}=w_{i_{k}}^{t}+\varepsilon \cdot e^{-k/\lambda }\cdot (x-w_{i_{k}}^{t}),k=0,\cdots ,N-1

с размером шага адаптации и так называемым диапазоном соседства. и уменьшаются с увеличением . После достаточно большого количества шагов адаптации векторы признаков покрывают пространство данных с минимальной ошибкой представления. ^[5] $\varepsilon$ $\lambda$ $\varepsilon$ $\lambda$ $t$

Шаг адаптации нейронного газа можно интерпретировать как градиентный спуск на функции стоимости . Путем адаптации не только ближайшего вектора признаков, но и всех из них с размером шага, уменьшающимся с увеличением порядка расстояния, по сравнению с (онлайн) кластеризацией k-средних значений может быть достигнута гораздо более надежная сходимость алгоритма. Модель нейронного газа не удаляет узел, а также не создает новые узлы.

Варианты [ править ]

В литературе существует ряд вариантов алгоритма нейронного газа, позволяющих устранить некоторые из его недостатков. Более примечательным является, возможно, растущий нервный газ Бернд Фрицке ^[6], но также следует упомянуть дальнейшие разработки, такие как сеть Growing When Required ^[7], а также постепенно растущий нервный газ. ^[8] Подход, ориентированный на производительность, который позволяет избежать риска переобучения, - это модель газа пластической нейронной системы. ^[9]

Растущий нервный газ [ править ]

Фрицке описывает растущий нейронный газ (GNG) как модель инкрементальной сети, которая изучает топологические отношения с помощью « правила обучения Хебба », только ^[6] , в отличие от нейронного газа, у него нет параметров, которые меняются во времени, и он способный к непрерывному обучению, т.е. обучению на потоках данных. GNG широко используется в нескольких областях ^[10], демонстрируя его возможности для постепенной кластеризации данных. GNG инициализируется двумя случайно расположенными узлами, которые изначально связаны с границей нулевого возраста и ошибки которых установлены на 0. Поскольку входные данные GNG представлены последовательно один за другим, на каждой итерации выполняются следующие шаги:

Рассчитываются ошибки (расстояния) между двумя ближайшими узлами к текущим входным данным.
Ошибка победившего узла (только ближайшего) соответственно накапливается.
Узел-победитель и его топологические соседи (соединенные ребром) движутся к текущему входу с разной долей их соответствующих ошибок.
Возраст всех ребер, подключенных к узлу-победителю, увеличивается.
Если победивший узел и второй победитель соединены ребром, такое ребро устанавливается в 0. Если они созданы, ребро создается между ними.
Если есть ребра с возрастом больше порога, они удаляются. Узлы без подключений исключены.
Если текущая итерация является целым числом, кратным заранее заданному порогу создания частоты, новый узел вставляется между узлом с наибольшей ошибкой (среди всех) и его топологическим соседом, представляющим наибольшую ошибку. Связь между первым и вторым узлами устраняется (их ошибки уменьшаются в заданный коэффициент), и новый узел подключается к ним обоим. Ошибка нового узла инициализируется как обновленная ошибка узла, у которого была наибольшая ошибка (среди всех).
Суммарная ошибка всех узлов уменьшается в заданный коэффициент.
Если критерий остановки не выполняется, алгоритм принимает следующие входные данные. Критерием может быть заданное количество эпох, т. Е. Заранее заданное количество раз, когда будут представлены все данные, или достижение максимального количества узлов.

Постепенно растущий нервный газ [ править ]

Другой вариант нейронного газа, вдохновленный алгоритмом GNG, - это инкрементально растущий нервный газ (IGNG). Авторы предлагают главное преимущество этого алгоритма - «изучение новых данных (пластичность) без ухудшения ранее обученной сети и забвения старых входных данных (стабильность)». ^[8]

Выращивание при необходимости [ править ]

Наличие сети с растущим набором узлов, подобной той, которая реализована с помощью алгоритма GNG, рассматривалось как большое преимущество, однако некоторые ограничения в обучении были замечены введением параметра λ, при котором сеть могла бы только расти, когда итерации были кратны этому параметру. ^[7] Предложением по смягчению этой проблемы был новый алгоритм, сеть Growing When Required (GWR), который ускорял бы рост сети, добавляя узлы как можно быстрее всякий раз, когда сеть определяла, что существующие узлы не описывают ввод достаточно хорошо.

Пластический нервный газ [ править ]

Возможность только расширять сеть может быстро вызвать переоснащение; с другой стороны, удаление узлов только на основе возраста, как в модели GNG, не гарантирует, что удаленные узлы действительно бесполезны, потому что удаление зависит от параметра модели, который должен быть тщательно настроен на «длину памяти» поток входных данных.

Модель «Пластичный нейронный газ» ^[9] решает эту проблему, принимая решения о добавлении или удалении узлов с помощью неконтролируемой версии перекрестной проверки, которая контролирует эквивалентное понятие «способность к обобщению» для неконтролируемой настройки.

Реализации [ править ]

Чтобы найти ранжирование векторов признаков, алгоритм нейронного газа включает в себя сортировку, которая представляет собой процедуру, которую нелегко распараллелить или реализовать на аналоговом оборудовании. Однако на самом деле были разработаны реализации как в параллельном программном обеспечении ^{[11], так} и в аналоговом аппаратном обеспечении ^[12] . $i_{0},i_{1},\ldots ,i_{N-1}$

Ссылки [ править ]

↑ Томас Мартинетц и Клаус Шультен (1991). «Сеть« нейронный газ »изучает топологии» (PDF) . Искусственные нейронные сети . Эльзевир . С. 397–402.
^ F. Curatelli и О. Mayora-Iberra (2000). «Конкурсные методы обучения для эффективного векторного квантования в среде распознавания речи» . В Освальдо Кайро; Л. Энрике Сукар; Франсиско Дж. Канту-Ортис (ред.). MICAI 2000: Достижения в области искусственного интеллекта: Мексиканская международная конференция по искусственному интеллекту, Акапулько, Мексика, апрель 2000 года: протоколы . Springer. п. 109. ISBN 978-3-540-67354-5.CS1 maint: uses authors parameter (link)
^ Angelopoulou, Anastassia и Псарроу, Александра и Гарсия Родригес, Хосе и Revett, Кеннет (2005). «Автоматическое обозначение 2D медицинских фигур с помощью растущей нейронной газовой сети» . В Янси Лю ; Тяньцзи Цзян; Чаншуй Чжан (ред.). Компьютерное зрение для приложений биомедицинских изображений: первый международный семинар, CVBIA 2005, Пекин, Китай, 21 октября 2005 г .: протоколы . Springer. п. 210. DOI : 10.1007 / 11569541_22 . ISBN 978-3-540-29411-5.CS1 maint: uses authors parameter (link)
^ Фернандо Каналес и Макс Чакон (2007). «Модификация алгоритма растущего нейронного газа для кластерного анализа» . В Луисе Руэде; Доминго Мери (ред.). Прогресс в распознавании образов, анализе изображений и приложениях: 12-й Ибероамериканский конгресс по распознаванию образов, CIARP 2007, Винья-дель-Мар-Вальпараисо, Чили, 13–16 ноября 2007 г .; разбирательства . Springer. С. 684–693. DOI : 10.1007 / 978-3-540-76725-1_71 . ISBN 978-3-540-76724-4.CS1 maint: uses authors parameter (link)
^ http://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif ^{[ мертвая ссылка ]}
^ a b Фрицке, Бернд (1995). «Растущая нейронная газовая сеть изучает топологии» . Достижения в системах обработки нейронной информации . 7 : 625–632 . Проверено 26 апреля 2016 .
^ a b Марсленд, Стивен; Шапиро, Джонатан; Нехмцов, Ульрих (2002). «Самоорганизующаяся сеть, которая расширяется по мере необходимости». Нейронные сети . 15 (8): 1041–1058. CiteSeerX 10.1.1.14.8763 . DOI : 10.1016 / s0893-6080 (02) 00078-3 . PMID 12416693 .
^ a b Прудент, Янн; Эннаджи, Абдельлатиф (2005). Постепенно растущий нервный газ изучает топологии . Нейронные сети, 2005. IJCNN'05. Ход работы. 2005 Совместная международная конференция IEEE по . 2 . С. 1211–1216. DOI : 10.1109 / IJCNN.2005.1556026 . ISBN 978-0-7803-9048-5. S2CID 41517545 .
^ a b Риделла, Сандро; Роветта, Стефано; Зунино, Родольфо (1998). «Пластический алгоритм адаптивного векторного квантования». Нейронные вычисления и приложения . 7 : 37–51. DOI : 10.1007 / BF01413708 . S2CID 1184174 .
^ Икбал, Хафса; Кампо, Дамиан; Байдун, Мохамад; Марченаро, Лучио; Мартин, Дэвид; Регаццони, Карло (2019). «Оптимизация кластеризации для обнаружения аномалий в полуавтономных системах» . St Международный семинар по мультимодальному пониманию и изучению воплощенных приложений : 33–41. DOI : 10.1145 / 3347450.3357657 . ISBN 9781450369183.
^ Анкона, Фабио; Роветта, Стефано; Зунино, Родольфо (1996). «Параллельный подход к пластическому нейронному газу». Труды Международной конференции по нейронным сетям (ICNN'96) . 1 : 126–130. DOI : 10.1109 / ICNN.1996.548878 . ISBN 0-7803-3210-5. S2CID 61686854 .
^ Анкона, Фабио; Роветта, Стефано; Зунино, Родольфо (1997). «Аппаратная реализация нейронного газа». Труды Международной конференции по нейронным сетям (ICNN'97) . 2 : 991–994. DOI : 10.1109 / ICNN.1997.616161 . ISBN 0-7803-4122-8. S2CID 62480597 .

Дальнейшее чтение [ править ]

Т. Мартинец, С. Беркович, К. Шультен. Сеть "Neural-gas" для векторного квантования и ее применение для прогнозирования временных рядов. IEEE-Transactions on Neural Networks, 4 (4): 558-569, 1993.
Martinetz, T .; Шультен, К. (1994). «Топология, представляющая сети». Нейронные сети . 7 (3): 507–522. DOI : 10.1016 / 0893-6080 (94) 90109-0 .

Внешние ссылки [ править ]

DemoGNG.js Javascript-симулятор для Neural Gas (и других сетевых моделей)
Приложения для соревновательного обучения Java. Неконтролируемые нейронные сети (включая самоорганизующуюся карту) на Java с исходными кодами.
формальное описание алгоритма нейронного газа
Реализация GNG и GWR Classifier в Matlab

[1] Томас Мартинетц и Клаус Шультен (1991). «Сеть« нейронный газ »изучает топологии» (PDF) . Искусственные нейронные сети . Эльзевир . С. 397–402.

[2] F. Curatelli и О. Mayora-Iberra (2000). «Конкурсные методы обучения для эффективного векторного квантования в среде распознавания речи» . В Освальдо Кайро; Л. Энрике Сукар; Франсиско Дж. Канту-Ортис (ред.). MICAI 2000: Достижения в области искусственного интеллекта: Мексиканская международная конференция по искусственному интеллекту, Акапулько, Мексика, апрель 2000 года: протоколы . Springer. п. 109. ISBN 978-3-540-67354-5.CS1 maint: uses authors parameter (link)

[3] Angelopoulou, Anastassia и Псарроу, Александра и Гарсия Родригес, Хосе и Revett, Кеннет (2005). «Автоматическое обозначение 2D медицинских фигур с помощью растущей нейронной газовой сети» . В Янси Лю ; Тяньцзи Цзян; Чаншуй Чжан (ред.). Компьютерное зрение для приложений биомедицинских изображений: первый международный семинар, CVBIA 2005, Пекин, Китай, 21 октября 2005 г .: протоколы . Springer. п. 210. DOI : 10.1007 / 11569541_22 . ISBN 978-3-540-29411-5.CS1 maint: uses authors parameter (link)

[4] Фернандо Каналес и Макс Чакон (2007). «Модификация алгоритма растущего нейронного газа для кластерного анализа» . В Луисе Руэде; Доминго Мери (ред.). Прогресс в распознавании образов, анализе изображений и приложениях: 12-й Ибероамериканский конгресс по распознаванию образов, CIARP 2007, Винья-дель-Мар-Вальпараисо, Чили, 13–16 ноября 2007 г .; разбирательства . Springer. С. 684–693. DOI : 10.1007 / 978-3-540-76725-1_71 . ISBN 978-3-540-76724-4.CS1 maint: uses authors parameter (link)

[5] ttp://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif ^{[ мертвая ссылка ]}

[:0-6] Фрицке, Бернд (1995). «Растущая нейронная газовая сеть изучает топологии» . Достижения в системах обработки нейронной информации . 7 : 625–632 . Проверено 26 апреля 2016 .

[:1-7] Марсленд, Стивен; Шапиро, Джонатан; Нехмцов, Ульрих (2002). «Самоорганизующаяся сеть, которая расширяется по мере необходимости». Нейронные сети . 15 (8): 1041–1058. CiteSeerX 10.1.1.14.8763 . DOI : 10.1016 / s0893-6080 (02) 00078-3 . PMID 12416693 .

[:2-8] Прудент, Янн; Эннаджи, Абдельлатиф (2005). Постепенно растущий нервный газ изучает топологии . Нейронные сети, 2005. IJCNN'05. Ход работы. 2005 Совместная международная конференция IEEE по . 2 . С. 1211–1216. DOI : 10.1109 / IJCNN.2005.1556026 . ISBN 978-0-7803-9048-5. S2CID 41517545 .

[pgas-9] Риделла, Сандро; Роветта, Стефано; Зунино, Родольфо (1998). «Пластический алгоритм адаптивного векторного квантования». Нейронные вычисления и приложения . 7 : 37–51. DOI : 10.1007 / BF01413708 . S2CID 1184174 .

[10] Икбал, Хафса; Кампо, Дамиан; Байдун, Мохамад; Марченаро, Лучио; Мартин, Дэвид; Регаццони, Карло (2019). «Оптимизация кластеризации для обнаружения аномалий в полуавтономных системах» . St Международный семинар по мультимодальному пониманию и изучению воплощенных приложений : 33–41. DOI : 10.1145 / 3347450.3357657 . ISBN 9781450369183.

[11] Анкона, Фабио; Роветта, Стефано; Зунино, Родольфо (1996). «Параллельный подход к пластическому нейронному газу». Труды Международной конференции по нейронным сетям (ICNN'96) . 1 : 126–130. DOI : 10.1109 / ICNN.1996.548878 . ISBN 0-7803-3210-5. S2CID 61686854 .

[12] Анкона, Фабио; Роветта, Стефано; Зунино, Родольфо (1997). «Аппаратная реализация нейронного газа». Труды Международной конференции по нейронным сетям (ICNN'97) . 2 : 991–994. DOI : 10.1109 / ICNN.1997.616161 . ISBN 0-7803-4122-8. S2CID 62480597 .

[1]