Самоорганизующаяся карта

Эта статья может потребовать очистки, чтобы соответствовать стандартам качества Википедии . Нет очистки причина не была указана. Пожалуйста, помогите улучшить эту статью, если можете. ( Июнь 2011 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Разработка функций Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k- означает Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор локального выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Глоссарий искусственного интеллекта Глоссарий искусственного интеллекта
Статьи по Теме Список наборов данных для исследований в области машинного обучения Схема машинного обучения
v т е

Самоорганизующаяся карта ( SOM ) или самоорганизующаяся функция карта ( SOFM ) представляет собой тип искусственной нейронной сети (ИНС) , которая обучается с использованием неконтролируемого обучения для получения низкоразмерного (обычно два-мерный), дискретизованное представления входное пространство обучающих выборок, называемое картой , и поэтому является методом уменьшения размерности . Самоорганизующиеся карты отличаются от других искусственных нейронных сетей, поскольку они применяют конкурентное обучение, а не обучение с исправлением ошибок (например, обратное распространение с градиентным спуском).), и в том смысле, что они используют функцию соседства для сохранения топологических свойств входного пространства.

Это делает SOM полезными для визуализации за счет создания низкоразмерных представлений многомерных данных, сродни многомерному масштабированию . Искусственную нейронную сеть, введенную финским профессором Теуво Кохоненом в 1980-х годах, иногда называют картой или сетью Кохонена . ^{[1] [2]} Сеть Кохонена представляет собой удобную в вычислительном отношении абстракцию, основанную на биологических моделях нейронных систем 1970-х годов ^[3] и моделях морфогенеза, восходящих к Алану Тьюрингу в 1950-х годах. ^[4]

Хотя этот тип сетевой структуры обычно рассматривается как связанный с сетями прямого распространения, в которых узлы визуализируются как присоединенные, этот тип архитектуры принципиально отличается по расположению и мотивации.

Полезные расширения включают использование тороидальных сеток, в которых соединяются противоположные края, и использование большого количества узлов.

Также широко используется U-матрица . ^[5] Значение U-матрицы конкретного узла - это среднее расстояние между вектором весов узла и его ближайшими соседями. ^[6] В квадратной сетке, например, могут быть рассмотрены ближайшие 4 или 8 узлов ( окрестности фон Неймана и Мура , соответственно) или шесть узлов в шестиугольной сетке.

Большие SOM демонстрируют новые свойства . В картах, состоящих из тысяч узлов, можно выполнять кластерные операции на самой карте. ^[7]

Структура и операции [ править ]

Как и большинство искусственных нейронных сетей, SOM работают в двух режимах: обучение и отображение. «Обучение» строит карту, используя примеры входных данных ( конкурентный процесс , также называемый векторным квантованием ), в то время как «сопоставление» автоматически классифицирует новый входной вектор.

Видимая часть самоорганизующейся карты - это пространство карты, которое состоит из компонентов, называемых узлами или нейронами. Пространство карты определяется заранее, обычно как конечная двумерная область, в которой узлы расположены в правильной шестиугольной или прямоугольной сетке. ^[8] Каждый узел связан с вектором «веса», который является позицией во входном пространстве; то есть он имеет ту же размерность, что и каждый входной вектор. Пока узлы в пространстве карты остаются фиксированными, обучение заключается в перемещении векторов весов к входным данным (уменьшение метрики расстояния) без нарушения топологии, созданной из пространства карты. Таким образом, самоорганизующаяся карта описывает отображение из входного пространства более высокого измерения в пространство карты более низкого измерения. После обучения карта может классифицировать вектор из входного пространства, найдя узел с ближайшим (с наименьшей метрикой расстояния) весовым вектором к вектору входного пространства.

Алгоритм обучения [ править ]

Цель обучения самоорганизующейся карте - заставить разные части сети одинаково реагировать на определенные входные шаблоны. Это отчасти мотивировано тем , как визуальный, слуховой или иной сенсорной информации осуществляется в отдельных частях коры головного мозга в человеческом мозге . ^[9]

Веса нейронов либо инициализируются небольшими случайными значениями, либо выбираются равномерно из подпространства, охватываемого двумя наибольшими собственными векторами главных компонент . С последним вариантом обучение происходит намного быстрее, потому что начальные веса уже дают хорошее приближение к весам SOM. ^[10]

В сеть необходимо подавать большое количество примеров векторов, которые максимально точно представляют типы векторов, ожидаемых во время отображения. Примеры обычно вводятся несколько раз в виде итераций.

Тренинг использует соревновательное обучение . Когда обучающий пример загружается в сеть, вычисляется его евклидово расстояние до всех весовых векторов. Нейрон, весовой вектор которого наиболее похож на входной, называется единицей наилучшего согласования (BMU). Веса BMU и близких к нему нейронов в сетке SOM корректируются по входному вектору. Величина изменения уменьшается со временем и по мере удаления от BMU сетки. Формула обновления для нейрона v с весовым вектором W _v (s):

${\ Displaystyle W_ {v} (s + 1) = W_ {v} (s) + \ theta (u, v, s) \ cdot \ alpha (s) \ cdot (D (t) -W_ {v} ( s))}$,

где s - индекс шага, t - индекс обучающей выборки, u - индекс BMU для входного вектора D (t), α (s) - монотонно убывающий коэффициент обучения; Θ (u, v, s) - функция соседства, которая дает расстояние между нейроном u и нейроном v на шаге s. ^[11] В зависимости от реализаций t может сканировать набор обучающих данных систематически (t равно 0, 1, 2 ... T-1, затем повторять, T - размер обучающей выборки), случайным образом извлекаться из набора данных ( bootstrap sampling ) или реализовать какой-либо другой метод выборки (например, складной нож ).

Функция соседства Θ (u, v, s) (также называемая функцией бокового взаимодействия ) зависит от сеточного расстояния между BMU (нейроном u ) и нейроном v . В простейшей форме это 1 для всех нейронов, достаточно близких к BMU, и 0 для других, но функции Гаусса и мексиканской шляпы ^{[12] также} являются обычным выбором. Независимо от функциональной формы, функция соседства сжимается со временем. ^[9]Вначале, когда окружение велико, самоорганизация происходит в глобальном масштабе. Когда соседство сократилось до пары нейронов, веса сходятся к локальным оценкам. В некоторых реализациях коэффициент обучения α и функция соседства Θ неуклонно уменьшаются с увеличением s, в других (в частности, в тех, где t сканирует набор обучающих данных) они уменьшаются пошагово, каждые T шагов.

Этот процесс повторяется для каждого входного вектора в течение (обычно большого) количества циклов λ . В итоге сеть связывает выходные узлы с группами или шаблонами во входном наборе данных. Если эти шаблоны могут быть названы, имена могут быть присоединены к связанным узлам в обученной сети.

Во время отображения будет один единственный нейрон- победитель : нейрон, весовой вектор которого находится ближе всего к входному вектору. Это можно просто определить, вычислив евклидово расстояние между входным вектором и вектором весов.

Хотя в этой статье было подчеркнуто представление входных данных в виде векторов, любой тип объекта, который может быть представлен в цифровом виде, с которым связана соответствующая мера расстояния и в котором возможны необходимые операции для обучения, может быть использован для построения собственного -организация карты. Сюда входят матрицы, непрерывные функции или даже другие самоорганизующиеся карты.

Переменные [ править ]

Это необходимые переменные, векторы выделены жирным шрифтом,

• ${\ displaystyle s}$ это текущая итерация
• ${\ displaystyle \ lambda}$ это предел итераций
• ${\ displaystyle t}$ - индекс вектора целевых входных данных во входном наборе данных ${\ displaystyle \ mathbf {D}}$
• ${\ Displaystyle {D} (т)}$ целевой вектор входных данных
• ${\ displaystyle v}$ это индекс узла на карте
• ${\ displaystyle \ mathbf {W} _ {v}}$ текущий весовой вектор узла ${\ displaystyle v}$
• ${\ displaystyle u}$ это индекс единицы наилучшего соответствия (BMU) на карте
• ${\ Displaystyle \ theta (и, v, s)}$ является ограничением из-за расстояния от BMU, обычно называемого функцией соседства, и
• ${\ displaystyle \ alpha (s)}$ - ограничение обучения из-за прогресса итерации.

Алгоритм [ править ]

1. Рандомизируйте весовые векторы узлов на карте
2. Случайно выбрать входной вектор ${\ Displaystyle {D} (т)}$
3. Пройдите по каждому узлу на карте
   1. Используйте формулу евклидова расстояния, чтобы найти сходство между входным вектором и вектором веса узла карты.
   2. Отслеживайте узел, который производит наименьшее расстояние (этот узел является наиболее подходящей единицей, BMU)
4. Обновите весовые векторы узлов в окрестности BMU (включая сам BMU), подтянув их ближе к входному вектору
   1. ${\ Displaystyle W_ {v} (s + 1) = W_ {v} (s) + \ theta (u, v, s) \ cdot \ alpha (s) \ cdot (D (t) -W_ {v} ( s))}$
5. Увеличьте и повторите, начиная с шага 2, пока${\ displaystyle s}$${\ displaystyle s <\ lambda}$

Вариант алгоритма:

1. Рандомизируйте весовые векторы узлов карты
2. Просмотрите каждый входной вектор во входном наборе данных
   1. Пройдите по каждому узлу на карте
      1. Используйте формулу евклидова расстояния, чтобы найти сходство между входным вектором и вектором веса узла карты.
      2. Отслеживайте узел, который производит наименьшее расстояние (этот узел является наиболее подходящей единицей, BMU)
   2. Обновите узлы в окрестности BMU (включая сам BMU), подтянув их ближе к входному вектору
      1. ${\ Displaystyle W_ {v} (s + 1) = W_ {v} (s) + \ theta (u, v, s) \ cdot \ alpha (s) \ cdot (D (t) -W_ {v} ( s))}$
3. Увеличьте и повторите, начиная с шага 2, пока${\ displaystyle s}$${\ displaystyle s <\ lambda}$

Инициализация SOM [ править ]

Выбор хорошего начального приближения - известная проблема для всех итерационных методов обучения нейронных сетей. Кохонен ^[13] использовал случайное инициирование весов SOM. В последнее время инициализация главных компонентов, при которой начальные веса карты выбираются из пространства первых главных компонент, стала популярной из-за точной воспроизводимости результатов. ^[14]

Тщательное сравнение подхода случайного инициирования к инициализации главного компонента для одномерного SOM (модели главных кривых) показало, что преимущества инициализации главного компонента SOM не универсальны. Лучший способ инициализации зависит от геометрии конкретного набора данных. Инициализация главного компонента предпочтительнее (в измерении один), если главная кривая, аппроксимирующая набор данных, может быть однолистно и линейно спроецирована на первый главный компонент (квазилинейные множества). Однако для нелинейных наборов данных случайное инициирование работает лучше. ^[15]

Примеры [ править ]

Данные о цветке ириса Фишера [ править ]

Этот раздел, возможно, содержит оригинальные исследования . Пожалуйста, улучшите его , проверив сделанные утверждения и добавив встроенные цитаты . Заявления, содержащие только оригинальные исследования, следует удалить. ( Июнь 2017 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Рассмотрим массив узлов размером n × m , каждый из которых содержит вектор весов и знает свое местоположение в массиве. Каждый весовой вектор имеет ту же размерность, что и входной вектор узла. Первоначально веса могут быть установлены на случайные значения.

Теперь нам нужен ввод для подачи карты. Цвета могут быть представлены их красным, зеленым и синим компонентами. Следовательно, мы будем представлять цвета как векторы в единичном кубе в свободном векторном пространстве над ℝ порожденной основой :

R = <255, 0, 0>

G = <0, 255, 0>

B = <0, 0, 255>

Показанная диаграмма

сравнивает результаты обучения на наборах данных ^{[Примечание 1]}

threeColors = [255, 0, 0], [0, 255, 0], [0, 0, 255]

восемьColors = [0, 0, 0], [255, 0, 0], [0, 255, 0], [0, 0, 255], [255, 255, 0], [0, 255, 255], [255, 0, 255], [255, 255, 255]

и исходные изображения. Обратите внимание на поразительное сходство между ними.

Точно так же после обучения сетки нейронов 40 × 40 для 250 итераций со скоростью обучения 0,1 на Ирисе Фишера карта уже может обнаружить основные различия между видами.

Интерпретация [ править ]

Есть два способа интерпретировать SOM. Поскольку на этапе обучения веса всего окружения перемещаются в одном направлении, похожие предметы имеют тенденцию возбуждать соседние нейроны. Таким образом, SOM формирует семантическую карту, в которой похожие образцы отображаются близко друг к другу, а несходные - отдельно. Это можно визуализировать с помощью U-матрицы (евклидово расстояние между весовыми векторами соседних ячеек) SOM. ^{[5] [6] [17]}

Другой способ - рассматривать веса нейронов как указатели на входное пространство. Они образуют дискретную аппроксимацию распределения обучающих выборок. Больше нейронов указывает на области с высокой концентрацией обучающей выборки и меньше нейронов - на мало.

SOM можно рассматривать как нелинейное обобщение анализа главных компонентов (PCA). ^[18] С использованием как искусственных, так и реальных геофизических данных было показано, что SOM имеет много преимуществ ^{[19] [20] по} сравнению с традиционными методами извлечения признаков, такими как эмпирические ортогональные функции (EOF) или PCA.

Первоначально SOM не был сформулирован как решение проблемы оптимизации. Тем не менее, было несколько попыток изменить определение SOM и сформулировать проблему оптимизации, которая дает аналогичные результаты. ^[21] Например, эластичные карты используют механическую метафору эластичности для аппроксимации главных многообразий : ^[22] аналогия - эластичная мембрана и пластина.

Альтернативы [ править ]

• Порождающая топографическая карта (GTM) является потенциальной альтернативой ЗВОЛА. В том смысле, что GTM явно требует гладкого и непрерывного отображения из пространства ввода в пространство карты, он сохраняет топологию. Однако в практическом смысле этой меры топологической сохранности нет. ^[23]
• Сеть с адаптивной самоорганизующейся картой (TASOM) является расширением базовой SOM. TASOM использует адаптивную скорость обучения и функции соседства. Он также включает параметр масштабирования, чтобы сделать сеть инвариантной к масштабированию, перемещению и вращению входного пространства. TASOM и его варианты использовались в нескольких приложениях, включая адаптивную кластеризацию, многоуровневую пороговую обработку, аппроксимацию входного пространства и моделирование активного контура. ^[24] Кроме того, было предложено двоичное дерево TASOM или BTASOM, напоминающее двоичное естественное дерево, имеющее узлы, состоящие из сетей TASOM, где количество его уровней и количество узлов адаптируются к окружающей среде. ^[25]
• Растет самоорганизующаяся карта (ВШМ) является растущим вариантом самоорганизующейся карты. ВШМ была разработана для решения проблемы определения подходящего размера карты в ЗВОЛ. Он начинается с минимального количества узлов (обычно четырех) и наращивает новые узлы на границе на основе эвристики. Используя значение, называемое коэффициентом распространения , аналитик данных имеет возможность контролировать рост GSOM.
• В эластичных картах приближаются ^[26] заимствует из сплайна интерполяции идеи минимизации энергии упругой деформации . При обучении он сводит к минимуму сумму квадратичной энергии изгиба и растяжения с ошибкой аппроксимации методом наименьших квадратов .
• Конформный подход ^{[27] [28],} который использует конформное отображение для интерполяции каждой обучающей выборки между узлами сетки на непрерывной поверхности. При таком подходе возможно однозначное сглаживание.
• Ориентированная и масштабируемая карта (OS-Map) обобщающая функцию окрестностей и выбор победителя. ^[29] Однородная гауссовская функция окрестности заменяется матричной экспонентой. Таким образом, можно указать ориентацию либо в пространстве карты, либо в пространстве данных. SOM имеет фиксированный масштаб (= 1), так что карты «оптимально описывают область наблюдения». Но как насчет карты, покрывающей область дважды или n-кратно? Это влечет за собой концепцию масштабирования. OS-Map рассматривает масштаб как статистическое описание того, сколько узлов наилучшим образом соответствует входным данным на карте.

Приложения [ править ]

• Приоритезация и отбор проектов ^[30]
• Анализ сейсмофаций при разведке нефти и газа ^[31]
• Анализ видов и последствий отказов ^[32]
• Создание произведений искусства ^[33]

См. Также [ править ]

• Нейронный газ
• Изучение векторного квантования
• Машина жидких состояний
• Гибрид Кохонена СОМ
• Разреженное кодирование
• Редкая распределенная память
• Глубокое обучение
• Неокогнитрон
• Топологический анализ данных

Примечания [ править ]

Ссылки [ править ]

Викискладе есть медиафайлы, связанные с самоорганизующимися картами .