Нечеткая кластеризация

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Глоссарий искусственного интеллекта Глоссарий искусственного интеллекта
Статьи по Теме Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

Нечеткая кластеризация (также называемая мягкой кластеризацией или мягкими k- средними ) - это форма кластеризации, в которой каждая точка данных может принадлежать более чем одному кластеру.

Кластеризация или кластерный анализ включает в себя присвоение точек данных кластерам таким образом, чтобы элементы в одном кластере были как можно более похожими, а элементы, принадлежащие к разным кластерам, были как можно более разными. Кластеры идентифицируются с помощью мер сходства. Эти меры сходства включают расстояние, взаимосвязь и интенсивность. На основе данных или приложения могут быть выбраны различные меры сходства. ^[1]

Сравнение с жесткой кластеризацией [ править ]

При нечеткой кластеризации (также известной как жесткая кластеризация) данные делятся на отдельные кластеры, где каждая точка данных может принадлежать только одному кластеру. В нечеткой кластеризации точки данных потенциально могут принадлежать нескольким кластерам. Например, яблоко может быть красным или зеленым (жесткая кластеризация), но яблоко также может быть красным И зеленым (нечеткая кластеризация). Здесь яблоко может быть в определенной степени красным, а в определенной степени зеленым. Вместо яблока, принадлежащего зеленому [green = 1], а не красному [red = 0], яблоко может принадлежать зеленому [green = 0,5] и красному [red = 0,5]. Эти значения нормализованы от 0 до 1; однако они не представляют вероятности, поэтому нет необходимости складывать эти два значения в 1.

Членство [ править ]

Оценки членства присваиваются каждой из точек данных (тегов). Эти степени членства указывают на степень принадлежности точек данных к каждому кластеру. Таким образом, точки на краю кластера с более низкими оценками членства могут находиться в кластере в меньшей степени, чем точки в центре кластера.

Нечеткая кластеризация C-средних [ править ]

Одним из наиболее широко используемых алгоритмов нечеткой кластеризации является алгоритм нечеткой кластеризации C-средних (FCM).

История [ править ]

Кластеризация нечетких c-средних (FCM) была разработана JC Dunn в 1973 году ^[2] и усовершенствована JC Bezdek в 1981 году ^[3].

Общее описание [ править ]

Алгоритм нечетких c- средних очень похож на алгоритм k- средних :

• Выберите количество кластеров .
• Назначьте коэффициенты случайным образом каждой точке данных для того, чтобы она была в кластерах.
• Повторяйте до тех пор, пока алгоритм не сойдется (то есть изменение коэффициентов между двумя итерациями не превышает заданный порог чувствительности):${\ Displaystyle \ varepsilon}$
  • Вычислите центроид для каждого кластера (показано ниже).
  • Для каждой точки данных вычислите ее коэффициенты нахождения в кластерах.

Центроид [ править ]

Любая точка x имеет набор коэффициентов, определяющих степень нахождения в k- м кластере w _k ( x ). С нечеткими c- средними центроид кластера является средним значением всех точек, взвешенных по степени их принадлежности к кластеру, или, математически,

${\ displaystyle c_ {k} = {{\ sum _ {x} {w_ {k} (x)} ^ {m} x} \ over {\ sum _ {x} {w_ {k} (x)} ^ {m}}},}$

где m - гиперпараметр, определяющий, насколько нечетким будет кластер. Чем он выше, тем более нечетким будет кластер в итоге.

Алгоритм [ править ]

Алгоритм FCM пытается разбить конечный набор элементов на набор из c нечетких кластеров по некоторому заданному критерию.${\ displaystyle n}$${\ displaystyle X = \ {\ mathbf {x} _ {1}, ..., \ mathbf {x} _ {n} \}}$

Учитывая конечный набор данных, алгоритм возвращает список центров кластеров и матрицу разбиения.${\ displaystyle c}$${\ displaystyle C = \ {\ mathbf {c} _ {1}, ..., \ mathbf {c} _ {c} \}}$

${\ displaystyle W = w_ {i, j} \ in [0,1], \; i = 1, ..., n, \; j = 1, ..., c}$, где каждый элемент`` сообщает степень, в которой элемент`` принадлежит кластеру .${\ displaystyle w_ {ij}}$${\displaystyle \mathbf {x} _{i}}$${\displaystyle \mathbf {c} _{j}}$

FCM стремится минимизировать целевую функцию:

${\displaystyle {\underset {C}{\operatorname {arg\,min} }}\sum _{i=1}^{n}\sum _{j=1}^{c}w_{ij}^{m}\left\|\mathbf {x} _{i}-\mathbf {c} _{j}\right\|^{2},}$

куда:

${\displaystyle w_{ij}={\frac {1}{\sum _{k=1}^{c}\left({\frac {\left\|\mathbf {x} _{i}-\mathbf {c} _{j}\right\|}{\left\|\mathbf {x} _{i}-\mathbf {c} _{k}\right\|}}\right)^{\frac {2}{m-1}}}}.}$

Сравнение с кластеризацией K-средних [ править ]

Кластеризация K-средних также пытается минимизировать целевую функцию, показанную выше. Этот метод отличается от целевой функции k- средних добавлением значений принадлежности и фаззификатора , с . Фаззификатор определяет уровень нечеткости кластера. Большое значение приводит к меньшим значениям принадлежности и, следовательно, к более нечетким кластерам. В пределе членство сходится к 0 или 1, что подразумевает четкое разбиение. При отсутствии экспериментов или знания предметной области обычно устанавливается равным 2. Алгоритм также минимизирует внутрикластерную дисперсию, но имеет те же проблемы, что и «k» -средства; минимум - это локальный минимум, и результаты зависят от первоначального выбора весов.${\displaystyle w_{ij}}$${\displaystyle m\in R}$${\displaystyle m\geq 1}$${\displaystyle m}$${\displaystyle m}$${\displaystyle w_{ij}}$${\displaystyle m=1}$${\displaystyle w_{ij}}$${\displaystyle m}$

Связанные алгоритмы [ править ]

Нечеткие C-средние (FCM) с автоматически определенным количеством кластеров могут повысить точность обнаружения. ^[4] Использование смеси гауссианов вместе с алгоритмом максимизации ожидания является более статистически формализованным методом, который включает в себя некоторые из этих идей: частичное членство в классах.

Пример [ править ]

Чтобы лучше понять этот принцип, ниже по оси x приведен классический пример одномерных данных.

Этот набор данных традиционно можно сгруппировать в два кластера. При выборе порога на оси x данные разделяются на два кластера. Полученные кластеры помечены буквами «A» и «B», как показано на следующем изображении. Следовательно, каждая точка, принадлежащая набору данных, будет иметь коэффициент принадлежности 1 или 0. Этот коэффициент принадлежности каждой соответствующей точки данных представлен включением оси y.

В нечеткой кластеризации каждая точка данных может принадлежать нескольким кластерам. Путем ослабления определения коэффициентов принадлежности от 1 до 0 эти значения могут варьироваться от любого значения от 1 до 0. На следующем изображении показан набор данных из предыдущей кластеризации, но теперь применяется нечеткая кластеризация c-средних. Сначала может быть сгенерировано новое пороговое значение, определяющее два кластера. Затем новые коэффициенты принадлежности для каждой точки данных генерируются на основе центроидов кластеров, а также расстояния от центроидов каждого кластера.

Как можно видеть, средняя точка данных принадлежит кластеру A и кластеру B. Значение 0,3 является коэффициентом принадлежности этой точки данных для кластера A. ^[5]

Приложения [ править ]

Проблемы кластеризации находят применение в науке о поверхности, биологии, медицине, психологии, экономике и многих других дисциплинах. ^[6]

Биоинформатика [ править ]

В области биоинформатики кластеризация используется для ряда приложений. Одно из применений - это метод распознавания образов для анализа данных экспрессии генов с микрочипов или других технологий. ^[7] В этом случае гены со сходными паттернами экспрессии сгруппированы в один и тот же кластер, а разные кластеры демонстрируют различные, хорошо разделенные паттерны экспрессии. Использование кластеризации может дать представление о функции и регуляции генов. ^[6] Поскольку нечеткая кластеризация позволяет генам принадлежать более чем к одному кластеру, это позволяет идентифицировать гены, которые условно совместно регулируются или совместно экспрессируются. ^[8] Например, на один ген может воздействовать более одного фактора транскрипции., и один ген может кодировать белок, который выполняет более одной функции. Таким образом, нечеткая кластеризация более уместна, чем жесткая кластеризация.

Анализ изображения [ править ]

Нечеткие c-средства были очень важным инструментом для обработки изображений при кластеризации объектов изображения. В 70-х годах математики ввели пространственный член в алгоритм FCM, чтобы повысить точность кластеризации в условиях шума. ^[9] Кроме того, алгоритмы FCM использовались для различения различных видов деятельности с использованием функций на основе изображений, таких как моменты Ху и Цернике. ^{[10] В} качестве альтернативы, модель нечеткой логики может быть описана на нечетких наборах , которые определены на трех компонентах цветового пространства HSL HSL и HSV ; Функции принадлежности призваны описывать цвета в соответствии с человеческой интуицией идентификации цвета. ^[11]

Маркетинг [ править ]

В маркетинге клиентов можно сгруппировать в нечеткие кластеры на основе их потребностей, выбора бренда, психографических профилей или других разделов, связанных с маркетингом. ^{[ необходима цитата ]}

Пример обработки изображения [ править ]

Сегментация изображений с использованием алгоритмов кластеризации k-средних уже давно используется для распознавания образов, обнаружения объектов и получения медицинских изображений. Однако из-за реальных ограничений, таких как шум, затенение и различия в камерах, традиционная жесткая кластеризация часто не может надежно выполнять задачи обработки изображений, как указано выше. ^[12] Нечеткая кластеризация была предложена как более подходящий алгоритм для выполнения этих задач. Это изображение в оттенках серого, которое подверглось нечеткой кластеризации в Matlab. ^[13] Исходное изображение отображается рядом с кластерным изображением. Цвета используются для визуального представления трех отдельных кластеров, используемых для определения принадлежности каждого пикселя. Ниже приведена диаграмма, которая определяет нечеткие коэффициенты принадлежности соответствующих им значений интенсивности.

В зависимости от приложения, для которого должны использоваться коэффициенты нечеткой кластеризации, к изображениям RGB могут применяться различные методы предварительной обработки . Преобразование RGB в HCL - обычная практика. ^[14]

См. Также [ править ]

• Кластеризация пламени
• Кластерный анализ
• Алгоритм ожидания-максимизации (аналогичный, но более статистически формализованный метод)

Ссылки [ править ]