Независимый компонентный анализ

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Глоссарий искусственного интеллекта Глоссарий искусственного интеллекта
Статьи по Теме Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) Эта статья требует дополнительных ссылок для проверки . Пожалуйста, помогите улучшить эту статью , добавив цитаты из надежных источников . Материал, не полученный от источника, может быть оспорен и удален. Найти источники:  «Независимый компонентный анализ»  -  новости  · газеты  · книги  · ученый  · JSTOR ( октябрь 2011 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон ) ‹Приведенный ниже шаблон ( необходим эксперт ) рассматривается на предмет удаления. См. Шаблоны для обсуждения, чтобы помочь достичь консенсуса. › Эта статья требует внимания специалиста по статистике . Пожалуйста , добавьте причину в или разговоре параметр для этого шаблона , чтобы объяснить проблему с статьей. WikiProject Statistics может помочь нанять эксперта. ( Ноябрь 2008 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

В обработке сигналов , анализ независимого компонентов ( ICA ) является вычислительным методом для разделения многомерного сигнала в аддитивные подкомпонент. Это делается путем предположения, что подкомпоненты являются негауссовыми сигналами и что они статистически независимы друг от друга. ICA - это частный случай слепого разделения источников . Типичным примером приложения является " проблема коктейльной вечеринки ", когда речь идет о прослушивании речи одного человека в шумной комнате. ^[1]

Введение [ править ]

Независимый компонентный анализ пытается разложить многомерный сигнал на независимые негауссовские сигналы. Например, звук обычно представляет собой сигнал, который состоит из числового сложения в каждый момент времени t сигналов от нескольких источников. Тогда возникает вопрос, можно ли отделить эти источники от наблюдаемого полного сигнала. Когда допущение о статистической независимости верно, слепое ICA-разделение смешанного сигнала дает очень хорошие результаты. ^{[ необходима цитата ]} Он также используется для сигналов, которые не должны генерироваться путем микширования в целях анализа.

Простым применением ICA является « проблема коктейльной вечеринки », когда основные речевые сигналы отделяются от выборки данных, состоящей из людей, одновременно говорящих в комнате. Обычно проблема упрощается, если не допускать задержек по времени или эхо. Обратите внимание, что отфильтрованный и задержанный сигнал является копией зависимого компонента, и, таким образом, предположение о статистической независимости не нарушается.

Веса смешивания для построения наблюдаемых сигналов от компонентов могут быть помещены в матрицу. Важно учитывать, что при наличии источников необходимы как минимум наблюдения (например, микрофоны, если наблюдаемый сигнал является звуковым) для восстановления исходных сигналов. Когда имеется равное количество наблюдений и сигналов источников, матрица микширования имеет квадратную форму ( ). Другие случаи недоопределения ( ) и переопределения ( ) были исследованы.${\ textstyle M}$${\ textstyle N}$${\ textstyle M \ times N}$${\ textstyle N}$${\ textstyle N}$${\ textstyle M = N}$${\ textstyle M <N}$${\ textstyle M> N}$

То, что ICA-разделение смешанных сигналов дает очень хорошие результаты, основано на двух предположениях и трех эффектах смешивания сигналов источников. Два предположения:

1. Исходные сигналы независимы друг от друга.
2. Значения в каждом исходном сигнале имеют негауссовское распределение.

Три эффекта микширования сигналов источников:

1. Независимость: Согласно предположению 1, исходные сигналы независимы; однако их смеси сигналов - нет. Это связано с тем, что смеси сигналов используют одни и те же исходные сигналы.
2. Нормальность: согласно Центральной предельной теореме распределение суммы независимых случайных величин с конечной дисперсией стремится к гауссовскому распределению.
   Грубо говоря, сумма двух независимых случайных величин обычно имеет распределение, которое ближе к гауссову, чем любая из двух исходных переменных. Здесь мы рассматриваем значение каждого сигнала как случайную величину.
3. Сложность: временная сложность любой смеси сигналов больше, чем сложность ее простейшего составляющего сигнала источника.

Эти принципы способствуют основному становлению МКА. Если сигналы, извлеченные из набора смесей, независимы, имеют негауссовские гистограммы или имеют низкую сложность, то они должны быть сигналами источника. ^{[3] [4]}

Определение независимости компонентов [ править ]

ICA находит независимые компоненты (также называемые факторами, скрытыми переменными или источниками), максимизируя статистическую независимость оцениваемых компонентов. Мы можем выбрать один из многих способов определения прокси для независимости, и этот выбор определяет форму алгоритма ICA. Два самых широких определения независимости для ICA:

1. Минимизация взаимной информации
2. Максимизация негауссовости

Семейство алгоритмов минимизации взаимной информации (MMI) алгоритмов ICA использует такие меры, как дивергенция Кульбака-Лейблера и максимальная энтропия . Семейство алгоритмов негауссовости ICA, мотивированных центральной предельной теоремой , использует эксцесс и негэнтропию .

Типичные алгоритмы для ICA используют центрирование (вычесть среднее для создания сигнала с нулевым средним), отбеливание (обычно с разложением по собственным значениям ) и уменьшение размерности в качестве шагов предварительной обработки, чтобы упростить и уменьшить сложность проблемы для фактического итерационного алгоритма. Отбеливание и уменьшение размеров может быть достигнуто с помощью анализа главных компонентов или разложения по сингулярным значениям . Отбеливание гарантирует, что все измерения априори обрабатываются одинаково перед запуском алгоритма. Хорошо известные алгоритмы для ICA включают infomax , FastICA , JADE ипомимо прочего, независимый от ядра анализ компонентов . В общем, ICA не может идентифицировать фактическое количество исходных сигналов, однозначно правильный порядок исходных сигналов или надлежащее масштабирование (включая знак) исходных сигналов.

ICA важен для слепого разделения сигналов и имеет множество практических приложений. Это тесно связано с (или даже с особым случаем) поиском факториального кода данных, т. Е. Нового векторно-значного представления каждого вектора данных, так что он однозначно кодируется результирующим вектором кода (без потерь кодирование), но компоненты кода статистически независимы.

Математические определения [ править ]

Линейный независимый компонентный анализ можно разделить на бесшумный и зашумленный случаи, где бесшумный ICA является частным случаем зашумленного ICA. Отдельно стоит рассмотреть нелинейный ICA.

Общее определение [ править ]

Данные представлены наблюдаемым случайным вектором, а скрытые компоненты - случайным вектором . Задача состоит в том, чтобы преобразовать наблюдаемые данные, используя линейное статическое преобразование, как в вектор максимально независимых компонентов, измеренных некоторой функцией независимости.${\ displaystyle {\ boldsymbol {x}} = (x_ {1}, \ ldots, x_ {m}) ^ {T}}$${\ displaystyle {\ boldsymbol {s}} = (s_ {1}, \ ldots, s_ {n}) ^ {T}.}$${\ displaystyle {\ boldsymbol {x}},}$${\ displaystyle {\ boldsymbol {W}}}$${\ displaystyle {\ boldsymbol {s}} = {\ boldsymbol {W}} {\ boldsymbol {x}},}$${\ displaystyle {\ boldsymbol {s}}}$${\ Displaystyle F (s_ {1}, \ ldots, s_ {n})}$

Генеративная модель [ править ]

Линейный бесшумный ICA [ править ]

Компоненты наблюдаемого случайного вектора генерируются в виде суммы независимых компонентов , :${\ displaystyle x_ {i}}$${\ displaystyle {\ boldsymbol {x}} = (x_ {1}, \ ldots, x_ {m}) ^ {T}}$${\ displaystyle s_ {k}}$${\ Displaystyle к = 1, \ ldots, п}$

${\ displaystyle x_ {i} = a_ {i, 1} s_ {1} + \ cdots + a_ {i, k} s_ {k} + \ cdots + a_ {i, n} s_ {n}}$

взвешенные по весам смешивания .${\displaystyle a_{i,k}}$

Та же самая генеративная модель может быть записана в векторной форме как , где наблюдаемый случайный вектор представлен базисными векторами . Базисные векторы образуют столбцы матрицы смешения, а порождающая формула может быть записана как , где .${\displaystyle {\boldsymbol {x}}=\sum _{k=1}^{n}s_{k}{\boldsymbol {a}}_{k}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}}$${\displaystyle {\boldsymbol {a}}_{k}}$${\displaystyle {\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})}$${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}}$${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}}$

Учитывая модель и реализации (выборки) случайного вектора , задача состоит в том, чтобы оценить как матрицу смешения, так и источники . Это делается путем адаптивного вычисления векторов и настройки функции стоимости, которая либо максимизирует негауссовость вычисленных, либо минимизирует взаимную информацию. В некоторых случаях в функции стоимости можно использовать априорное знание распределений вероятностей источников.${\displaystyle {\boldsymbol {x}}_{1},\ldots ,{\boldsymbol {x}}_{N}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {A}}}$${\displaystyle {\boldsymbol {s}}}$${\displaystyle {\boldsymbol {w}}}$${\displaystyle s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}}$

Исходные источники могут быть восстановлены путем умножения наблюдаемых сигналов на обратную матрицу смешивания , также известную как матрица несмешивания. Здесь предполагается, что матрица смешения является квадратной ( ). Если количество базисных векторов больше, чем размерность наблюдаемых векторов, задача перевыполнена, но все еще может быть решена с помощью псевдообратного метода .${\displaystyle {\boldsymbol {s}}}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {W}}={\boldsymbol {A}}^{-1}}$${\displaystyle n=m}$${\displaystyle n>m}$

Линейный шумный ICA [ править ]

С добавленным предположением о нулевом среднем и некоррелированном гауссовом шуме модель ICA принимает форму .${\displaystyle n\sim N(0,\operatorname {diag} (\Sigma ))}$${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n}$

Нелинейный ICA [ править ]

Смешивание источников не обязательно должно быть линейным. Используя нелинейную функцию смешивания с параметрами нелинейной МКИ моделью является .${\displaystyle f(\cdot |\theta )}$${\displaystyle \theta }$${\displaystyle x=f(s|\theta )+n}$

Идентифицируемость [ править ]

Независимые компоненты идентифицируются до перестановки и масштабирования источников. Эта возможность идентификации требует, чтобы:

• Максимум один из источников - гауссовский,${\displaystyle s_{k}}$
• Число наблюдаемых смесей, должно быть по крайней мере таким же размером , как число оцениваемых компонентов : . Это эквивалентно утверждению, что матрица смешивания должна иметь полный ранг, чтобы существовала обратная ей.${\displaystyle m}$${\displaystyle n}$${\displaystyle m\geq n}$${\displaystyle {\boldsymbol {A}}}$

Двоичный ICA [ править ]

Особым вариантом ICA является двоичный ICA, в котором как источники сигналов, так и мониторы находятся в двоичной форме, а наблюдения с мониторов представляют собой дизъюнктивные смеси двоичных независимых источников. Было показано, что проблема имеет приложения во многих областях, включая медицинскую диагностику , назначение нескольких кластеров , сетевую томографию и управление интернет-ресурсами .

Позвольте быть набором двоичных переменных от мониторов и быть набором двоичных переменных от источников. Соединения источник-монитор представлены (неизвестной) матрицей микширования , где указывает, что сигнал от i-го источника может наблюдаться j-м монитором. Система работает следующим образом: в любое время, если источник активен ( ) и он подключен к монитору ( ), монитор будет наблюдать некоторую активность ( ). Формально имеем:${\displaystyle {x_{1},x_{2},\ldots ,x_{m}}}$${\displaystyle m}$${\displaystyle {y_{1},y_{2},\ldots ,y_{n}}}$${\displaystyle n}$${\textstyle {\boldsymbol {G}}}$${\displaystyle g_{ij}=1}$${\displaystyle i}$${\displaystyle y_{i}=1}$${\displaystyle j}$${\displaystyle g_{ij}=1}$${\displaystyle j}$${\displaystyle x_{j}=1}$

${\displaystyle x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,}$

где логическое И и логическое ИЛИ. Обратите внимание, что шум явно не моделируется, скорее, его можно рассматривать как независимый источник.${\displaystyle \wedge }$${\displaystyle \vee }$

Вышеупомянутая проблема может быть решена эвристически ^[5] , если предположить, что переменные являются непрерывными, и запустить FastICA для двоичных данных наблюдения, чтобы получить матрицу смешивания (действительные значения), а затем применить методы округления для получения двоичных значений. Было показано, что такой подход дает очень неточный результат. ^{[ необходима цитата ]}${\textstyle {\boldsymbol {G}}}$${\textstyle {\boldsymbol {G}}}$

Другой метод - использовать динамическое программирование : рекурсивно разбить матрицу наблюдения на ее подматрицы и запустить алгоритм вывода на этих подматрицах. Наблюдение ключа , который ведет к этому алгоритму является суб-матрицей из которых соответствует объективной матрице наблюдений скрытых компонентов , которые не имеют подключение к -му монитору. Экспериментальные результаты из ^[6] показывают, что этот подход точен при умеренных уровнях шума.${\textstyle {\boldsymbol {X}}}$${\textstyle {\boldsymbol {X}}^{0}}$${\textstyle {\boldsymbol {X}}}$${\textstyle x_{ij}=0,\forall j}$${\displaystyle i}$

Структура Generalized Binary ICA ^[7] вводит более широкую формулировку проблемы, которая не требует каких-либо знаний о генеративной модели. Другими словами, этот метод пытается разложить источник на его независимые компоненты (насколько это возможно и без потери информации) без предварительного предположения о том, как он был создан. Хотя эта проблема представляется весьма сложной, она может быть точно решена с ветвей и границ алгоритма поиска дерева или плотно ограничена сверху с одного умножения матрицы с вектором.

Методы слепого разделения источников [ править ]

Преследование проекции [ править ]

Смеси сигналов обычно имеют гауссовы функции плотности вероятности, а сигналы источников имеют негауссовские функции плотности вероятности. Каждый исходный сигнал может быть извлечен из набора смесей сигналов, взяв внутреннее произведение весового вектора и тех смесей сигналов, где это внутреннее произведение обеспечивает ортогональную проекцию смесей сигналов. Остается задача найти такой весовой вектор. Один из способов сделать это - проекционное преследование . ^{[8] [9]}

Слежение за проекцией ищет одну проекцию за раз, так что извлеченный сигнал является как можно более негауссовым. Это контрастирует с ВСА, который обычно извлекает M сигналов одновременно от M смесей сигнала, который требует оценивающих М × М расслоения матрицы. Одно из практических преимуществ преследования проецирования по сравнению с ICA состоит в том, что при необходимости может быть извлечено меньше M сигналов, при этом каждый сигнал источника извлекается из M смесей сигналов с использованием весового вектора M -элементов.

Мы можем использовать эксцесс, чтобы восстановить сигнал от нескольких источников, найдя правильные весовые векторы с использованием проекционного преследования.

Эксцесс функции плотности вероятности сигнала для конечной выборки вычисляется как

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$

где это выборочное среднее из , извлеченных сигналов. Константа 3 гарантирует, что гауссовы сигналы имеют нулевой эксцесс, супергауссовские сигналы имеют положительный эксцесс, а субгауссовы сигналы имеют отрицательный эксцесс. Знаменатель является дисперсией из , и гарантирует , что измеренное эксцесса учитывает дисперсию сигнала. Цель проекционного поиска - максимизировать эксцесс и сделать извлеченный сигнал настолько ненормальным, насколько это возможно.${\displaystyle \mathbf {\overline {y}} }$${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} }$

Используя эксцесс как меру ненормальности, мы теперь можем исследовать, как эксцесс сигнала, извлеченного из набора M смесей, изменяется при вращении вектора весов вокруг начала координат. Учитывая наше предположение, что каждый исходный сигнал является супергауссовым, мы ожидаем:${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {s} }$

1. эксцесс извлеченного сигнала должен быть максимальным именно тогда, когда .${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {y} =\mathbf {s} }$
2. эксцесс извлеченного сигнала должен быть максимальным, когда он ортогонален проецируемым осям или , поскольку мы знаем, что оптимальный вектор веса должен быть ортогонален преобразованной оси или .${\displaystyle \mathbf {y} }$${\displaystyle \mathbf {w} }$${\displaystyle S_{1}}$${\displaystyle S_{2}}$${\displaystyle S_{1}}$${\displaystyle S_{2}}$

Для смешанных сигналов из нескольких источников мы можем использовать эксцесс и ортогонализацию Грама-Шмидта (GSO) для восстановления сигналов. Учитывая M смесей сигналов в M -мерном пространстве, ГСО проецирует эти точки данных в ( M-1 ) -мерное пространство с помощью весового вектора. Мы можем гарантировать независимость извлеченных сигналов с использованием ГСО.

Чтобы найти правильное значение , мы можем использовать метод градиентного спуска . Мы в первую очередь отбеливаем данные и преобразуем их в новую смесь , имеющую единичную дисперсию, и . Этот процесс может быть достигнут путем применения разложения по сингулярным значениям к ,${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {z} }$${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$${\displaystyle \mathbf {x} }$

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$

Масштабируем каждый вектор , и пусть . Сигнал, извлеченный взвешенным вектором, равен . Если весовой вектор w имеет единичную длину, то есть эксцесс можно записать как:${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$${\displaystyle \mathbf {z} =\mathbf {U} }$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$

Процесс обновления :${\displaystyle \mathbf {w} }$

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$

где - малая константа, гарантирующая, что она сходится к оптимальному решению. После каждого обновления мы нормализуем , устанавливаем и повторяем процесс обновления до схождения. Мы также можем использовать другой алгоритм для обновления вектора веса .${\displaystyle \eta }$${\displaystyle \mathbf {w} }$${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$${\displaystyle \mathbf {w} }$

Другой подход заключается в использовании негэнтропии ^{[10] [11]} вместо эксцесса. Использование негэнтропии - более надежный метод, чем эксцесс, поскольку эксцесс очень чувствителен к выбросам. Методы негэнтропии основаны на важном свойстве гауссовского распределения: гауссовская переменная имеет наибольшую энтропию среди всех непрерывных случайных величин с равной дисперсией. Это также причина, по которой мы хотим найти наиболее негауссовские переменные. Простое доказательство можно найти в Дифференциальной энтропии .

${\displaystyle J(x)=S(y)-S(x)\,}$

y - гауссовская случайная величина с той же ковариационной матрицей, что и x

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

Приближение негэнтропии

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$

Доказательство можно найти в оригинальных статьях Комона; ^{[12] [10]} оно было воспроизведено в книге « Независимый компонентный анализ » Аапо Хювяринена, Юхи Кархунена и Эркки Оя ^[13]. Это приближение также страдает той же проблемой, что и эксцесс (чувствительность к выбросам). Были разработаны другие подходы. ^[14]

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$

Выбор и есть ${\displaystyle G_{1}}$${\displaystyle G_{2}}$

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$ и ${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$

Основано на инфомаксе [ править ]

Infomax ICA ^[15], по сути, является многомерной параллельной версией проекционного преследования. В то время как проекционное преследование извлекает серию сигналов по одному из набора M смесей сигналов, ICA извлекает M сигналов параллельно. Это делает ICA более надежным, чем прогнозирование. ^[16]

Метод слежения за проекцией использует ортогонализацию Грама-Шмидта, чтобы гарантировать независимость извлеченного сигнала, в то время как ICA использует инфомакс и оценку максимального правдоподобия, чтобы гарантировать независимость извлеченного сигнала. Ненормальность извлеченного сигнала достигается назначением соответствующей модели или предшествующей модели для сигнала.

Вкратце процесс ICA, основанный на infomax, таков : при наличии набора смесей сигналов и набора идентичных независимых функций кумулятивного распределения модели (cdfs) мы ищем матрицу несмешивания, которая максимизирует совместную энтропию сигналов , где извлекаются сигналы по . При оптимальности сигналы имеют максимальную энтропию и, следовательно, независимы, что гарантирует независимость извлеченных сигналов . является обратимой функцией и является моделью сигнала. Обратите внимание, что если функция плотности вероятности модели сигнала источника совпадает с функцией плотности вероятности${\displaystyle \mathbf {x} }$${\displaystyle g}$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$${\displaystyle \mathbf {y} =\mathbf {Wx} }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {Y} }$${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$${\displaystyle g}$ ${\displaystyle p_{s}}$извлеченного сигнала , затем максимизация совместной энтропии также максимизирует количество взаимной информации между и . По этой причине использование энтропии для извлечения независимых сигналов известно как инфомакс .${\displaystyle p_{\mathbf {y} }}$${\displaystyle Y}$${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {Y} }$

Рассмотрим энтропию векторной переменной , где - набор сигналов, извлеченных матрицей несмешивания . Для конечного набора значений, взятых из распределения с помощью pdf , энтропия может быть оценена как:${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$${\displaystyle \mathbf {y} =\mathbf {Wx} }$${\displaystyle \mathbf {W} }$${\displaystyle p_{\mathbf {y} }}$${\displaystyle \mathbf {Y} }$

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$

Совместный PDF может быть показан, что связанно с совместной PDF добытых сигналов по многомерной форме:${\displaystyle p_{\mathbf {Y} }}$${\displaystyle p_{\mathbf {y} }}$

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$

где - матрица Якоби . Мы имеем , и это PDF предполагается для сигналов источника , таким образом,${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$${\displaystyle g'}$${\displaystyle g'=p_{s}}$

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

следовательно,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

Мы знаем, что когда , имеет равномерное распределение и максимизируется. С${\displaystyle p_{\mathbf {y} }=p_{s}}$${\displaystyle p_{\mathbf {Y} }}$${\displaystyle H({\mathbf {Y} })}$

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$

где - абсолютное значение определителя размешивающего матикса . Следовательно,${\displaystyle |\mathbf {W} |}$${\displaystyle \mathbf {W} }$

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$

так,

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$

так как , и максимизация не влияет , поэтому мы можем максимизировать функцию${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$${\displaystyle \mathbf {W} }$${\displaystyle H_{\mathbf {x} }}$

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$

для достижения независимости извлеченного сигнала.

Если существует M маргинальных PDF-файлов модели совместного PDF-файла, которые являются независимыми и используют обычно супергауссовский модельный PDF-файл для исходных сигналов , то мы имеем${\displaystyle p_{\mathbf {s} }}$${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln |\mathbf {W} |}$

В сумме, учитывая наблюдаемую смесь сигналов , соответствующий набор извлеченных сигналов и модель сигнала источника , мы можем найти оптимальную матрицу несмешивания и сделать извлеченные сигналы независимыми и негауссовыми. Как и в случае с преследованием проекции, мы можем использовать метод градиентного спуска, чтобы найти оптимальное решение для матрицы несмешивания.${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {y} }$${\displaystyle p_{\mathbf {s} }=g'}$${\displaystyle \mathbf {W} }$

На основе оценки максимального правдоподобия [ править ]

Оценка максимального правдоподобия (MLE) - это стандартный статистический инструмент для поиска значений параметров (например, матрицы несмешивания), которые обеспечивают наилучшее соответствие некоторых данных (например, извлеченных сигналов) данной модели (например, предполагаемой совместной функции плотности вероятности). (pdf)исходных сигналов). ^[16]${\displaystyle \mathbf {W} }$${\displaystyle y}$${\displaystyle p_{s}}$

ML «модель» включает в себя спецификацию в формате PDF, который в данном случае является PDF искомых сигналов источников . Используя ML ICA , цель состоит в том, чтобы найти матрицу несмешивания, которая дает извлеченные сигналы с объединенным PDF- файлом, максимально похожим на объединенный PDF-файл сигналов неизвестных источников .${\displaystyle p_{s}}$${\displaystyle s}$${\displaystyle y=\mathbf {W} x}$${\displaystyle p_{s}}$${\displaystyle s}$

Таким образом, MLE основывается на предположении, что если модель pdf и параметры модели верны, то должна быть получена высокая вероятность для данных , которые действительно наблюдались. И наоборот, если значения параметров далеки от правильных, тогда ожидается низкая вероятность наблюдаемых данных.${\displaystyle p_{s}}$${\displaystyle \mathbf {A} }$${\displaystyle x}$${\displaystyle \mathbf {A} }$

Используя MLE , мы называем вероятность наблюдаемых данных для данного набора значений параметров модели (например, PDF-файла и матрицы ) вероятностью значений параметров модели с учетом наблюдаемых данных.${\displaystyle p_{s}}$${\displaystyle \mathbf {A} }$

Определим вероятностную функцию из :${\displaystyle \mathbf {L(W)} }$${\displaystyle \mathbf {W} }$

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$

Это равно плотности вероятности at , поскольку .${\displaystyle x}$${\displaystyle s=\mathbf {W} x}$

Таким образом, если мы хотим найти, что с наибольшей вероятностью сгенерировало наблюдаемые смеси из сигналов неизвестных источников с pdf, то нам нужно только найти то, которое максимизирует вероятность . Матрица несмешивания, которая максимизирует уравнение, известна как MLE оптимальной матрицы несмешивания.${\displaystyle \mathbf {W} }$${\displaystyle x}$${\displaystyle s}$${\displaystyle p_{s}}$${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {L(W)} }$

Обычной практикой является использование логарифма правдоподобия , потому что его легче оценить. Поскольку логарифм является монотонной функцией, то, что максимизирует функцию, также максимизирует ее логарифм . Это позволяет нам логарифмировать приведенное выше уравнение, что дает логарифмическую функцию правдоподобия${\displaystyle \mathbf {W} }$${\displaystyle \mathbf {L(W)} }$${\displaystyle \ln \mathbf {L(W)} }$

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$

Если мы заменим обычно используемую модель pdf с большим эксцессом для сигналов источника, то мы имеем${\displaystyle p_{s}=(1-\tanh(s)^{2})}$

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$

Эта матрица, которая максимизирует эту функцию, является оценкой максимального правдоподобия .${\displaystyle \mathbf {W} }$

История и предыстория [ править ]

Ранняя общая структура для анализа независимых компонентов была введена Жанни Эро и Бернаром Ансом в 1984 г. ^[17], затем развита Кристианом Юттеном в 1985 и 1986 гг. ^{[18] [19] [20]} и усовершенствована Пьером Комоном в 1991 г. ^{[ 12]} и популяризован в его статье 1994 года. ^[10] В 1995 году Тони Белл и Терри Сейновски представили быстрый и эффективный алгоритм ICA, основанный на infomax , принципе, введенном Ральфом Линскером в 1987 году.

В литературе доступно множество алгоритмов, выполняющих ICA. Широко используемым, в том числе в промышленных приложениях, является алгоритм FastICA, разработанный Хювяриненом и Ойей, который использует эксцесс как функцию стоимости. Другие примеры скорее относятся к слепому разделению источников, где используется более общий подход. Например, можно отказаться от предположения о независимости и разделить взаимно коррелированные сигналы, таким образом, статистически «зависимые» сигналы. Зепп Хохрайтер и Юрген Шмидхубер показали, как получить нелинейный ICA или разделение источников в качестве побочного продукта регуляризации (1999). ^[21] Их метод не требует априорных знаний о количестве независимых источников.

Приложения [ править ]

ICA может быть расширен для анализа нефизических сигналов. Например, ICA применялся для обнаружения тем для обсуждения в пакетах архивов списков новостей.

Некоторые приложения ICA перечислены ниже: ^[3]

• оптическое изображение нейронов ^[22]
• сортировка спайков нейронов ^[23]
• распознавание лиц ^[24]
• моделирование рецептивных полей первичных зрительных нейронов ^[25]
• прогнозирование цен на фондовом рынке ^[26]
• мобильная связь ^[27]
• определение спелости томатов по цвету ^[28]
• удаление артефактов, таких как моргание глаз, из данных ЭЭГ . ^[29]
• анализ изменений экспрессии генов с течением времени в экспериментах по секвенированию одноклеточной РНК . ^[30]
• исследования сети состояния покоя мозга. ^[31]
• астрономия и космология ^[32]

См. Также [ править ]

Заметки [ править ]

Ссылки [ править ]

• Комон, Пьер (1994): "Независимый компонентный анализ: новая концепция?" , Signal Processing , 36 (3): 287–314 (оригинальная статья, описывающая концепцию ICA)
• Hyvärinen, A .; Karhunen, J .; Ожа, Э. (2001): Независимый анализ компонентов , Нью-Йорк: Wiley, ISBN 978-0-471-40540-5 ( вводная глава ) 
• Hyvärinen, A .; Оя, Э. (2000): «Независимый компонентный анализ: алгоритмы и приложения» , Нейронные сети , 13 (4-5): 411-430. (Техническое, но педагогическое введение).
• Comon, P .; Юттен К., (2010): Справочник по слепому разделению источников, независимому компонентному анализу и приложениям. Academic Press, Оксфорд, Великобритания. ISBN 978-0-12-374726-6 
• Ли, Т.-В. (1998): Независимый компонентный анализ: теория и приложения , Бостон, Массачусетс: Kluwer Academic Publishers, ISBN 0-7923-8261-7 
• Ачарья, Ranjan (2008): новый подход к Blind Source Separation источников Convolutive - Wavelet основе разделения с помощью функции усадка ISBN 3-639-07797-0 ISBN 978-3639077971 (эта книга посвящена неконтролируемого обучения с Blind Source Separation)   

Внешние ссылки [ править ]

• Что такое независимый компонентный анализ? Автор: Аапо Хювяринен
• Независимый анализ компонентов: Учебное пособие от Аапо Хювяринена
• Учебник по независимому анализу компонентов
• FastICA как пакет для Matlab, на языке R, C ++
• ICALAB Toolboxes для Matlab, разработанные в RIKEN
• Набор инструментов High Performance Signal Analysis Toolkit предоставляет реализации FastICA и Infomax на C ++.
• Набор инструментов ICA Инструменты Matlab для ICA с Bell-Sejnowski, Molgedey-Schuster и ICA среднего поля. Разработано в ДТУ.
• Демонстрация проблемы коктейльной вечеринки
• EEGLAB Toolbox ICA ЭЭГ для Matlab, разработанный в UCSD.
• FMRLAB Toolbox ICA фМРТ для Matlab, разработанный в UCSD
• MELODIC , часть библиотеки программного обеспечения FMRIB .
• Обсуждение использования ICA в контексте биомедицинского представления формы.
• Алгоритм FastICA, CuBICA, JADE и TDSEP для Python и многое другое ...
• Group ICA Toolbox и Fusion ICA Toolbox
• Учебное пособие: Использование ICA для очистки сигналов ЭЭГ