FastICA

Эта статья в значительной степени или полностью основана на одном источнике . Соответствующее обсуждение можно найти на странице обсуждения . Пожалуйста, помогите улучшить эту статью , добавив ссылки на дополнительные источники .
Найти источники: "FastICA" - новости · газеты · книги · ученый · JSTOR ( апрель 2013 г. )

FastICA - это эффективный и популярный алгоритм для независимого компонентного анализа, изобретенный Аапо Хювяриненом из Хельсинкского технологического университета . ^[1]^[2] Как и большинство алгоритмов ICA, FastICA ищет ортогональное вращение предварительно отбеленных данных с помощью итерационной схемы с фиксированной точкой , которая максимизирует меру негауссовости повернутых компонентов. Негауссовость служит показателем статистической независимости , что является очень строгим условием и требует бесконечного количества данных для проверки. FastICA также может быть получен как приближенная итерация Ньютона.

Алгоритм

Предварительное отбеливание данных

Пусть обозначает матрицу входных данных, количество столбцов, соответствующее количеству выборок смешанных сигналов, и количество строк, соответствующее количеству независимых исходных сигналов. Матрицу входных данных необходимо предварительно отбелить или центрировать и отбелить перед применением к ней алгоритма FastICA. ${\ displaystyle \ mathbf {X}: = (x_ {ij}) \ in \ mathbb {R} ^ {N \ times M}}$ ${\ displaystyle M}$ ${\ displaystyle N}$ ${\ displaystyle \ mathbf {X}}$

Центрирование данных влечет за собой унижение каждого компонента входных данных , то есть ${\ displaystyle \ mathbf {X}}$

{\ displaystyle x_ {ij} \ leftarrow x_ {ij} - {\ frac {1} {M}} \ sum _ {j ^ {\ prime}} x_ {ij ^ {\ prime}}}

для каждого и . После центрирования, каждая строка имеет ожидаемое значение из .

{\ Displaystyle я = 1, \ ldots, N}

{\ Displaystyle J = 1, \ ldots, M}

{\ displaystyle \ mathbf {X}}

{\ displaystyle 0}

Отбеливание данных требует линейного преобразования центрированных данных, чтобы компоненты не коррелировали и имели единичную дисперсию. Точнее, если - это центрированная матрица данных, ковариация - это -мерная единичная матрица, то есть ${\ displaystyle \ mathbf {L}: \ mathbb {R} ^ {N \ times M} \ to \ mathbb {R} ^ {N \ times M}}$ ${\ Displaystyle \ mathbf {L} (\ mathbf {X})}$ ${\ displaystyle \ mathbf {X}}$ ${\ Displaystyle \ mathbf {L} _ {\ mathbf {x}}: = \ mathbf {L} (\ mathbf {X})}$ ${\ Displaystyle (N \ раз N)}$

{\ displaystyle \ mathrm {E} \ left \ {\ mathbf {L} _ {\ mathbf {x}} \ mathbf {L} _ {\ mathbf {x}} ^ {T} \ right \} = \ mathbf { В}}

Общий метод для отбеливания посредством выполнения разложения по собственным значениям на ковариационной матрице центрированных данных , где матрица собственных векторов и диагональная матрица собственных значений. Матрица отбеленных данных определяется таким образом

{\ displaystyle \ mathbf {X}}

E\left\{\mathbf {X} \mathbf {X} ^{T}\right\}=\mathbf {E} \mathbf {D} \mathbf {E} ^{T}

\mathbf {E}

\mathbf {D}

\mathbf {X} \leftarrow \mathbf {D} ^{-1/2}\mathbf {E} ^{T}\mathbf {X} .

Однокомпонентная экстракция

Итерационный алгоритм находит направление для вектора весов, которое максимизирует меру негауссовости проекции , с обозначением предварительно отбеленной матрицы данных, как описано выше. Обратите внимание, что это вектор-столбец. Для измерения негауссовости FastICA использует неквадратичную нелинейную функцию , ее первую производную и вторую производную . Хювяринен утверждает, что функции $\mathbf {w} \in \mathbb {R} ^{N}$ $\mathbf {w} ^{T}\mathbf {X}$ $\mathbf {X} \in \mathbb {R} ^{N\times M}$ $\mathbf {w}$ $f(u)$ $g(u)$ $g^{\prime }(u)$

f(u)=\log \cosh(u),\quad g(u)=\tanh(u),\quad {\text{and}}\quad {g}'(u)=1-\tanh ^{2}(u),

полезны для общих целей, а

f(u)=-e^{-u^{2}/2},\quad g(u)=ue^{-u^{2}/2},\quad {\text{and}}\quad {g}'(u)=(1-u^{2})e^{-u^{2}/2}

может быть очень надежным. ^[1] Шаги по извлечению вектора весов для отдельного компонента в FastICA следующие: $\mathbf {w}$

Произвести случайный выбор вектора начального веса $\mathbf {w}$
Пусть , где означает усреднение по всем векторам-столбцам матрицы $\mathbf {w} ^{+}\leftarrow E\left\{\mathbf {X} g(\mathbf {w} ^{T}\mathbf {X} )^{T}\right\}-E\left\{g'(\mathbf {w} ^{T}\mathbf {X} )\right\}\mathbf {w}$ $E\left\{...\right\}$ $\mathbf {X}$
Позволять $\mathbf {w} \leftarrow \mathbf {w} ^{+}/\|\mathbf {w} ^{+}\|$
Если не сходится, вернитесь к 2

Многокомпонентная экстракция

Единичный итерационный алгоритм оценивает только один весовой вектор, который извлекает единственный компонент. Оценка дополнительных компонентов, которые являются взаимно «независимыми», требует повторения алгоритма для получения линейно независимых векторов проекции - обратите внимание, что понятие независимости здесь относится к максимизации негауссовости в оцениваемых компонентах. Hyvärinen предлагает несколько способов извлечения нескольких компонентов, самый простой из которых - следующий. Здесь - вектор-столбец размерности единиц . $\mathbf {1_{M}}$ $M$

Алгоритм FastICA

Ввод: количество желаемых компонентов.

C

Вход: предварительно отбеленная матрица, где каждый столбец представляет собой -мерный образец, где

\mathbf {X} \in \mathbb {R} ^{N\times M}

N

C<=N

Выход: матрица несмешивания, в которой каждый столбец проецируется на независимый компонент.

\mathbf {W} \in \mathbb {R} ^{N\times C}

\mathbf {X}

Выход: матрица независимых компонентов со столбцами, представляющими образец с размерами.

\mathbf {S} \in \mathbb {R} ^{C\times M}

M

C

 для p в 1 - C: случайный вектор длины N при изменении вывода вывода $\mathbf {w_{p}} \leftarrow$    $\mathbf {w_{p}}$  $\mathbf {w_{p}} \leftarrow {\frac {1}{M}}\mathbf {X} g(\mathbf {w_{p}} ^{T}\mathbf {X} )^{T}-{\frac {1}{M}}g'(\mathbf {w_{p}} ^{T}\mathbf {X} )\mathbf {1_{M}} \mathbf {w_{p}}$   $\mathbf {w_{p}} \leftarrow \mathbf {w_{p}} -\sum _{j=1}^{p-1}(\mathbf {w_{p}} ^{T}\mathbf {w_{j}} )\mathbf {w_{j}}$   $\mathbf {w_{p}} \leftarrow {\frac {\mathbf {w_{p}} }{\|\mathbf {w_{p}} \|}}$ 
   $\mathbf {W} \leftarrow {\begin{bmatrix}\mathbf {w_{1}} ,\dots ,\mathbf {w_{C}} \end{bmatrix}}$ 
   $\mathbf {S} \leftarrow \mathbf {W^{T}} \mathbf {X}$

Шумная экстракция

Примечательно, что Fast ICA чрезвычайно устойчив к аддитивному шуму в смешанном сигнале. Рассмотрим следующую зашумленную модель.

\mathbf {X} =\mathbf {A} \mathbf {s} +\mathbf {n}

После предварительного отбеливания влияние аддитивного шума на экстракцию значительно снижается. Оценка Reconstruction ICA , скажем, для двух случаев высокого и низкого содержания шума показана на рисунке, который ясно подчеркивает устойчивость Fast ICA к аддитивному шуму. $\mathbf {X}$ $\mathbf {n}$ $\mathbf {s}$ $\mathbf {Y}$

Смотрите также

Неконтролируемое обучение
Машинное обучение
В библиотеке IT ++ реализована реализация FastICA на C ++.
Инфомакс

использованная литература

^ ^a ^b Hyvärinen, A .; Оя, Э. (2000). «Независимый компонентный анализ: алгоритмы и приложения» (PDF) . Нейронные сети . 13 (4–5): 411–430. CiteSeerX 10.1.1.79.7003 . DOI : 10.1016 / S0893-6080 (00) 00026-5 . PMID 10946390 .
^ Hyvärinen, A. (1999). «Быстрые и надежные алгоритмы с фиксированной точкой для независимого компонентного анализа» (PDF) . IEEE-транзакции в нейронных сетях . 10 (3): 626–634. CiteSeerX 10.1.1.297.8229 . DOI : 10.1109 / 72.761722 . PMID 18252563 .

внешние ссылки

FastICA на Python
Пакет FastICA для Matlab или Octave
Пакет fastICA на языке программирования R
FastICA на Java на SourceForge
FastICA на Java в RapidMiner .
FastICA в Matlab
FastICA в MDP

[Hyvarinen-1] Hyvärinen, A .; Оя, Э. (2000). «Независимый компонентный анализ: алгоритмы и приложения» (PDF) . Нейронные сети . 13 (4–5): 411–430. CiteSeerX 10.1.1.79.7003 . DOI : 10.1016 / S0893-6080 (00) 00026-5 . PMID 10946390 .

[2] Hyvärinen, A. (1999). «Быстрые и надежные алгоритмы с фиксированной точкой для независимого компонентного анализа» (PDF) . IEEE-транзакции в нейронных сетях . 10 (3): 626–634. CiteSeerX 10.1.1.297.8229 . DOI : 10.1109 / 72.761722 . PMID 18252563 .

[1]