Каноническая корреляция

Машинное обучение и интеллектуальный анализ данных
Часть серии по

Проблемы Классификация Кластеризация Регресс Обнаружение аномалий AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Разработка функций Особенности обучения Онлайн обучение Полу-контролируемое обучение Обучение без учителя Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k- означает Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор локального выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Глоссарий искусственного интеллекта Глоссарий искусственного интеллекта
Статьи по Теме Список наборов данных для исследований в области машинного обучения Схема машинного обучения
v т е

В статистике , канонический корреляционный анализ ( ССА ), также называемый канонический анализ переменными , является способом выводя информацию из матриц кросс-ковариаций . Если у нас есть два вектора X = ( X ₁ , ..., X _n ) и Y = ( Y ₁ , ..., Y _m ) случайных величин , и между переменными есть корреляции , то канонический корреляционный анализ будет найти линейные комбинации X и Yкоторые имеют максимальную корреляцию друг с другом. ^[1] Т.Р. Кнапп отмечает, что «практически все часто встречающиеся параметрические критерии значимости можно рассматривать как частные случаи канонического корреляционного анализа, который представляет собой общую процедуру исследования отношений между двумя наборами переменных». ^[2] Метод был впервые представлен Гарольдом Хотеллингом в 1936 году, ^[3] хотя в контексте углов между плоскостями математическая концепция была опубликована Джорданом в 1875 году ^[4].

Определение [ править ]

С учетом два векторов столбцов и от случайных величин с конечными вторыми моментами , можно определить перекрестные ковариации быть матрицей , чья запись является ковариацией . На практике мы будем оценивать ковариационную матрицу на основе выборочных данных из и (то есть из пары матриц данных). ${\ displaystyle X = (x_ {1}, \ dots, x_ {n}) '}$ ${\ displaystyle Y = (y_ {1}, \ dots, y_ {m}) '}$ ${\ Displaystyle \ Sigma _ {XY} = \ operatorname {cov} (X, Y)}$ ${\ Displaystyle п \ раз м}$ ${\ displaystyle (я, j)}$ ${\ displaystyle \ operatorname {cov} (x_ {i}, y_ {j})}$ ${\ displaystyle X}$ ${\ displaystyle Y}$

Анализ канонической корреляции ищет такие векторы ( ) и ( ), чтобы случайные величины и максимальные корреляции . Случайные величины и являются первой парой канонических переменных . Затем ищут векторы, максимизирующие ту же корреляцию, при условии, что они не коррелируют с первой парой канонических переменных; это дает вторую пару канонических переменных . Эта процедура может продолжаться несколько раз. ${\ displaystyle a}$ ${\ Displaystyle а \ ин \ mathbb {R} ^ {п}}$ ${\ displaystyle b}$ ${\ displaystyle b \ in \ mathbb {R} ^ {m}}$ ${\ displaystyle a ^ {T} X}$ ${\ displaystyle b ^ {T} Y}$ ${\ displaystyle \ rho = \ operatorname {corr} (a ^ {T} X, b ^ {T} Y)}$ ${\ Displaystyle U = а ^ {T} X}$ ${\ displaystyle V = b ^ {T} Y}$ ${\ Displaystyle \ мин \ {м, п \}}$

{\ displaystyle (a ', b') = {\ underset {a, b} {\ operatorname {argmax}}} \ operatorname {corr} (a ^ {T} X, b ^ {T} Y)}

Вычисление [ править ]

Вывод [ править ]

Позвольте быть матрица кросс-ковариации для любых случайных величин и . Параметр для максимизации: ${\ displaystyle \ Sigma _ {UV}}$ ${\ displaystyle U}$ ${\ displaystyle V}$

\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a}}{\sqrt {b^{T}\Sigma _{YY}b}}}}.

Первый шаг - определить изменение основы и определить

c=\Sigma _{XX}^{1/2}a,

d=\Sigma _{YY}^{1/2}b.

Итак, мы имеем

\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{{\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.

По неравенству Коши – Шварца имеем

\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\leq \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}\left(d^{T}d\right)^{1/2},

\rho \leq {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\right)^{1/2}}{\left(c^{T}c\right)^{1/2}}}.

Равенство, если векторы и лежат на одной прямой. Кроме того, максимум корреляции достигается, если это собственный вектор с максимальным собственным значением для матрицы (см. Фактор Рэлея ). Последующие пары находятся с использованием собственных значений убывающей величины. Ортогональность гарантируется симметрией корреляционных матриц. $d$ $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ $c$ $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$

Другой способ просмотра этого вычисления состоит в том, что и являются левым и правым сингулярными векторами корреляционной матрицы X и Y, соответствующими наивысшему сингулярному значению. $c$ $d$

Решение [ править ]

Поэтому решение:

$c$ является собственным вектором $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/2}$
$d$ пропорционально $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$

Соответственно, также есть:

$d$ является собственным вектором $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/2}$
$c$ пропорционально $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$

Обращая вспять изменение координат, мы имеем

$a$ является собственным вектором , $\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}$
$b$ пропорционально $\Sigma _{YY}^{-1}\Sigma _{YX}a;$
$b$ является собственным вектором $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$
$a$ пропорционально . $\Sigma _{XX}^{-1}\Sigma _{XY}b$

Канонические переменные определяются:

U=c'\Sigma _{XX}^{-1/2}X=a'X

V=d'\Sigma _{YY}^{-1/2}Y=b'Y

Реализация [ править ]

CCA можно вычислить с помощью разложения по сингулярным числам на корреляционной матрице. ^[5] Это доступно как функция в ^[6]

MATLAB как canoncorr ( также в Octave )
R в качестве стандартной функции cancor и несколько других пакетов, включая CCA и vegan . CCP для проверки статистических гипотез в каноническом корреляционном анализе.
SAS as proc cancorr
Python в библиотеке scikit-learn , как перекрестная декомпозиция, и в statsmodels , как CanCorr .
SPSS как макрос CanCorr, поставляемый с основным программным обеспечением
Юлия (язык программирования) в пакете MultivariateStats.jl .

Вычисление CCA с использованием сингулярное разложение на корреляционной матрицы связано с косинус из углов между квартирами . Косинус функция плохо обусловленной при малых углах, что приводит к очень неточному расчету сильно коррелированных основных векторов в конечной точности компьютерной арифметики . Чтобы решить эту проблему , альтернативные алгоритмы ^[7] доступны в

SciPy как функция линейной алгебры subspace_angles
MATLAB как подпространство функции FileExchange

Проверка гипотез [ править ]

Каждую строку можно проверить на значимость с помощью следующего метода. Поскольку корреляции отсортированы, утверждение, что строка равна нулю, означает, что все дальнейшие корреляции также равны нулю. Если у нас есть независимые наблюдения в выборке, и это предполагаемая корреляция для . Для -ой строки тестовая статистика: $i$ $p$ ${\widehat {\rho }}_{i}$ $i=1,\dots ,\min\{m,n\}$ $i$

\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{\min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),

который асимптотически распределен как хи-квадрат со степенями свободы для больших . ^[8] Поскольку все корреляции от до логически равны нулю (и оцениваются таким же образом), произведение для членов после этой точки не имеет значения. $(m-i+1)(n-i+1)$ $p$ $\min\{m,n\}$ $p$

Обратите внимание, что при ограничении небольшого размера выборки с then мы гарантируем, что верхние корреляции будут идентичны 1, и, следовательно, тест не имеет смысла. ^[9] $p<n+m$ $m+n-p$

Практическое использование [ править ]

Типичное использование канонической корреляции в экспериментальном контексте - взять два набора переменных и посмотреть, что общего между этими двумя наборами. ^[10] Например, при психологическом тестировании можно использовать два хорошо зарекомендовавших себя многомерных личностных теста, таких как Миннесотский многофазный опросник личности (MMPI-2) и NEO . Увидев, как факторы MMPI-2 соотносятся с факторами NEO, можно было понять, какие измерения были общими между тестами и какая разница была общей. Например, можно обнаружить, что измерение экстраверсии или невротизма объясняет значительную часть общих различий между двумя тестами.

Можно также использовать анализ канонической корреляции для создания уравнения модели, которое связывает два набора переменных, например набор показателей эффективности и набор независимых переменных, или набор выходных данных и набор входных данных. На такую модель можно наложить ограничения, чтобы гарантировать, что она отражает теоретические требования или интуитивно очевидные условия. Этот тип модели известен как модель максимальной корреляции. ^[11]

Визуализация результатов канонической корреляции обычно осуществляется с помощью гистограмм коэффициентов двух наборов переменных для пар канонических переменных, показывающих значительную корреляцию. Некоторые авторы предполагают, что их лучше всего визуализировать, построив их в виде гелиографов, кругового формата с лучевыми полосами, каждая половина которых представляет два набора переменных. ^[12]

Примеры [ править ]

Пусть с нулевой ожидаемой стоимости , то есть . Если , т.е. и идеально коррелированы, то, например, и , так что первая (и только в этом примере) пара канонических переменных - это и . Если , т.е., и идеально антикоррелированы, то, например, и , так что первая (и только в этом примере) пара канонических переменных - это и . Мы замечаем это в обоих случаях , что показывает, что анализ канонической корреляции одинаково обрабатывает коррелированные и антикоррелированные переменные. $X=x_{1}$ $\operatorname {E} (X)=0$ $Y=X$ $X$ $Y$ $a=1$ $b=1$ $U=X$ $V=Y=X$ $Y=-X$ $X$ $Y$ $a=1$ $b=-1$ $U=X$ $V=-Y=X$ $U=V$

Подключение к основным углам [ править ]

Предполагая, что и имеют нулевые ожидаемые значения , т. Е. Их ковариационные матрицы и могут рассматриваться как матрицы Грама во внутреннем продукте для записей и , соответственно. В этой интерпретации случайные переменные, элементы из и из рассматриваются как элементы векторного пространства с внутренним произведением, заданным ковариацией ; см. Ковариация # Отношение к внутренним продуктам . $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots ,y_{m})'$ $\operatorname {E} (X)=\operatorname {E} (Y)=0$ $\Sigma _{XX}=\operatorname {Cov} (X,X)=\operatorname {E} [XX']$ $\Sigma _{YY}=\operatorname {Cov} (Y,Y)=\operatorname {E} [YY']$ $X$ $Y$ $x_{i}$ $X$ $y_{j}$ $Y$ $\operatorname {cov} (x_{i},y_{j})$

Определение канонических переменных и тогда эквивалентно определению главных векторов для пары подпространств, натянутых на элементы и относительно этого внутреннего продукта . Канонические корреляции равны косинус из основных углов . $U$ $V$ $X$ $Y$ $\operatorname {corr} (U,V)$

Отбеливание и вероятностный канонический корреляционный анализ [ править ]

CCA также можно рассматривать как специальное преобразование для отбеливания, при котором случайные векторы и одновременно преобразуются таким образом, что взаимная корреляция между белыми векторами и является диагональной. ^[13] Канонические корреляции затем интерпретируются как связывающие коэффициенты регрессии и также могут быть отрицательными. Регрессионное представление CCA также предоставляет способ построения вероятностной генеративной модели скрытых переменных для CCA с некоррелированными скрытыми переменными, представляющими общую и не разделяемую изменчивость. $X$ $Y$ $X^{CCA}$ $Y^{CCA}$ $X^{CCA}$ $Y^{CCA}$

См. Также [ править ]

Обобщенная каноническая корреляция
Мультилинейное подпространственное обучение
Коэффициент RV
Углы между квартирами
Анализ главных компонентов
Линейный дискриминантный анализ
Регуляризованный канонический корреляционный анализ
Разложение по сингулярным числам
Частичная регрессия наименьших квадратов

Ссылки [ править ]

^ Härdle, Вольфганг; Симар, Леопольд (2007). «Канонический корреляционный анализ». Прикладной многомерный статистический анализ . С. 321–330. CiteSeerX 10.1.1.324.403 . DOI : 10.1007 / 978-3-540-72244-1_14 . ISBN 978-3-540-72243-4.
Перейти ↑ Knapp, TR (1978). «Канонический корреляционный анализ: общая параметрическая система проверки значимости». Психологический бюллетень . 85 (2): 410–416. DOI : 10.1037 / 0033-2909.85.2.410 .
^ Hotelling, H. (1936). «Отношения между двумя наборами вариантов». Биометрика . 28 (3–4): 321–377. DOI : 10.1093 / Biomet / 28.3-4.321 . JSTOR 2333955 .
Перейти ↑ Jordan, C. (1875). "Essai sur la géométrie à sizes" . Бык. Soc. Математика. Франция . 3 : 103. n {\displaystyle n}
^ Hsu, D .; Какаде, С.М.; Чжан, Т. (2012). «Спектральный алгоритм для изучения скрытых марковских моделей» (PDF) . Журнал компьютерных и системных наук . 78 (5): 1460. arXiv : 0811.4413 . DOI : 10.1016 / j.jcss.2011.12.025 .
^ Хуанг, SY; Ли, MH; Сяо, СК (2009). «Нелинейные меры связи с каноническим корреляционным анализом ядра и приложениями» (PDF) . Журнал статистического планирования и вывода . 139 (7): 2162. DOI : 10.1016 / j.jspi.2008.10.011 .
^ Князев, А.В.; Аргентати, М.Э. (2002), «Главные углы между подпространствами в скалярном произведении на основе A: алгоритмы и оценки возмущений», SIAM Journal on Scientific Computing , 23 (6): 2009–2041, CiteSeerX 10.1.1.73.2914 , doi : 10.1137 / S1064827500377332
^ Kanti В. Mardia , JT Кент и JM Бибби (1979). Многомерный анализ . Академическая пресса .
^ Янг Сонг, Питер Дж. Шрайер, Дэвид Рамирез и Танудж Хасиджа Канонический корреляционный анализ многомерных данных с поддержкой очень малых выборок arXiv : 1604.02047
^ Sieranoja, S .; Сахидулла, штат Мэриленд; Киннунен, Т .; Komulainen, J .; Хадид, А. (июль 2018 г.). «Обнаружение аудиовизуальной синхронизации с оптимизированными звуковыми функциями» (PDF) . IEEE 3rd Int. Конференция по обработке сигналов и изображений (ICSIP 2018) .
^ Tofallis, C. (1999). «Построение модели с множественными зависимыми переменными и ограничениями». Журнал Королевского статистического общества, серия D . 48 (3): 371–378. arXiv : 1109.0725 . DOI : 10.1111 / 1467-9884.00195 .
^ Дегани, А .; Шафто, М .; Олсон, Л. (2006). «Канонический корреляционный анализ: использование составных гелиографов для представления множественных паттернов» (PDF) . Схематическое представление и вывод . Конспект лекций по информатике. 4045 . п. 93. CiteSeerX 10.1.1.538.5217 . DOI : 10.1007 / 11783183_11 . ISBN 978-3-540-35623-3.
^ Jendoubi, T .; Стриммер, К. (2018). «Отбеливающий подход к вероятностному каноническому корреляционному анализу для интеграции данных omics» . BMC Bioinformatics . 20 (1): 15. Arxiv : +1802,03490 . DOI : 10,1186 / s12859-018-2572-9 . PMC 6327589 . PMID 30626338 .

Внешние ссылки [ править ]

Дискриминантный корреляционный анализ (DCA) ^[1] ( MATLAB )
Hardoon, DR; Szedmak, S .; Шоу-Тейлор, Дж. (2004). «Канонический корреляционный анализ: обзор в применении к методам обучения». Нейронные вычисления . 16 (12): 2639–2664. CiteSeerX 10.1.1.14.6452 . DOI : 10.1162 / 0899766042321814 . PMID 15516276 .
Заметка об анализе порядковой канонической корреляции двух наборов рейтинговых оценок (также предоставляет программу FORTRAN ) - в Journal of Quantitative Economics 7 (2), 2009, стр. 173–199
Канонический корреляционный анализ с ограничениями по представлению: гибридизация канонической корреляции и анализа главных компонентов (также предоставляет программу FORTRAN ) - в Journal of Applied Economic Sciences 4 (1), 2009, стр. 115–124

^ Haghighat, Мохаммед; Абдель-Мотталеб, Мохамед; Алхалаби, Уэди (2016). «Дискриминантный корреляционный анализ: слияние уровней функций в реальном времени для мультимодального биометрического распознавания» . IEEE Transactions по информационной криминалистике и безопасности . 11 (9): 1984–1996. DOI : 10.1109 / TIFS.2016.2569061 .

[1] Härdle, Вольфганг; Симар, Леопольд (2007). «Канонический корреляционный анализ». Прикладной многомерный статистический анализ . С. 321–330. CiteSeerX 10.1.1.324.403 . DOI : 10.1007 / 978-3-540-72244-1_14 . ISBN 978-3-540-72243-4.

[2] Перейти ↑ Knapp, TR (1978). «Канонический корреляционный анализ: общая параметрическая система проверки значимости». Психологический бюллетень . 85 (2): 410–416. DOI : 10.1037 / 0033-2909.85.2.410 .

[3] Hotelling, H. (1936). «Отношения между двумя наборами вариантов». Биометрика . 28 (3–4): 321–377. DOI : 10.1093 / Biomet / 28.3-4.321 . JSTOR 2333955 .

[jordan-4] Перейти ↑ Jordan, C. (1875). "Essai sur la géométrie à sizes" . Бык. Soc. Математика. Франция . 3 : 103. n {\displaystyle n}

[5] Hsu, D .; Какаде, С.М.; Чжан, Т. (2012). «Спектральный алгоритм для изучения скрытых марковских моделей» (PDF) . Журнал компьютерных и системных наук . 78 (5): 1460. arXiv : 0811.4413 . DOI : 10.1016 / j.jcss.2011.12.025 .

[6] Хуанг, SY; Ли, MH; Сяо, СК (2009). «Нелинейные меры связи с каноническим корреляционным анализом ядра и приложениями» (PDF) . Журнал статистического планирования и вывода . 139 (7): 2162. DOI : 10.1016 / j.jspi.2008.10.011 .

[KA02-7] Князев, А.В.; Аргентати, М.Э. (2002), «Главные углы между подпространствами в скалярном произведении на основе A: алгоритмы и оценки возмущений», SIAM Journal on Scientific Computing , 23 (6): 2009–2041, CiteSeerX 10.1.1.73.2914 , doi : 10.1137 / S1064827500377332

[8] Kanti В. Mardia , JT Кент и JM Бибби (1979). Многомерный анализ . Академическая пресса .

[9] Янг Сонг, Питер Дж. Шрайер, Дэвид Рамирез и Танудж Хасиджа Канонический корреляционный анализ многомерных данных с поддержкой очень малых выборок arXiv : 1604.02047

[10] Sieranoja, S .; Сахидулла, штат Мэриленд; Киннунен, Т .; Komulainen, J .; Хадид, А. (июль 2018 г.). «Обнаружение аудиовизуальной синхронизации с оптимизированными звуковыми функциями» (PDF) . IEEE 3rd Int. Конференция по обработке сигналов и изображений (ICSIP 2018) .

[11] Tofallis, C. (1999). «Построение модели с множественными зависимыми переменными и ограничениями». Журнал Королевского статистического общества, серия D . 48 (3): 371–378. arXiv : 1109.0725 . DOI : 10.1111 / 1467-9884.00195 .

[12] Дегани, А .; Шафто, М .; Олсон, Л. (2006). «Канонический корреляционный анализ: использование составных гелиографов для представления множественных паттернов» (PDF) . Схематическое представление и вывод . Конспект лекций по информатике. 4045 . п. 93. CiteSeerX 10.1.1.538.5217 . DOI : 10.1007 / 11783183_11 . ISBN 978-3-540-35623-3.

[13] Jendoubi, T .; Стриммер, К. (2018). «Отбеливающий подход к вероятностному каноническому корреляционному анализу для интеграции данных omics» . BMC Bioinformatics . 20 (1): 15. Arxiv : +1802,03490 . DOI : 10,1186 / s12859-018-2572-9 . PMC 6327589 . PMID 30626338 .

[dca-14] Haghighat, Мохаммед; Абдель-Мотталеб, Мохамед; Алхалаби, Уэди (2016). «Дискриминантный корреляционный анализ: слияние уровней функций в реальном времени для мультимодального биометрического распознавания» . IEEE Transactions по информационной криминалистике и безопасности . 11 (9): 1984–1996. DOI : 10.1109 / TIFS.2016.2569061 .