Анализ главных компонентов

PCA многомерного распределения Гаусса с центром в точке (1,3) со стандартным отклонением 3 примерно в направлении (0,866, 0,5) и 1 в ортогональном направлении. Векторы Указаны собственные векторы по ковариационной матрицы , масштабированного квадратному корню из соответствующего собственного значения и сдвинуты , так что их хвосты на среднее.

В основных компонентах из набора точек в реальном р -пространстве представляют собой последовательность векторов направления , где вектор является направлением линии , которая наилучшим образом соответствует данным, будучи ортогонален к первому векторам. Здесь наиболее подходящая линия определяется как линия, минимизирующая средний квадрат расстояния от точек до линии . Эти направления составляют ортонормированный базис, в котором различные индивидуальные измерения данных линейно некоррелированы . Анализ главных компонентов ( PCA${\ displaystyle p}$ ${\ displaystyle i ^ {\ text {th}}}$${\ displaystyle i-1}$) - это процесс вычисления основных компонентов и их использования для изменения базы данных, иногда с использованием только нескольких первых основных компонентов и игнорированием остальных.

PCA используется для исследовательского анализа данных и для создания прогнозных моделей . Он обычно используется для уменьшения размерности путем проецирования каждой точки данных только на несколько первых основных компонентов для получения данных более низкой размерности, сохраняя при этом как можно больше вариаций данных. Первый главный компонент может быть эквивалентно определен как направление, которое максимизирует дисперсию прогнозируемых данных. Главный компонент может быть взят как направление, ортогональное первым главным компонентам, которое максимизирует дисперсию проецируемых данных. ${\ displaystyle i ^ {\ text {th}}}$${\ displaystyle i-1}$

Из либо цель, можно показать , что основные компоненты являются собственными векторами из Дейты ковариационной матрицы . Таким образом, главные компоненты часто вычисляются путем собственного разложения ковариационной матрицы данных или разложения матрицы данных по сингулярным числам . PCA - это простейший из истинных многомерных анализов на основе собственных векторов, который тесно связан с факторным анализом . Факторный анализ обычно включает в себя более специфичные для предметной области предположения о базовой структуре и решает собственные векторы немного другой матрицы. PCA также связан с каноническим корреляционным анализом (CCA) . CCA определяет системы координат, которые оптимально описывают кросс-ковариациюмежду двумя наборами данных, в то время как PCA определяет новую ортогональную систему координат, которая оптимально описывает дисперсию в одном наборе данных. ^{[1] [2] [3] [4]} Также были предложены робастные и основанные на L1-норме варианты стандартного PCA. ^{[5] [6] [4]}

История [ править ]

ППШ был изобретен в 1901 году Карла Пирсона , ^[7] в качестве аналога теоремы главной оси в механике; Позже он был независимо разработан и назван Гарольдом Хотеллингом в 1930-х годах. ^[8] В зависимости от области применения его также называют дискретным преобразованием Карунена – Лоэва (KLT) в обработке сигналов , преобразованием Хотеллинга в многомерном контроле качества, правильным ортогональным разложением (POD) в машиностроении, разложением по сингулярным значениям (SVD). ) X (изобретен в последней четверти XIX века ^[9] ),разложение по собственным значениям (EVD) X ^T X в линейной алгебре, факторный анализ (обсуждение различий между PCA и факторным анализом см. в главе 7 « Анализ главных компонент» Джоллиффа ), ^[10] Теорема Эккарта – Юнга (Harman, 1960) , или эмпирические ортогональные функции (ЭОФ) в метеорологической науке, эмпирическое разложение собственных функций (Сирович, 1987), анализ эмпирических компонентов (Лоренц, 1956), квазигармонические моды (Брукс и др., 1988), спектральное разложение в шуме и вибрации и эмпирическое модальный анализ в структурной динамике.

Интуиция [ править ]

PCA можно рассматривать как подгонку p -мерного эллипсоида к данным, где каждая ось эллипсоида представляет главный компонент. Если какая-то ось эллипсоида мала, то отклонение по этой оси также невелико.

Чтобы найти оси эллипсоида, мы должны сначала вычесть среднее значение каждой переменной из набора данных, чтобы центрировать данные вокруг начала координат. Затем мы вычисляем ковариационную матрицуданных и вычислить собственные значения и соответствующие собственные векторы этой ковариационной матрицы. Затем мы должны нормализовать каждый из ортогональных собственных векторов, чтобы превратить их в единичные векторы. Как только это будет сделано, каждый из взаимно ортогональных единичных собственных векторов можно интерпретировать как ось эллипсоида, подогнанного к данным. Такой выбор базиса преобразует нашу ковариационную матрицу в диагонализованную форму с диагональными элементами, представляющими дисперсию каждой оси. Пропорцию дисперсии, которую представляет каждый собственный вектор, можно вычислить путем деления собственного значения, соответствующего этому собственному вектору, на сумму всех собственных значений.

Подробности [ править ]

PCA определяется как ортогональное линейное преобразование, которое преобразует данные в новую систему координат, так что наибольшая дисперсия некоторой скалярной проекции данных приходится на первую координату (называемую первым главным компонентом), а вторая наибольшая дисперсия на вторая координата и так далее. ^{[10] [ необходима страница ]}

Рассмотрим данные матрицы , X , с столбцам нулевого эмпирического среднего (выборочного среднего каждого столбца была сдвинута к нулю), где каждый из п строк представляет собой другое повторение эксперимента, и каждый из р столбцов дает особый вид функции (скажем, результаты с определенного датчика).${\ Displaystyle п \ раз р}$

Математически, преобразование определяется набором размеров из р - мерных векторов весовых коэффициентов или коэффициентов , которые отображают каждый вектор - строку из X к новому вектору основных компонента баллов , определяется${\ displaystyle l}$${\displaystyle \mathbf {w} _{(k)}=(w_{1},\dots ,w_{p})_{(k)}}$${\displaystyle \mathbf {x} _{(i)}}$ ${\displaystyle \mathbf {t} _{(i)}=(t_{1},\dots ,t_{l})_{(i)}}$

${\displaystyle {t_{k}}_{(i)}=\mathbf {x} _{(i)}\cdot \mathbf {w} _{(k)}\qquad \mathrm {for} \qquad i=1,\dots ,n\qquad k=1,\dots ,l}$

таким образом , что отдельные переменные из т рассмотренные над данными набора последовательно наследует максимально возможного отклонения от X , с каждым вектором коэффициентов ш ограничена , чтобы быть единичным вектором (где , как правило , выбирают так, чтобы быть меньше , чем для уменьшения размерности).${\displaystyle t_{1},\dots ,t_{l}}$${\displaystyle l}$${\displaystyle p}$

Первый компонент [ править ]

Таким образом, чтобы максимизировать дисперсию, первый вектор весов w ₍₁₎ должен удовлетворять

${\displaystyle \mathbf {w} _{(1)}={\underset {\Vert \mathbf {w} \Vert =1}{\operatorname {\arg \,max} }}\,\left\{\sum _{i}(t_{1})_{(i)}^{2}\right\}={\underset {\Vert \mathbf {w} \Vert =1}{\operatorname {\arg \,max} }}\,\left\{\sum _{i}\left(\mathbf {x} _{(i)}\cdot \mathbf {w} \right)^{2}\right\}}$

Аналогично, запись этого в матричной форме дает

${\displaystyle \mathbf {w} _{(1)}={\underset {\Vert \mathbf {w} \Vert =1}{\operatorname {\arg \,max} }}\,\{\Vert \mathbf {Xw} \Vert ^{2}\}={\underset {\Vert \mathbf {w} \Vert =1}{\operatorname {\arg \,max} }}\,\left\{\mathbf {w} ^{T}\mathbf {X^{T}} \mathbf {Xw} \right\}}$

Поскольку w ₍₁₎ был определен как единичный вектор, он эквивалентно также удовлетворяет

${\displaystyle \mathbf {w} _{(1)}={\operatorname {\arg \,max} }\,\left\{{\frac {\mathbf {w} ^{T}\mathbf {X^{T}} \mathbf {Xw} }{\mathbf {w} ^{T}\mathbf {w} }}\right\}}$

Максимизируемое количество можно определить как фактор Рэлея . Стандартный результат для положительной полуопределенной матрицы, такой как X ^T X, состоит в том, что максимально возможное значение частного является наибольшим собственным значением матрицы, которое имеет место, когда w является соответствующим собственным вектором .

Когда w ₍₁₎ найден, первый главный компонент вектора данных x _{( i )} может быть затем задан как оценка t _{1 ( i )} = x _{( i )} ⋅ w ₍₁₎ в преобразованных координатах, или как соответствующий вектор в исходных переменных, { x _{( i )} ⋅ w ₍₁₎ } w ₍₁₎ .

Дополнительные компоненты [ править ]

К - й компонент может быть найден путем вычитания первого K  - 1 основных компонентов от X :

${\displaystyle \mathbf {\hat {X}} _{k}=\mathbf {X} -\sum _{s=1}^{k-1}\mathbf {X} \mathbf {w} _{(s)}\mathbf {w} _{(s)}^{\rm {T}}}$

а затем находим вектор весов, который извлекает максимальную дисперсию из этой новой матрицы данных

${\displaystyle \mathbf {w} _{(k)}={\underset {\Vert \mathbf {w} \Vert =1}{\operatorname {arg\,max} }}\left\{\Vert \mathbf {\hat {X}} _{k}\mathbf {w} \Vert ^{2}\right\}={\operatorname {\arg \,max} }\,\left\{{\tfrac {\mathbf {w} ^{T}\mathbf {\hat {X}} _{k}^{T}\mathbf {\hat {X}} _{k}\mathbf {w} }{\mathbf {w} ^{T}\mathbf {w} }}\right\}}$

Оказывается, это дает оставшиеся собственные векторы X ^T X с максимальными значениями для величины в скобках, заданными их соответствующими собственными значениями. Таким образом, весовые векторы являются собственными векторами X ^T X .

К - го главного компонента вектор данных х _{( я )} , следовательно , может быть задан как оценка т _{к ( я )} = х _{( я )} ⋅ ш _{( к )} в трансформированных координатах, или в виде соответствующего вектора в пространстве исходных переменных: { x _{( i )} ⋅ w _{( k )} } w _{( k )} , где w _{( k )} - kй собственный вектор X ^T X .

Таким образом, полное разложение X на главные компоненты можно представить как

${\displaystyle \mathbf {T} =\mathbf {X} \mathbf {W} }$

где W представляет собой P матрицу с размерностью р матрица весов, столбцы которой являются собственными векторами X ^T X . Транспонирование W иногда называют трансформацией побеления или образования сфер . Столбцы W, умноженные на квадратный корень из соответствующих собственных значений, то есть собственные векторы, увеличенные на дисперсии, называются нагрузками в PCA или в факторном анализе.

Ковариации [ править ]

Х ^Т Х сам по себе может быть признано пропорционально эмпирической выборкой ковариационной матрицы из набора данных Х ^Т . ^{[10] : 30–31}

Выборочная ковариация Q между двумя различными главными компонентами набора данных определяется следующим образом:

${\displaystyle {\begin{aligned}Q(\mathrm {PC} _{(j)},\mathrm {PC} _{(k)})&\propto (\mathbf {X} \mathbf {w} _{(j)})^{T}(\mathbf {X} \mathbf {w} _{(k)})\\&=\mathbf {w} _{(j)}^{T}\mathbf {X} ^{T}\mathbf {X} \mathbf {w} _{(k)}\\&=\mathbf {w} _{(j)}^{T}\lambda _{(k)}\mathbf {w} _{(k)}\\&=\lambda _{(k)}\mathbf {w} _{(j)}^{T}\mathbf {w} _{(k)}\end{aligned}}}$

где свойство собственных значений w _{( k )} использовалось для перехода от строки 2 к строке 3. Однако собственные векторы w _{( j )} и w _{( k ),} соответствующие собственным значениям симметричной матрицы, ортогональны (если собственные значения разные), или могут быть ортогонализированы (если векторы имеют одинаковое повторяющееся значение). Следовательно, продукт в последней строке равен нулю; нет выборочной ковариации между различными главными компонентами в наборе данных.

Таким образом, другой способ охарактеризовать преобразование основных компонентов - это преобразование в координаты, которые диагонализируют ковариационную матрицу эмпирической выборки.

В матричной форме эмпирическая ковариационная матрица для исходных переменных может быть записана

${\displaystyle \mathbf {Q} \propto \mathbf {X} ^{T}\mathbf {X} =\mathbf {W} \mathbf {\Lambda } \mathbf {W} ^{T}}$

Матрица эмпирической ковариации между главными компонентами становится

${\displaystyle \mathbf {W} ^{T}\mathbf {Q} \mathbf {W} \propto \mathbf {W} ^{T}\mathbf {W} \,\mathbf {\Lambda } \,\mathbf {W} ^{T}\mathbf {W} =\mathbf {\Lambda } }$

где Λ диагональная матрица собственных значений Х _{( к )} из X ^T X . λ _(k) равно сумме квадратов по набору данных, связанному с каждым компонентом k , то есть λ _{( k )} = Σ _i t _k ² _{( i )} = Σ _i ( x _{( i )} ⋅ w _{( k )} ) ² .

Снижение размерности [ править ]

Преобразование T = X W отображает вектор данных x _{( i )} из исходного пространства p переменных в новое пространство p переменных, которые не коррелированы в наборе данных. Однако не все основные компоненты необходимо сохранять. Сохранение только первых L главных компонентов, созданных с использованием только первых L собственных векторов, дает усеченное преобразование

${\displaystyle \mathbf {T} _{L}=\mathbf {X} \mathbf {W} _{L}}$

где матрица T _L теперь имеет n строк, но только L столбцов. Другими словами, PCA изучает линейное преобразование, в котором столбцы матрицы W размера p × L образуют ортогональный базис для L признаков (компонентов представления t ), которые декоррелированы. ^[11] Благодаря построению всех матриц преобразованных данных только с L столбцами, эта матрица оценок максимизирует дисперсию в исходных данных, которые были сохранены, при минимизации общей квадратичной ошибки восстановления или .${\displaystyle t=W^{T}x,x\in R^{p},t\in R^{L},}$${\displaystyle \|\mathbf {T} \mathbf {W} ^{T}-\mathbf {T} _{L}\mathbf {W} _{L}^{T}\|_{2}^{2}}$${\displaystyle \|\mathbf {X} -\mathbf {X} _{L}\|_{2}^{2}}$

Такое уменьшение размерности может быть очень полезным шагом для визуализации и обработки многомерных наборов данных, сохраняя при этом как можно большую вариацию в наборе данных. Например, если выбрать L  = 2 и оставить только первые два основных компонента, то двумерная плоскость будет найдена в наборе данных большой размерности, в котором данные наиболее распространены, поэтому, если данные содержат кластерыони также могут быть наиболее разбросанными и, следовательно, наиболее заметными для отображения на двумерной диаграмме; тогда как если два направления через данные (или две исходные переменные) выбираются случайным образом, кластеры могут быть гораздо меньше разнесены друг от друга и фактически могут иметь гораздо большую вероятность существенно перекрывать друг друга, делая их неразличимыми.

Аналогичным образом, в регрессионном анализе , чем больше разрешенных объясняющих переменных , тем больше вероятность переобучения модели, приводя к выводам, которые не могут быть обобщены на другие наборы данных. Один из подходов, особенно при наличии сильной корреляции между различными возможными независимыми переменными, состоит в том, чтобы свести их к нескольким главным компонентам, а затем запустить регрессию против них, метод, называемый регрессией главных компонентов .

Уменьшение размерности также может быть целесообразным, когда переменные в наборе данных зашумлены. Если каждый столбец набора данных содержит независимый одинаково распределенный гауссовский шум, то столбцы T также будут содержать одинаково одинаково распределенный гауссовский шум (такое распределение инвариантно под действием матрицы W , которую можно рассматривать как многомерный поворот осей координат). Однако, когда большая часть общей дисперсии сосредоточена в нескольких первых основных компонентах по сравнению с той же дисперсией шума, пропорциональный эффект шума меньше - первые несколько компонентов достигают более высокого отношения сигнал / шум.. Таким образом, PCA может иметь эффект концентрации большей части сигнала в нескольких первых основных компонентах, которые могут быть эффективно захвачены путем уменьшения размерности; в то время как в более поздних основных компонентах может преобладать шум, и поэтому они удаляются без больших потерь. Если набор данных не слишком велик, значимость основных компонентов можно проверить с помощью параметрической начальной загрузки , чтобы определить, сколько основных компонентов следует сохранить. ^[12]

Разложение по сингулярным числам [ править ]

Преобразование главных компонентов также может быть связано с другой матричной факторизацией, разложением по сингулярным значениям (SVD) X ,

${\displaystyle \mathbf {X} =\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{T}}$

Здесь Σ - прямоугольная диагональная матрица размером n x p положительных чисел σ _{( k )} , называемая сингулярными значениями X ; U представляет собой N матрицу с размерностью п матрица, столбцы которой являются ортогональными единичными векторами длины п называется левые сингулярные векторы X ; и W представляет собой P матрицу с размерностью р , столбцы которой являются ортогональными единичными векторами длиной р и называются правые сингулярные векторы X .

В терминах этой факторизации матрица X ^T X может быть записана

${\displaystyle {\begin{aligned}\mathbf {X} ^{T}\mathbf {X} &=\mathbf {W} \mathbf {\Sigma } ^{T}\mathbf {U} ^{T}\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{T}\\&=\mathbf {W} \mathbf {\Sigma } ^{T}\mathbf {\Sigma } \mathbf {W} ^{T}\\&=\mathbf {W} \mathbf {\hat {\Sigma }} ^{2}\mathbf {W} ^{T}\end{aligned}}}$

где - квадратная диагональная матрица с сингулярными значениями X и лишними нулями, отрубленными, что удовлетворяет . Сравнение с собственным вектором факторизации X ^T X устанавливает , что правые сингулярные векторы W из X эквивалентны собственных векторов X ^T X , в то время сингулярных значений сг _{( к )} из равны квадратного корня из собственных значений Х _{( к )} из X ^T X . ${\displaystyle \mathbf {\hat {\Sigma }} }$ ${\displaystyle \mathbf {{\hat {\Sigma }}^{2}} =\mathbf {\Sigma } ^{T}\mathbf {\Sigma } }$ ${\displaystyle \mathbf {X} }$

Используя разложение по сингулярным числам, матрицу оценок T можно записать

${\displaystyle {\begin{aligned}\mathbf {T} &=\mathbf {X} \mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \mathbf {W} ^{T}\mathbf {W} \\&=\mathbf {U} \mathbf {\Sigma } \end{aligned}}}$

поэтому каждый столбец T задается одним из левых сингулярных векторов X, умноженным на соответствующее сингулярное значение. Эта форма также полярное разложение на Т .

Существуют эффективные алгоритмы для вычисления SVD X без необходимости формировать матрицу X ^T X , поэтому вычисление SVD теперь является стандартным способом вычисления анализа главных компонентов на основе матрицы данных ^{[ необходима цитата ]} , если только несколько компонентов не являются требуется.

Как и в случае собственного-разложения, усеченный п × L оценка матрицы Т _Ь можно получить, рассматривая только первую L крупнейшие сингулярные значения и их сингулярные векторы:

${\displaystyle \mathbf {T} _{L}=\mathbf {U} _{L}\mathbf {\Sigma } _{L}=\mathbf {X} \mathbf {W} _{L}}$

Усечение матрицы M или T с использованием усеченного разложения по сингулярным значениям таким образом дает усеченную матрицу, которая является ближайшей возможной матрицей ранга L к исходной матрице в смысле разницы между двумя, имеющими наименьшую возможную норму Фробениуса , результат, известный как теорема Эккарта – Юнга [1936].

Дальнейшие соображения [ править ]

Учитывая набор точек в евклидовом пространстве , первый главный компонент соответствует линии, которая проходит через многомерное среднее и минимизирует сумму квадратов расстояний между точками от прямой. Второй главный компонент соответствует той же концепции после того, как вся корреляция с первым главным компонентом была вычтена из точек. Сингулярные значения (в Σ ) - это квадратные корни из собственных значений матрицы X ^T X. Каждое собственное значение пропорционально части "дисперсии" (точнее, суммы квадратов расстояний между точками от их многомерного среднего), которая связана с каждым собственным вектором. Сумма всех собственных значений равна сумме квадратов расстояний между точками от их многомерного среднего. PCA по существу вращает набор точек вокруг их среднего значения, чтобы выровняться с основными компонентами. Это перемещает как можно большую часть дисперсии (с использованием ортогонального преобразования) в первые несколько измерений. Следовательно, значения в остальных измерениях обычно малы и могут быть отброшены с минимальной потерей информации (см. Ниже ). PCA часто используется таким образом для уменьшения размерности.. PCA отличается тем, что является оптимальным ортогональным преобразованием для сохранения подпространства, которое имеет наибольшую «дисперсию» (как определено выше). Это преимущество, однако, достигается за счет более высоких вычислительных требований по сравнению, например, и, когда это применимо, с дискретным косинусным преобразованием и, в частности, с DCT-II, который просто известен как «DCT». Методы нелинейного уменьшения размерности обычно более требовательны к вычислениям, чем PCA.

PCA чувствителен к масштабированию переменных. Если у нас всего две переменные, и у них одинаковая выборочная дисперсияи положительно коррелированы, то PCA повлечет за собой поворот на 45 °, и «веса» (они являются косинусами вращения) для двух переменных по отношению к главному компоненту будут равны. Но если мы умножим все значения первой переменной на 100, то первый главный компонент будет почти таким же, как эта переменная, с небольшим вкладом от другой переменной, тогда как второй компонент будет почти выровнен со второй исходной переменной. Это означает, что всякий раз, когда разные переменные имеют разные единицы измерения (например, температуру и массу), PCA является несколько произвольным методом анализа. (Иные результаты были бы получены, если бы, например, использовали градусы Фаренгейта, а не Цельсия.) Первоначальная статья Пирсона называлась «О линиях и плоскостях, наиболее близких к системам точек в пространстве» - «в пространстве »подразумевает физическое евклидово пространство, где такие проблемы не возникают. Один из способов сделать PCA менее произвольным - использовать переменные, масштабированные так, чтобы иметь единичную дисперсию, путем стандартизации данных и, следовательно, использования матрицы автокорреляции вместо матрицы автоковариации в качестве является основой для PCA, однако это сжимает (или расширяет) флуктуации во всех измерениях пространства сигналов до единичной дисперсии.

Среднее вычитание (также известное как «среднее центрирование») необходимо для выполнения классического PCA, чтобы гарантировать, что первый главный компонент описывает направление максимальной дисперсии. Если вычитание среднего не выполняется, первый главный компонент может вместо этого более или менее соответствовать среднему значению данных. Для нахождения базиса, который минимизирует среднеквадратичную ошибку аппроксимации данных, необходимо нулевое среднее значение . ^[13]

Центрирование среднего значения не требуется при выполнении анализа главных компонентов на корреляционной матрице, так как данные уже центрированы после вычисления корреляций. Корреляции выводятся из перекрестного произведения двух стандартных оценок (Z-оценок) или статистических моментов (отсюда и название: корреляция продукта Пирсона и момента ). Также см. Статью Кромри и Фостер-Джонсон (1998) «Центрирование среднего в умеренной регрессии: много шума из ничего».

PCA - популярный основной метод распознавания образов . Однако он не оптимизирован для разделения классов. ^[14] Однако он использовался для количественной оценки расстояния между двумя или более классами путем вычисления центра масс для каждого класса в пространстве главных компонентов и сообщения евклидова расстояния между центрами масс двух или более классов. ^[15] линейный дискриминантный анализ является альтернативой , которая оптимизирована для класса разделимости.

Таблица символов и сокращений [ править ]

Символ	Смысл	Размеры	Индексы
${\displaystyle \mathbf {X} =\{X_{ij}\}}$	матрица данных, состоящая из набора всех векторов данных, по одному вектору на строку	${\displaystyle n\times p}$	${\displaystyle i=1\ldots n}$ ${\displaystyle j=1\ldots p}$
${\displaystyle n\,}$	количество векторов-строк в наборе данных	${\displaystyle 1\times 1}$	скаляр
${\displaystyle p\,}$	количество элементов в каждом векторе-строке (размерность)	${\displaystyle 1\times 1}$	скаляр
${\displaystyle L\,}$	количество измерений в размерно уменьшенном подпространстве, ${\displaystyle 1\leq L\leq p}$	${\displaystyle 1\times 1}$	скаляр
${\displaystyle \mathbf {u} =\{u_{j}\}}$	вектор эмпирических средних , одно среднее для каждого столбца j матрицы данных	${\displaystyle p\times 1}$	${\displaystyle j=1\ldots p}$
${\displaystyle \mathbf {s} =\{s_{j}\}}$	вектор эмпирических стандартных отклонений , одно стандартное отклонение для каждого столбца j матрицы данных	${\displaystyle p\times 1}$	${\displaystyle j=1\ldots p}$
${\displaystyle \mathbf {h} =\{h_{i}\}}$	вектор всех единиц	${\displaystyle 1\times n}$	${\displaystyle i=1\ldots n}$
${\displaystyle \mathbf {B} =\{B_{ij}\}}$	отклонения от среднего значения каждого столбца j матрицы данных	${\displaystyle n\times p}$	${\displaystyle i=1\ldots n}$ ${\displaystyle j=1\ldots p}$
${\displaystyle \mathbf {Z} =\{Z_{ij}\}}$	z-оценки , вычисленные с использованием среднего и стандартного отклонения для каждой строки m матрицы данных	${\displaystyle n\times p}$	${\displaystyle i=1\ldots n}$ ${\displaystyle j=1\ldots p}$
${\displaystyle \mathbf {C} =\{C_{jj'}\}}$	ковариационная матрица	${\displaystyle p\times p}$	${\displaystyle j=1\ldots p}$ ${\displaystyle j'=1\ldots p}$
${\displaystyle \mathbf {R} =\{R_{jj'}\}}$	корреляционная матрица	${\displaystyle p\times p}$	${\displaystyle j=1\ldots p}$ ${\displaystyle j'=1\ldots p}$
${\displaystyle \mathbf {V} =\{V_{jj'}\}}$	матрица , состоящая из множества всех собственных векторов из С , один собственный вектор для каждого столбца	${\displaystyle p\times p}$	${\displaystyle j=1\ldots p}$ ${\displaystyle j'=1\ldots p}$
${\displaystyle \mathbf {D} =\{D_{jj'}\}}$	диагональная матрица , состоящая из множества всех собственных значений из C вдоль ее главной диагонали , и 0 для всех других элементов	${\displaystyle p\times p}$	${\displaystyle j=1\ldots p}$ ${\displaystyle j'=1\ldots p}$
${\displaystyle \mathbf {W} =\{W_{jl}\}}$	матрица базисных векторов, один вектор на столбец, где каждый базисный вектор является одним из собственных векторов C , а векторы в W являются подмножеством векторов в V	${\displaystyle p\times L}$	${\displaystyle j=1\ldots p}$ ${\displaystyle l=1\ldots L}$
${\displaystyle \mathbf {T} =\{T_{il}\}}$	матрица , состоящая из п векторов - строк, где каждый вектор является проекцией соответствующего вектора данных из матрицы X на базисных векторов , содержащихся в столбцах матрицы W .	${\displaystyle n\times L}$	${\displaystyle i=1\ldots n}$ ${\displaystyle l=1\ldots L}$

Свойства и ограничения PCA [ править ]

Свойства [ править ]

Некоторые свойства PCA включают: ^{[10] [ требуется страница ]}

Свойство 1 : Для любого целогод, 1 ≤Q≤р, рассмотрим ортогональноелинейное преобразование

${\displaystyle y=\mathbf {B'} x}$

где - q-элементный вектор, - матрица ( q × p ), и пусть будет - ковариационная матрица дисперсии для . Тогда след , обозначенный , максимизируется взятием , где состоит из первых q столбцов, является транспонированием .${\displaystyle y}$${\displaystyle \mathbf {B'} }$${\displaystyle \mathbf {\Sigma } _{y}=\mathbf {B'} \mathbf {\Sigma } \mathbf {B} }$${\displaystyle y}$${\displaystyle \mathbf {\Sigma } _{y}}$${\displaystyle \operatorname {tr} (\mathbf {\Sigma } _{y})}$${\displaystyle \mathbf {B} =\mathbf {A} _{q}}$${\displaystyle \mathbf {A} _{q}}$${\displaystyle \mathbf {A} }$ ${\displaystyle (\mathbf {B'} }$${\displaystyle \mathbf {B} )}$

Свойство 2 : снова рассмотримортонормированное преобразование

${\displaystyle y=\mathbf {B'} x}$

с и определяется, как и раньше. Затем сводится к минимуму, выбирая где состоит из последних q столбцов .${\displaystyle x,\mathbf {B} ,\mathbf {A} }$${\displaystyle \mathbf {\Sigma } _{y}}$${\displaystyle \operatorname {tr} (\mathbf {\Sigma } _{y})}$${\displaystyle \mathbf {B} =\mathbf {A} _{q}^{*},}$${\displaystyle \mathbf {A} _{q}^{*}}$${\displaystyle \mathbf {A} }$

Статистическое значение этого свойства состоит в том, что последние несколько ПК не являются просто неструктурированными остатками после удаления важных ПК. Поскольку эти последние ПК имеют минимально возможные отклонения, они полезны сами по себе. Они могут помочь обнаружить неожиданные близкие к постоянным линейные отношения между элементами x , а также могут быть полезны в регрессии , при выборе подмножества переменных из x и при обнаружении выбросов.

Свойство 3 : (Спектральное разложение Σ )

${\displaystyle \mathbf {\Sigma } =\lambda _{1}\alpha _{1}\alpha _{1}'+\cdots +\lambda _{p}\alpha _{p}\alpha _{p}'}$

Прежде чем мы рассмотрим его использование, мы сначала рассмотрим диагональные элементы,

${\displaystyle \operatorname {Var} (x_{j})=\sum _{k=1}^{P}\lambda _{k}\alpha _{kj}^{2}}$

Тогда, возможно, основным статистическим следствием результата является то, что мы можем не только разложить комбинированные дисперсии всех элементов x на убывающие вклады, причитающиеся каждому ПК, но мы также можем разложить всю ковариационную матрицу на вклады от каждого ПК. Хотя это и не строго убывает, элементы будут иметь тенденцию становиться меньше по мере увеличения, а не возрастает для увеличения , в то время как элементы имеют тенденцию оставаться примерно такого же размера из - за ограничений , нормализации: .${\displaystyle \lambda _{k}\alpha _{k}\alpha _{k}'}$${\displaystyle \lambda _{k}\alpha _{k}\alpha _{k}'}$${\displaystyle k}$${\displaystyle \lambda _{k}\alpha _{k}\alpha _{k}'}$${\displaystyle k}$${\displaystyle \alpha _{k}}$${\displaystyle \alpha _{k}'\alpha _{k}=1,k=1,\dots ,p}$

Ограничения [ править ]

Как отмечалось выше, результаты PCA зависят от масштабирования переменных. Это можно исправить, масштабируя каждый объект по его стандартному отклонению, так что в итоге получаются безразмерные объекты с единичной дисперсией. ^[16]

Применимость PCA, как описано выше, ограничена некоторыми (неявными) предположениями ^[17], сделанными при его выводе. В частности, PCA может фиксировать линейные корреляции между функциями, но не работает, когда это предположение нарушается (см. Рисунок 6a в ссылке). В некоторых случаях преобразования координат могут восстановить предположение о линейности, и затем можно будет применить PCA (см. PCA ядра ).

Еще одно ограничение - это процесс удаления среднего до построения ковариационной матрицы для PCA. В таких областях, как астрономия, все сигналы неотрицательны, и процесс удаления среднего значения приведет к тому, что среднее значение некоторых астрофизических воздействий будет равно нулю, что, следовательно, создаст нефизические отрицательные потоки ^[18], и для этого необходимо выполнить прямое моделирование. восстановить истинную величину сигналов. ^[19] В качестве альтернативного метода факторизация неотрицательной матрицы фокусируется только на неотрицательных элементах в матрицах, что хорошо подходит для астрофизических наблюдений. ^{[20] [21] [22]} Подробнее см. Связь между PCA и неотрицательной матричной факторизацией .

PCA и теория информации [ править ]

Снижение размерности, как правило, приводит к потере информации. Уменьшение размерности на основе PCA имеет тенденцию минимизировать эту потерю информации при определенных моделях сигнала и шума.

В предположении, что

${\displaystyle \mathbf {x} =\mathbf {s} +\mathbf {n} ,}$

то есть, что вектор данных представляет собой сумму желаемого несущего информацию сигнала и шумового сигнала, можно показать, что PCA может быть оптимальным для уменьшения размерности с теоретико-информационной точки зрения.${\displaystyle \mathbf {x} }$${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {n} }$

В частности, Линскер показал, что если это гауссовский шум и гауссовский шум с ковариационной матрицей, пропорциональной единичной матрице, PCA максимизирует взаимную информацию между желаемой информацией и выходными данными с уменьшенной размерностью . ^[23]${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {n} }$ ${\displaystyle I(\mathbf {y} ;\mathbf {s} )}$${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {y} =\mathbf {W} _{L}^{T}\mathbf {x} }$

Если шум по-прежнему гауссовский и имеет ковариационную матрицу, пропорциональную единичной матрице (то есть компоненты вектора - iid ), но несущий информацию сигнал не является гауссовым (что является обычным сценарием), PCA по крайней мере минимизирует верхнюю границу потери информации , которая определяется как ^{[24] [25]}${\displaystyle \mathbf {n} }$${\displaystyle \mathbf {s} }$

${\displaystyle I(\mathbf {x} ;\mathbf {s} )-I(\mathbf {y} ;\mathbf {s} ).}$

Оптимальность PCA также сохраняется, если шум iid и по крайней мере более гауссовский (с точки зрения расхождения Кульбака – Лейблера ), чем несущий информацию сигнал . ^[26] В общем, даже если описанная выше модель сигнала верна, PCA теряет свою теоретико-информационную оптимальность, как только шум становится зависимым.${\displaystyle \mathbf {n} }$${\displaystyle \mathbf {s} }$${\displaystyle \mathbf {n} }$

Вычисление PCA с использованием метода ковариации [ править ]

Ниже приводится подробное описание PCA с использованием метода ковариации (см. Также здесь ) в отличие от метода корреляции. ^[27]

Цель состоит в том, чтобы превратить данное множество данных X размерности р в качестве альтернативного набора данных Y меньшего размера L . Эквивалентно, мы ищем матрицу Y , где Y - преобразование Карунена – Лоэва (KLT) матрицы X :

${\displaystyle \mathbf {Y} =\mathbb {KLT} \{\mathbf {X} \}}$

Организуйте набор данных [ править ]

Предположим, у вас есть данные, содержащие набор наблюдений для переменных p , и вы хотите сократить данные, чтобы каждое наблюдение можно было описать только L переменными, L < p . Предположим далее, что данные организованы как набор из n векторов данных, каждый из которых представляет собой сгруппированное наблюдение p переменных.${\displaystyle \mathbf {x} _{1}\ldots \mathbf {x} _{n}}$${\displaystyle \mathbf {x} _{i}}$

• Запишите как векторы-строки, каждый из которых имеет p столбцов.${\displaystyle \mathbf {x} _{1}\ldots \mathbf {x} _{n}}$
• Поместите векторы-строки в одну матрицу X размеров n × p .

Рассчитайте эмпирическое среднее [ править ]

• Найдите эмпирическое среднее значение по каждому столбцу j = 1, ...,  p .
• Поместите вычисленные средние значения в вектор эмпирических средних u размером p × 1.

${\displaystyle u_{j}={1 \over n}\sum _{i=1}^{n}X_{ij}}$

Рассчитайте отклонения от среднего [ править ]

Среднее вычитание является неотъемлемой частью решения по поиску базиса главных компонент, который минимизирует среднеквадратичную ошибку аппроксимации данных. ^[28] Таким образом, мы продолжаем центрировать данные следующим образом:

• Вычитание эмпирического среднего вектора из каждой строки матрицы данных X .${\displaystyle \mathbf {u} ^{T}}$
• Сохраните данные с вычитанием среднего значения в матрице B размера n × p .

${\displaystyle \mathbf {B} =\mathbf {X} -\mathbf {h} \mathbf {u} ^{T}}$

где h - вектор-столбец n × 1 всех единиц:

${\displaystyle h_{i}=1\,\qquad \qquad {\text{for }}i=1,\ldots ,n}$

В некоторых приложениях каждая переменная (столбец B ) может также масштабироваться, чтобы иметь дисперсию, равную 1 (см. Z-оценку ). ^[29] Этот шаг влияет на вычисляемые главные компоненты, но делает их независимыми от единиц, используемых для измерения различных переменных.

Найдите ковариационную матрицу [ править ]

• Найдите эмпирическую ковариационную матрицу C размера p × p из матрицы B :

${\displaystyle \mathbf {C} ={1 \over {n-1}}\mathbf {B} ^{*}\mathbf {B} }$

где - сопряженный оператор транспонирования . Если B полностью состоит из действительных чисел, что имеет место во многих приложениях, «сопряженное транспонирование» такое же, как и обычное транспонирование .${\displaystyle *}$

• Причина использования n - 1 вместо n для вычисления ковариации - это поправка Бесселя .

Найдите собственные векторы и собственные значения ковариационной матрицы [ править ]

• Вычислить матрицу V из собственных векторов , которые диагонализуют ковариационную матрицу C :

${\displaystyle \mathbf {V} ^{-1}\mathbf {C} \mathbf {V} =\mathbf {D} }$

где D представляет собой диагональную матрицу из собственных значений из C . Этот шаг обычно включает использование компьютерного алгоритма для вычисления собственных векторов и собственных значений . Эти алгоритмы легко доступны в качестве подкомпонентов большинства систем матричной алгебры , таких как SAS , ^[30] R , MATLAB , ^{[31] [32]} Mathematica , ^[33] SciPy , IDL ( интерактивный язык данных ) или GNU Octave как а также OpenCV .

• Матрица D примет форму диагональной матрицы размера p × p , где

${\displaystyle D_{k\ell }=\lambda _{k}\qquad {\text{for }}k=\ell }$

- j- е собственное значение ковариационной матрицы C , а

${\displaystyle D_{k\ell }=0\qquad {\text{for }}k\neq \ell .}$

• Матрица V , а также размерности р × р , содержит р векторы - столбцы, каждый из которых длины р , которые представляют р собственных векторов ковариационной матрицы С .
• Собственные значения и собственные векторы упорядочены и объединены в пары. J - е собственное значение соответствует J - го собственного вектора.
• Матрица V обозначает матрицу правых собственных векторов (в отличие от левых собственных векторов). В общем, матрица правых собственных векторов не обязательно должна быть (сопряженной) транспонированной матрицей левых собственных векторов.

Переставьте собственные векторы и собственные значения [ править ]

• Отсортируйте столбцы матрицы собственных векторов V и матрицы собственных значений D в порядке убывания собственного значения.
• Убедитесь, что между столбцами каждой матрицы установлены правильные пары.

Вычислите совокупное содержание энергии для каждого собственного вектора [ править ]

• Собственные значения представляют собой распределение энергии исходных данных ^{[ требуется пояснение ]} между каждым из собственных векторов, где собственные векторы формируют основу для данных. Совокупное содержание энергии g для j- го собственного вектора представляет собой сумму содержания энергии по всем собственным значениям от 1 до j :

${\displaystyle g_{j}=\sum _{k=1}^{j}D_{kk}\qquad {\text{for }}j=1,\dots ,p}$^{[ необходима цитата ]}

Выберите подмножество собственных векторов в качестве базисных векторов [ править ]

• Сохраните первые L столбцов V как матрицу W размера p × L :

${\displaystyle W_{kl}=V_{k\ell }\qquad {\text{for }}k=1,\dots ,p\qquad \ell =1,\dots ,L}$

куда

${\displaystyle 1\leq L\leq p.}$

• С помощью вектора г в качестве руководства при выборе соответствующего значения для L . Цель состоит в том, чтобы выбрать как можно меньшее значение L при достижении достаточно высокого значения g в процентах. Например, вы можете выбрать L так, чтобы совокупная энергия g была выше определенного порога, например 90 процентов. В этом случае выберите наименьшее значение L так , чтобы

${\displaystyle {\frac {g_{L}}{g_{p}}}\geq 0.9\,}$

Спроецируйте данные на новую основу [ править ]

• Спроецированные точки данных - это строки матрицы

${\displaystyle \mathbf {T} =\mathbf {B} \cdot \mathbf {W} }$

То есть, первый столбец - это проекция точек данных на первый главный компонент, второй столбец - это проекция на второй главный компонент и т. Д.${\displaystyle \mathbf {T} }$

Получение PCA с использованием метода ковариации [ править ]

Пусть X будет d -мерным случайным вектором, выраженным как вектор-столбец. Без ограничения общности предположим, что X имеет нулевое среднее.

Мы хотим найти в d × d ортонормированной матрица преобразования P так , что PX имеет диагональную матрицу ковариации (то есть, PX является случайным вектор со всеми его различными компонентами попарно некоррелированным).${\displaystyle (\ast )\,}$

Быстрое вычисление, предполагающее унитарную доходность:${\displaystyle P}$

${\displaystyle {\begin{aligned}\operatorname {cov} (PX)&=\operatorname {E} [PX~(PX)^{*}]\\&=\operatorname {E} [PX~X^{*}P^{*}]\\&=P\operatorname {E} [XX^{*}]P^{*}\\&=P\operatorname {cov} (X)P^{-1}\\\end{aligned}}}$

Следовательно, выполняется тогда и только тогда, когда их можно диагонализовать с помощью .${\displaystyle (\ast )\,}$${\displaystyle \operatorname {cov} (X)}$${\displaystyle P}$

Это очень конструктивно, так как cov ( X ) гарантированно является неотрицательно определенной матрицей и, следовательно, гарантированно диагонализируется некоторой унитарной матрицей.

Вычисление без ковариации [ править ]

В практических реализациях, особенно с данными большой размерности (большое p ), метод наивной ковариации используется редко, потому что он неэффективен из-за больших вычислительных затрат и затрат памяти на явное определение ковариационной матрицы. Бесковариационный подход позволяет избежать np ² операций явного вычисления и сохранения ковариационной матрицы X ^T X , вместо этого используя один из безматричных методов , например, основанный на функции, оценивающей произведение X ^T (X r) за счет от 2 ира операций.

Итерационные вычисления [ править ]

Один из способов эффективного вычисления первого главного компонента ^[34] показан в следующем псевдокоде для матрицы данных X с нулевым средним значением без вычисления ее ковариационной матрицы.

r = случайный вектор длины p
сделать c раз:  s = 0 (вектор длины p )  для каждого выхода строки при
возврате${\displaystyle \mathbf {r} ={\frac {\mathbf {r} }{|\mathbf {r} |}}}$${\displaystyle \mathbf {x} \in \mathbf {X} }$ ${\displaystyle \mathbf {s} =\mathbf {s} +(\mathbf {x} \cdot \mathbf {r} )\mathbf {x} }$ ${\displaystyle {\text{eigenvalue}}=\mathbf {r} ^{T}\mathbf {s} }$ ${\displaystyle {\text{error}}=|{\text{eigenvalue}}\cdot \mathbf {r} -\mathbf {s} |}$ ${\displaystyle \mathbf {r} ={\frac {\mathbf {s} }{|\mathbf {s} |}}}$ ${\displaystyle {\text{error}}<{\text{tolerance}}}$${\displaystyle {\text{eigenvalue}},\mathbf {r} }$

Этот алгоритм степенной итерации просто вычисляет вектор X ^T (X r) , нормализует и помещает результат обратно в r . Собственный аппроксимируются г ^T (X ^T X) R , который является Рэлей фактором на единичном вектор г для ковариационной матрицы X ^T X . Если наибольшее сингулярное значение хорошо отделено от следующего по величине, вектор r приближается к первому главному компоненту X за число итераций c , которое мало по сравнению с p, общей стоимостью 2кнп . Мощности итерация сходимость может быть ускорена без заметного ущерба небольшой стоимости за итерации с использованием более сложными нематричными метод , такие как Ланцош алгоритм или локально Оптимальное Блок предварительно сопряженный градиент ( LOBPCG метод).

Последующие главные компоненты могут вычисляться один за другим посредством дефляции или одновременно как блок. В первом подходе неточности в уже вычисленных приближенных главных компонентах аддитивно влияют на точность вычисляемых впоследствии главных компонентов, тем самым увеличивая ошибку с каждым новым вычислением. Последний подход в методе блока питания заменяет единичные векторы г и ев с блок-векторами, матрицами R и S . Каждый столбец R аппроксимирует одну из главных главных компонент, в то время как все столбцы повторяются одновременно. Основной расчет - оценка продукта X ^T (XR) . Реализовано, например, вLOBPCG , эффективная блокировка, исключает накопление ошибок, позволяет использовать высокоуровневые функции произведения матрица-матрица BLAS и, как правило, приводит к более быстрой сходимости по сравнению с методом «один за одним» для одного вектора.

Метод NIPALS [ править ]

Нелинейный итерационный метод частичных наименьших квадратов (NIPALS) представляет собой вариант классической итерации по мощности с дефляцией матрицы путем вычитания, реализованной для вычисления первых нескольких компонентов в анализе главных компонент или частичных наименьших квадратов . Для очень многомерных наборов данных, например, созданных в * омических науках (например, геномика , метаболомика ), обычно необходимо вычислить только первые несколько компьютеров. В нелинейные итерационные частичных наименьших квадратов (NIPALS) алгоритм обновления итерационные приближения ведущих счетов и нагрузок т ₁ и г ₁ ^T со стороны мощности итерацииумножение на каждой итерации на X слева и справа, то есть исключается вычисление ковариационной матрицы, как и в безматричной реализации степенных итераций к X ^T X , на основе функции, оценивающей произведение X ^Т (Х г) = ((Х г) ^Т Х) ^Т .

Сглаживание матрицы путем вычитания выполняется путем вычитания внешнего произведения t ₁ r ₁ ^T из X, оставляя спущенную остаточную матрицу, используемую для вычисления последующих ведущих PC. ^[35] Для больших матриц данных или матриц с высокой степенью коллинеарности столбцов, NIPALS страдает от потери ортогональности ПК из -за ошибок округления машинной точности, накопленных в каждой итерации, и дефляции матрицы путем вычитания. ^[36] Грама-Шмидта алгоритм повторно ортогонализации применяется к обоим оценки и нагрузок на каждом шаге итерации , чтобы устранить эту потерю ортогональности. ^[37]Опора NIPALS на однократное умножение не может использовать преимущества высокоуровневого BLAS и приводит к медленной сходимости для кластеризованных ведущих сингулярных значений - оба эти недостатка устраняются в более сложных безматричных блочных решателях, таких как локально оптимальный блочный предварительно обусловленный сопряженный градиент ( LOBPCG ) метод.

Онлайн / последовательная оценка [ править ]

В ситуации «онлайн» или «потоковой передачи», когда данные поступают по частям, а не хранятся в одном пакете, полезно сделать оценку прогноза PCA, который можно обновлять последовательно. Это можно сделать эффективно, но требуются другие алгоритмы. ^[38]

PCA и качественные переменные [ править ]

В PCA обычно мы хотим ввести качественные переменные в качестве дополнительных элементов. Например, многие количественные переменные были измерены на растениях. Для этих растений доступны некоторые качественные переменные, например, вид, к которому растение принадлежит. Эти данные были подвергнуты PCA для количественных переменных. При анализе результатов естественно связать главные компоненты с видами качественных переменных . Для этого получены следующие результаты.

• Идентификация на факторных планах разных видов, например, с использованием разных цветов.
• Изображение на факторных планах центров тяжести растений, принадлежащих к одному виду.
• Для каждого центра тяжести и каждой оси значение p, чтобы судить о значимости разницы между центром тяжести и исходной точкой.

Эти результаты представляют собой то, что называется введением качественной переменной в качестве дополнительного элемента . Эта процедура подробно описана в работах Husson, Lê & Pagès 2009 и Pagès 2013. Немногие программы предлагают эту опцию «автоматическим» способом. Это случай SPAD, который исторически, вслед за работой Людовика Лебарта , был первым, кто предложил этот вариант, и пакет R FactoMineR .

Приложения [ править ]

Количественные финансы [ править ]

В количественных финансах , основной компонент анализ может быть непосредственно применен к управлению рисками в процентном ставке производных портфелей. ^[39] Торговля множественными своп-инструментами, которые обычно являются функцией 30–500 других рыночных котируемых своп-инструментов, обычно сводится к 3 или 4 основным компонентам, представляющим динамику процентных ставок на макроуровне. Преобразование рисков в факторные нагрузки (или множители) обеспечивает оценки и понимание, выходящие за рамки простого коллективного просмотра рисков для отдельных 30–500 сегментов.

PCA также применялся к портфелям акций аналогичным образом ^[40] как для портфельного риска, так и для доходности риска . Одно из приложений - снизить риск портфеля, когда стратегии распределения применяются к «основным портфелям», а не к базовым акциям. ^[41] Второй - повысить доходность портфеля, используя основные компоненты для выбора акций с потенциалом роста. ^{[ необходима цитата ]}

Неврология [ править ]

Вариант анализа основных компонентов используется в нейробиологии для определения специфических свойств стимула, которые увеличивают вероятность создания нейроном потенциала действия . ^[42] Этот метод известен как ковариационный анализ, инициируемый всплесками . В типичном приложении экспериментатор представляет процесс белого шума в качестве стимула (обычно либо как сенсорный ввод для испытуемого, либо как токвводится непосредственно в нейрон) и записывает последовательность потенциалов действия или всплесков, создаваемых нейроном в результате. Предположительно, определенные особенности стимула повышают вероятность спайк нейрона. Для того , чтобы извлечь эти функции, экспериментатор вычисляет ковариационную матрицу из спайка-триггерным ансамбля , множество всех раздражителей (определенно и дискретизируется над конечным временным окном, обычно порядка 100 мса) , что непосредственно предшествовал шип. Собственные векторы разности между ковариационной матрицей, инициируемой спайком, и ковариационной матрицей предшествующего ансамбля стимулов (набор всех стимулов, определенных в одном временном окне с одинаковой длиной), затем указывают направления в пространстве.стимулов, по которым дисперсия инициированного спайком ансамбля больше всего отличалась от дисперсии предшествующего ансамбля стимулов. В частности, собственные векторы с наибольшими положительными собственными значениями соответствуют направлениям, вдоль которых дисперсия инициированного всплесками ансамбля показала наибольшее положительное изменение по сравнению с дисперсией предыдущего. Поскольку это были направления, в которых изменение стимула приводило к всплеску, они часто являются хорошим приближением искомых соответствующих характеристик стимула.

В неврологии PCA также используется для определения идентичности нейрона по форме его потенциала действия. Сортировка спайков - важная процедура, потому что методы внеклеточной записи часто улавливают сигналы от более чем одного нейрона. При сортировке спайков сначала используется PCA, чтобы уменьшить размерность пространства форм волны потенциала действия, а затем выполнять кластерный анализ, чтобы связать определенные потенциалы действия с отдельными нейронами.

PCA как метод уменьшения размеров особенно подходит для обнаружения скоординированных действий больших нейронных ансамблей. Его использовали для определения коллективных переменных, то есть параметров порядка , во время фазовых переходов в мозге. ^[43]

Связь с другими методами [ править ]

Анализ корреспонденции [ править ]

Анализ соответствия (CA) был разработан Жан-Полем Бенцекри ^[44] и концептуально аналогичен PCA, но масштабирует данные (которые должны быть неотрицательными) так, чтобы строки и столбцы обрабатывались одинаково. Это традиционно применяется к таблицам непредвиденных обстоятельств . CA разлагает статистику хи-квадрат, связанную с этой таблицей, на ортогональные множители. ^[45] Поскольку CA - это описательный метод, он может применяться к таблицам, для которых подходит статистика хи-квадрат. Доступно несколько вариантов CA, включая анализ соответствий с исключенным трендом и анализ канонических соответствий . Одно специальное расширение -анализ множественных соответствий , который можно рассматривать как аналог анализа главных компонентов для категориальных данных. ^[46]

Факторный анализ [ править ]

Анализ главных компонентов создает переменные, которые представляют собой линейные комбинации исходных переменных. Новые переменные обладают тем свойством, что все переменные ортогональны. Преобразование PCA может быть полезно на этапе предварительной обработки перед кластеризацией. PCA - это подход, ориентированный на дисперсию, направленный на воспроизведение общей дисперсии переменной, в которой компоненты отражают как общую, так и уникальную дисперсию переменной. PCA обычно предпочтительнее для целей сокращения данных (то есть перевода пространства переменных в оптимальное пространство факторов), но не тогда, когда целью является обнаружение скрытой конструкции или факторов.

Факторный анализ аналогичен анализу главных компонентов, поскольку факторный анализ также включает линейные комбинации переменных. В отличие от PCA, факторный анализ - это подход, ориентированный на корреляцию, стремящийся воспроизвести взаимные корреляции между переменными, в котором факторы «представляют собой общую дисперсию переменных, исключая уникальную дисперсию». ^[47] В терминах корреляционной матрицы это соответствует сосредоточению внимания на объяснении недиагональных членов (то есть общей ковариации), в то время как PCA фокусируется на объяснении терминов, которые находятся на диагонали. Однако, как побочный результат, при попытке воспроизвести недиагональные члены PCA также имеет тенденцию относительно хорошо соответствовать недиагональным корреляциям. ^{[10] : 158}Результаты, полученные с помощью PCA и факторного анализа, очень похожи в большинстве ситуаций, но это не всегда так, и есть некоторые проблемы, когда результаты существенно отличаются. Факторный анализ обычно используется, когда целью исследования является обнаружение структуры данных (то есть скрытых конструкций или факторов) или причинного моделирования . Если факторная модель сформулирована неправильно или предположения не выполняются, то факторный анализ даст ошибочные результаты. ^[48]

K- означает кластеризацию [ править ]

Утверждалось, что ослабленное решение кластеризации k- средних , определяемое индикаторами кластера, задается главными компонентами, а подпространство PCA, охватываемое основными направлениями, идентично подпространству центроида кластера. ^{[49] [50]} Однако то, что PCA является полезным ослаблением кластеризации k- средних, не было новым результатом, ^[51] и несложно обнаружить контрпримеры к утверждению, что подпространство центроида кластера охватывает основные направления. ^[52]

Неотрицательная матричная факторизация [ править ]

Факторизация неотрицательной матрицы (NMF) - это метод уменьшения размерности, при котором используются только неотрицательные элементы в матрицах, что, следовательно, является многообещающим методом в астрономии ^{[20] [21] [22]} в том смысле, что астрофизические сигналы являются неотрицательный. Компоненты PCA ортогональны друг другу, в то время как компоненты NMF все неотрицательны и, следовательно, создают неортогональный базис.

В PCA вклад каждого компонента оценивается на основе величины его соответствующего собственного значения, что эквивалентно дробной остаточной дисперсии (FRV) при анализе эмпирических данных. ^[18] Для NMF его компоненты ранжируются только на основе эмпирических кривых FRV. ^[22] Графики остаточных дробных собственных значений, то есть как функция количества компонентов с учетом общего количества компонентов, для PCA есть плоское плато, на котором не собираются данные для удаления квазистатического шума, затем кривые быстро падают, поскольку индикация переоборудования и фиксирует случайный шум. ^[18] Кривые FRV для NMF непрерывно убывают ^[22], когда компоненты NMF строятся последовательно.${\displaystyle 1-\sum _{i=1}^{k}\lambda _{i}{\Big /}\sum _{j=1}^{n}\lambda _{j}}$${\displaystyle k}$${\displaystyle n}$, ^[21], указывающий на непрерывный захват квазистатического шума; затем сходятся к более высоким уровням, чем PCA, ^[22], указывая на меньшую переобученность NMF.

Обобщения [ править ]

Sparse PCA [ править ]

Особым недостатком PCA является то, что главные компоненты обычно представляют собой линейные комбинации всех входных переменных. Редкий PCA преодолевает этот недостаток, находя линейные комбинации, содержащие всего несколько входных переменных. Он расширяет классический метод анализа главных компонент (PCA) для уменьшения размерности данных, добавляя ограничение разреженности для входных переменных. Было предложено несколько подходов, в том числе

• структура регрессии, ^[53]
• фреймворк выпуклой релаксации / полуопределенного программирования, ^[54]
• структура обобщенного степенного метода ^[55]
• альтернативная система максимизации ^[56]
• жадный поиск вперед-назад и точные методы с использованием методов ветвей и границ, ^[57]
• Рамки байесовских формулировок. ^[58]

Методологические и теоретические разработки Sparse PCA, а также его приложения в научных исследованиях были недавно рассмотрены в обзорной статье. ^[59]

Нелинейный PCA [ править ]

Большинство современных методов нелинейного уменьшения размерности имеют свои теоретические и алгоритмические корни в PCA или K-средних. Первоначальная идея Пирсона заключалась в том, чтобы взять прямую линию (или плоскость), которая будет «наилучшим образом соответствовать» набору точек данных. Главные кривые и многообразия ^[63] дают естественную геометрическую основу для обобщения PCA и расширяют геометрическую интерпретацию PCA путем явного построения вложенного многообразия для аппроксимации данных и кодирования с использованием стандартной геометрической проекции на многообразие, как это показано на рис. См. Также алгоритм упругой карты и основной геодезический анализ.. Другое популярное обобщение - PCA ядра , которое соответствует PCA, выполняемому в гильбертовом пространстве воспроизводящего ядра, связанном с положительно определенным ядром.

В полилинейном обучении подпространства , ^[64] РС обобщен на полилинейную PCA (MPCA) , который извлекает особенность непосредственно из тензора представлений. MPCA решается путем итеративного выполнения PCA в каждом режиме тензора. MPCA применялся для распознавания лиц, походки и т. Д. MPCA был расширен до некоррелированного MPCA, неотрицательного MPCA и надежного MPCA.

N- ходовой анализ главных компонентов может быть выполнен с помощью таких моделей, как разложение Такера , PARAFAC , многофакторный анализ, коинерционный анализ, STATIS и DISTATIS.

Надежный PCA [ править ]

Хотя PCA находит математически оптимальный метод (например, минимизирует квадратичную ошибку), он по-прежнему чувствителен к выбросам в данных, которые вызывают большие ошибки, чего метод пытается избежать в первую очередь. Поэтому распространенной практикой является удаление выбросов перед вычислением PCA. Однако в некоторых случаях выбросы бывает трудно идентифицировать. Например, в алгоритмах интеллектуального анализа данных , таких как корреляционная кластеризация , назначение точек кластерам и выбросам заранее не известно. Недавно предложенное обобщение PCA ^[65] на основе взвешенного PCA увеличивает надежность за счет присвоения различных весов объектам данных на основе их предполагаемой релевантности.

На основе рецептур L1-нормы ( L1-PCA ) также были предложены резко устойчивые варианты PCA . ^{[5] [3]}

Робастный анализ главных компонент (RPCA) посредством разложения на низкоранговые и разреженные матрицы - это модификация PCA, которая хорошо работает в отношении сильно искаженных наблюдений. ^{[66] [67] [68]}

Подобные техники [ править ]

Независимый компонентный анализ [ править ]

Независимый компонентный анализ (ICA) направлен на те же проблемы, что и анализ главных компонентов, но находит аддитивно разделяемые компоненты, а не последовательные приближения.

Анализ сетевых компонентов [ править ]

Учитывая матрицу , он пытается разложить ее на две матрицы так, чтобы . Ключевое отличие от таких методов, как PCA и ICA, состоит в том, что некоторые записи ограничиваются нулем. Здесь это называется регуляторным уровнем. Хотя в общем случае такое разложение может иметь несколько решений, они доказывают, что если выполняются следующие условия:${\displaystyle E}$${\displaystyle E=AP}$${\displaystyle A}$${\displaystyle P}$

1. ${\displaystyle A}$ имеет полный ранг столбца
2. Каждый столбец должен иметь как минимум нули, где - количество столбцов (или, альтернативно, количество строк ). Обоснованием этого критерия является то, что если узел удаляется из уровня регулирования вместе со всеми подключенными к нему выходными узлами, результат все равно должен характеризоваться матрицей связности с полным рангом столбца.${\displaystyle A}$${\displaystyle L-1}$${\displaystyle L}$${\displaystyle A}$${\displaystyle P}$
3. ${\displaystyle P}$ должен иметь полный ранг строки.

то разложение единственно с точностью до умножения на скаляр. ^[69]

Программное обеспечение / исходный код [ править ]

• ALGLIB - библиотека C ++ и C #, реализующая PCA и усеченный PCA
• Analytica - встроенная функция EigenDecomp вычисляет главные компоненты.
• ELKI - включает PCA для проектирования, включая надежные варианты PCA, а также алгоритмы кластеризации на основе PCA .
• Gretl - анализ главных компонент может выполняться либо через pcaкоманду, либо через princomp()функцию.
• Юлия - Поддерживает PCA с помощью pcaфункции в пакете MultivariateStats
• KNIME - программное обеспечение узловой компоновки на основе Java для анализа, в котором узлы, называемые PCA, PCA compute, PCA Apply, PCA inverse, делают это легко.
• Mathematica - реализует анализ главных компонентов с помощью команды PrincipalComponents, используя методы ковариации и корреляции.
• MathPHP - математическая библиотека PHP с поддержкой PCA.
• MATLAB Statistics Toolbox - Функции princompи pca(R2012b) дают главные компоненты, в то время как функция pcaresдает остатки и восстановленную матрицу для приближения PCA низкого ранга.
• Matplotlib - библиотека Python имеет пакет PCA в модуле .mlab.
• mlpack - обеспечивает реализацию анализа главных компонентов на C ++ .
• Библиотека NAG - анализ основных компонентов осуществляется с помощью g03aaпроцедуры (доступной в обеих версиях библиотеки на языке Fortran).
• NMath - Собственная числовая библиотека, содержащая PCA для .NET Framework .
• GNU Octave - Свободная программная вычислительная среда, в основном совместимая с MATLAB, функция princompдает главный компонент.
• OpenCV
• Oracle Database 12c - реализуется с помощью DBMS_DATA_MINING.SVDS_SCORING_MODEуказания значения параметраSVDS_SCORING_PCA
• Orange (программное обеспечение) - интегрирует PCA в среду визуального программирования. PCA отображает диаграмму осыпи (степень объясненной дисперсии), где пользователь может интерактивно выбрать количество основных компонентов.
• Origin - содержит PCA в его версии Pro.
• Qlucore - коммерческое программное обеспечение для анализа многомерных данных с мгновенным ответом с использованием PCA.
• R - бесплатный статистический пакет, функции princompи prcompмогут использоваться для анализа главных компонент; prcompиспользует разложение по сингулярным числам, которое обычно дает лучшую численную точность. Некоторые пакеты, реализующие PCA в R, включают в себя, но не ограничиваются ими: ade4, vegan, ExPosition, dimRed, и FactoMineR.
• SAS - фирменное программное обеспечение; например, см. ^[70]
• Scikit-learn - библиотека Python для машинного обучения, которая содержит PCA, Probabilistic PCA, Kernel PCA, Sparse PCA и другие методы в модуле декомпозиции.
• Weka - Java-библиотека для машинного обучения, которая содержит модули для вычисления основных компонентов.

См. Также [ править ]

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Джексон, Дж. Э. (1991). Руководство пользователя по основным компонентам (Wiley).
• Джоллифф, ИТ (1986). Анализ главных компонентов . Серии Спрингера в статистике. Springer-Verlag. С.  487 . CiteSeerX  10.1.1.149.8828 . DOI : 10.1007 / b98835 . ISBN 978-0-387-95442-4.
• Джоллифф, ИТ (2002). Анализ главных компонентов . Серии Спрингера в статистике. Нью-Йорк: Springer-Verlag. DOI : 10.1007 / b98835 . ISBN 978-0-387-95442-4.
• Юссон Франсуа, Ле Себастьян и Паж Жером (2009). Исследовательский Многофакторный анализ по примеру Используя R . Chapman & Hall / CRC The R Series, Лондон. 224стр. ISBN 978-2-7535-0938-2 
• Паж Жером (2014). Множественный фактор Анализ с помощью примера , используя R . Chapman & Hall / CRC The R Series London 272 p.

Внешние ссылки [ править ]

Викискладе есть медиафайлы, связанные с анализом главных компонентов .

• Видео Копенгагенского университета от Расмуса Бро на YouTube
• Видео Стэнфордского университета Эндрю Нг на YouTube
• Учебное пособие по анализу основных компонентов
• Введение в анализ основных компонентов на YouTube для непрофессионала (видео продолжительностью менее 100 секунд).
• StatQuest: анализ основных компонентов (PCA) четко объяснен на YouTube
• См. Также список программных реализаций.