Мультилинейный анализ главных компонент ( MPCA ) - это полилинейное расширение анализа главных компонент (PCA). MPCA используется при анализе n-мерных массивов, то есть куба или гиперкуба чисел, также неофициально называемых «тензором данных». N-сторонние массивы можно разложить, проанализировать или смоделировать с помощью
- линейные тензорные модели, такие как CANDECOMP / Parafac или
- полилинейные тензорные модели, такие как полилинейный анализ главных компонент (MPCA) или полилинейный анализ независимых компонентов (MICA) и т. д.
Происхождение MPCA можно проследить до разложения Такера [1] и работы Питера Круненберга «M-mode PCA / 3-mode PCA». [2] В 2000 году Де Латхаувер и др. переформулировали работу Такера и Крооненберга в ясных и кратких числовых терминах в своей статье SIAM, озаглавленной « Мультилинейное разложение по сингулярным значениям », [3] (HOSVD) и в своей статье «О лучшем ранге-1 и ранге- (R 1 , R 2 , ..., R N ) Аппроксимация тензоров высших порядков ". [4]
Приблизительно в 2001 году Василеску переформулировал задачи анализа, распознавания и синтеза данных как полилинейные тензорные задачи, основанные на понимании того, что большинство наблюдаемых данных являются композиционным следствием нескольких причинных факторов формирования данных и хорошо подходят для многомодального тензорного анализа данных. Сила тензорной структуры была продемонстрирована путем анализа углов движения суставов человека, изображений лица или текстур с точки зрения причинных факторов формирования данных в следующих работах: Сигнатуры движения человека [5] (CVPR 2001, ICPR 2002), распознавание лиц - TensorFaces , [6] [7] (ECCV 2002, CVPR 2003 и др.) И компьютерная графика - TensorTextures [8] (Siggraph 2004).
Исторически MPCA упоминается как «M-mode PCA», эта терминология была введена Питером Круненбергом в 1980 году. [2] В 2005 году Василеску и Терзопулос ввели терминологию Multilinear PCA [9] как способ лучше различать между линейное и полилинейное тензорное разложение, а также для лучшего различия между работой [5] [6] [7] [8], в которой вычислялась статистика 2-го порядка, связанная с каждым режимом тензора данных (осью), и последующей работой над мультилинейным независимым компонентом Анализ [9], который вычислял статистику более высокого порядка, связанную с каждой тензорной модой / осью.
Полилинейный PCA может применяться для вычисления причинных факторов формирования данных или в качестве инструмента обработки сигналов для тензоров данных, индивидуальные наблюдения которых были векторизованы [5] [6] [7] [8], либо наблюдения которых обрабатываются как матрица [ 10] и объединены в тензор данных.
MPCA вычисляет набор ортонормированных матриц, связанных с каждым режимом тензора данных, которые аналогичны ортонормированному пространству строк и столбцов матрицы, вычисляемой матрицей SVD. Это преобразование направлено на захват как можно большей вариативности, учитывая как можно большую вариативность данных, связанных с каждой модой (осью) тензора данных.
Алгоритм
Решение MPCA следует подходу альтернативных наименьших квадратов (ALS). [2] Это итеративный характер. Как и в PCA, MPCA работает с центрированными данными. Для тензоров центрирование немного сложнее и зависит от задачи.
Выбор функции
Возможности MPCA: контролируемый выбор характеристик MPCA используется при распознавании объектов [11], в то время как неконтролируемый выбор характеристик MPCA используется в задаче визуализации. [12]
Расширения
Были разработаны различные расширения MPCA: [13]
- Некоррелированный MPCA (UMPCA) [14] Напротив, некоррелированный MPCA (UMPCA) генерирует некоррелированные полилинейные характеристики. [14]
- Повышение + MPCA [15]
- Неотрицательный MPCA (NMPCA) [16]
- Надежный MPCA (RMPCA) [17]
- Мульти-тензорная факторизация, которая также автоматически находит количество компонентов (MTF) [18]
Рекомендации
- ↑ Tucker, Ledyard R (сентябрь 1966 г.). «Некоторые математические заметки по трехрежимному факторному анализу». Психометрика . 31 (3): 279–311. DOI : 10.1007 / BF02289464 . PMID 5221127 .
- ^ a b c П. М. Крооненберг и Дж. де Леу, Анализ главных компонентов трехрежимных данных с помощью алгоритмов альтернативных наименьших квадратов , Психометрика, 45 (1980), стр. 69–97.
- ^ Lathauwer, LD; Moor, BD; Вандевалле, Дж. (2000). «Полилинейное разложение по сингулярным числам» . Журнал SIAM по матричному анализу и приложениям . 21 (4): 1253–1278. DOI : 10.1137 / s0895479896305696 .
- ^ Lathauwer, LD; Moor, BD; Вандевалле, Дж. (2000). «О наилучшем приближении ранга-1 и ранга- (R1, R2, ..., RN) тензоров высших порядков» . Журнал SIAM по матричному анализу и приложениям . 21 (4): 1324–1342. DOI : 10.1137 / s0895479898346995 .
- ^ a b c М.АО Василеску (2002) "Сигнатуры движения человека: анализ, синтез, распознавание", Труды Международной конференции по распознаванию образов (ICPR 2002), Vol. 3, Квебек, Канада, август 2002 г., стр. 456–460.
- ^ a b c M.AO Vasilescu, D. Terzopoulos (2002) "Полилинейный анализ ансамблей изображений: TensorFaces", Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г., in Computer Vision - ECCV 2002, Lecture Notes in Computer Science, Vol. 2350, A. Heyden et al. (Ред.), Springer-Verlag, Берлин, 2002, 447–460.
- ^ a b c M.AO Vasilescu, D. Terzopoulos (2003) "Мультилинейный подпространственный анализ для ансамблей изображений, MAO Vasilescu, D. Terzopoulos, Proc. Computer Vision and Pattern Recognition Conf. (CVPR '03), Vol.2, Madison , Висконсин, июнь, 2003 г., стр. 93–99.
- ^ a b c М.АО Василеску, Д. Терзопулос (2004) «Тензорные текстуры: рендеринг на основе многолинейных изображений», МАО Василеску и Д. Терзопулос, Proc. Конференция ACM SIGGRAPH 2004 г. Лос-Анджелес, Калифорния, август 2004 г., in Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
- ^ a b М. А. О. Василеску, Д. Терзопулос (2005) «Многолинейный независимый компонентный анализ» , «Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'05), Сан-Диего, Калифорния, июнь 2005 г., том 1 , 547–553 ".
- ^ Lu, H .; Plataniotis, KN; Венецанопулос, АН (2008). «MPCA: полилинейный анализ главных компонент тензорных объектов» (PDF) . IEEE Trans. Neural Netw . 19 (1): 18–39. CiteSeerX 10.1.1.331.5543 . DOI : 10.1109 / tnn.2007.901277 . PMID 18269936 .
- ^ МАО Василеску, Д. Терзопулос (2003) "Многолинейный подпространственный анализ ансамблей изображений" , "Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'03), Мэдисон, Висконсин, июнь 2003 г."
- ^ Х. Лу, Х.-Л. Энг, М. Тида и К.Н. Платаниотис, « Визуализация и кластеризация массового видеоконтента в подпространстве MPCA », в материалах 19-й конференции ACM по управлению информацией и знаниями (CIKM 2010), Торонто, Онтарио, Канада, октябрь 2010 г.
- ^ Лу, Хайпин; Plataniotis, KN; Венецанопулос, АН (2011). «Обзор мультилинейного обучения подпространству тензорных данных» (PDF) . Распознавание образов . 44 (7): 1540–1551. DOI : 10.1016 / j.patcog.2011.01.004 .
- ^ а б Х. Лу, К. Н. Платаниотис и А. Н. Венетсанопулос, " Некоррелированный полилинейный анализ главных компонент для неконтролируемого полилинейного обучения подпространству ", IEEE Trans. Neural Netw., Т. 20, нет. 11. С. 1820–1836, ноябрь 2009 г.
- ^ H. Lu, KN Plataniotis А.Н. Venetsanopoulos, " Повышение дискриминантного Learners для Gait распознавания с помощью MPCA Особенности В архиве 2010-10-22 на Wayback Machine ", EURASIP журнал по обработке изображений и видео, Том 2009, Код статьи 713183, 11 страниц 2009. DOI : 10,1155 / 2009/713183 .
- ^ Y. Panagakis, C. Kotropoulos, GR Arce, "неотрицательный полилинейный анализ главных компонент слуховых временных модуляций для классификации музыкальных жанров", IEEE Trans. по обработке звука, речи и языка, т. 18, нет. 3. С. 576–588, 2010.
- ^ К. Иноуэ, К. Хара, К. Урахама, "Робастный полилинейный анализ главных компонент", Proc. Конференция IEEE по компьютерному зрению, 2009 г., стр. 591–597.
- ^ Хан, Сулейман А .; Леппяхо, Эмели; Каски, Сэмюэл (2016-06-10). «Байесовская мульти-тензорная факторизация». Машинное обучение . 105 (2): 233–253. arXiv : 1412,4679 . DOI : 10.1007 / s10994-016-5563-у . ISSN 0885-6125 .
Внешние ссылки
- Код Matlab : MPCA .
- Код Matlab : UMPCA (включая данные) .
- Код R: MTF