Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Видео или последовательность изображений, представленная в виде тензора третьего порядка столбца x строка x время для обучения полилинейному подпространству.

Мультилинейное подпространственное обучение - это подход к уменьшению размерности. [1] [2] [3] [4] [5] Уменьшение размерности может быть выполнено для тензора данных , наблюдения которого были векторизованы [1] и организованы в тензор данных, или чьи наблюдения представляют собой матрицы, которые объединены в данные тензор. [6] [7] Вот несколько примеров тензоров данных, чьи наблюдения векторизованы или чьи наблюдения представляют собой матрицы, объединенные в тензорные изображения данных (2D / 3D), видеопоследовательности (3D / 4D) и гиперспектральные кубы (3D / 4D).

Отображение векторного пространства большой размерности в набор векторных пространств меньшей размерности является полилинейной проекцией. [4] Когда наблюдения сохраняются в той же организационной структуре, что и датчик; в виде матриц или тензоров более высокого порядка их представления вычисляются путем выполнения N нескольких линейных проекций. [6]

Алгоритмы обучения полилинейных подпространств представляют собой обобщения более высокого порядка методов обучения линейных подпространств, таких как анализ главных компонентов (PCA), анализ независимых компонентов (ICA), линейный дискриминантный анализ (LDA) и канонический корреляционный анализ (CCA).

Фон [ править ]

С развитием сбора данных и технологии хранения , большие данные (или массовые наборы данных) генерируется на ежедневной основе в широком диапазоне новых приложений. Большинство этих больших данных многомерны. Более того, они обычно очень многомерны , с большой степенью избыточности и занимают только часть входного пространства. Поэтому уменьшение размерности часто используется для отображения данных большой размерности в пространство низкой размерности, сохраняя при этом как можно больше информации.

Алгоритмы обучения линейному подпространству - это традиционные методы уменьшения размерности, которые представляют входные данные в виде векторов и находят оптимальное линейное отображение в пространство меньшей размерности. К сожалению, они часто становятся неадекватными при работе с огромными многомерными данными. Они приводят к векторам очень большой размерности, приводят к оценке большого количества параметров. [1] [6] [7] [8] [9]

Мультилинейное обучение подпространству использует различные типы инструментов тензорного анализа данных для уменьшения размерности. Мультилинейное подпространственное обучение может применяться к наблюдениям, измерения которых были векторизованы и организованы в тензор данных [1], или измерения которых обрабатываются как матрица и объединяются в тензор. [10]

Алгоритмы [ править ]

Полилинейный анализ главных компонент [ править ]

Исторически сложилось так, что полилинейный анализ главных компонентов назывался «M-mode PCA» - терминология, которую ввел Петер Круненберг. [11] В 2005 году Василеску и Терзопулос ввели терминологию полилинейного PCA [12] как способ лучше различать полилинейные тензорные разложения, которые вычисляют статистику 2-го порядка, связанную с каждой модой (осью) тензора данных, [1] [2] [ 3] [13] [8] и последующая работа над мультилинейным анализом независимых компонентов [12], в котором вычислялась статистика более высокого порядка, связанная с каждой модой / осью тензора. MPCA - это расширение PCA .

Полилинейный анализ независимых компонентов [ править ]

Полилинейный независимый компонентный анализ [12] является расширением ICA .

Полилинейный линейный дискриминантный анализ [ править ]

  • Полилинейное расширение LDA
    • На основе TTP: дискриминантный анализ с тензорным представлением (DATER) [9]
    • На основе TTP: общий тензорный дискриминантный анализ (GTDA) [14]
    • На основе TVP: некоррелированный полилинейный дискриминантный анализ (UMLDA) [15]

Полилинейный канонический корреляционный анализ [ править ]

  • Полилинейное расширение ОСО
    • На основе TTP: тензорный канонический корреляционный анализ (TCCA) [16]
    • На основе TVP: мультилинейный канонический корреляционный анализ (MCCA) [17]
    • На основе TVP: байесовский полилинейный канонический корреляционный анализ (BMTF) [18]
  • TTP - это прямая проекция тензора большой размерности на тензор низкой размерности того же порядка с использованием N матриц проекции для тензора N- го порядка. Это может быть выполнено за N шагов, при этом на каждом шаге выполняется умножение тензорной матрицы (произведение). В N шагов взаимозаменяемы. [19] Эта проекция является расширением разложения по сингулярным значениям высшего порядка [19] (HOSVD) на обучение подпространству. [8] Следовательно, его происхождение восходит к разложению Таккера [20] в 1960-х годах.
  • TVP - это прямая проекция тензора большой размерности на вектор низкой размерности, который также называется проекциями первого ранга. Поскольку TVP проецирует тензор на вектор, его можно рассматривать как множественные проекции от тензора к скаляру. Таким образом, TVP тензора на P -мерный вектор состоит из P проекций тензора на скаляр. Проекция тензора на скаляр - это элементарная полилинейная проекция (ЭМП). В EMP тензор проецируется в точку через N единичных векторов проекции. Это проекция тензора на одну линию (в результате получается скаляр) с одним вектором проекции в каждой моде. Таким образом, TVP тензорного объекта к вектору в P -мерном векторном пространстве состоит из PЭМИ. Эта проекция является продолжением канонического разложения , [21] , также известным как параллельные факторы (PARAFAC) разложение. [22]

Типичный подход в MSL [ править ]

Есть N наборов параметров , которые необходимо решить, по одному в каждом режиме. Решение одного набора часто зависит от других наборов (за исключением случая, когда N = 1 , линейный случай). Поэтому соблюдается субоптимальная итерационная процедура из [23] .

  1. Инициализация проекций в каждом режиме
  2. Для каждого режима фиксация проекции во всех остальных режимах и решение для проекции в текущем режиме.
  3. Сделайте оптимизацию по режимам для нескольких итераций или до сходимости.

Это происходит из метода альтернативных наименьших квадратов для многофакторного анализа данных. [11]

Плюсы и минусы [ править ]

На этом рисунке сравнивается количество параметров, которые должны быть оценены для одинаковой степени уменьшения размерности с помощью векторно-векторной проекции (VVP), (т. Е. Линейной проекции) тензорно-векторной проекции (TVP) и тензорно-векторной проекции. тензорная проекция (ТТП). Для полилинейных проекций требуется гораздо меньше параметров, а полученные представления более компактны. (Эта цифра основана на Таблице 3 обзора [6] )

Преимущества MSL по сравнению с традиционным моделированием линейных подпространств в общих областях, где представление, естественно, несколько тензорно, таковы: [6] [7] [8] [9]

  • MSL сохраняет структуру и корреляцию, которые были у исходных данных до проекции, работая с естественным тензорным представлением многомерных данных.
  • MSL может изучать более компактные представления, чем его линейный аналог; Другими словами, необходимо оценить гораздо меньшее количество параметров. Таким образом, MSL может более эффективно обрабатывать большие тензорные данные, выполняя вычисления над представлением с гораздо меньшими измерениями. Это приводит к снижению потребности в вычислительных ресурсах.

Однако алгоритмы MSL являются итеративными и не гарантируют сходимость; там, где алгоритм MSL сходится, он может делать это с локальным оптимумом . (Напротив, традиционные методы линейного моделирования подпространств часто дают точное решение в замкнутой форме.) Проблемы сходимости MSL часто можно смягчить путем выбора подходящей размерности подпространства и соответствующих стратегий для инициализации, завершения и выбора порядка, в котором прогнозы решены. [6] [7] [8] [9]

Педагогические ресурсы [ править ]

  • Обзор : Обзор обучения мультилинейных подпространств для тензорных данных ( версия с открытым доступом ).
  • Лекция : Видеолекция по UMPCA на 25-й Международной конференции по машинному обучению (ICML 2008).

Код [ править ]

  • MATLAB Tensor Toolbox от Sandia National Laboratories .
  • Алгоритм MPCA, написанный на Matlab (включая MPCA + LDA) .
  • Алгоритм UMPCA, написанный на Matlab (включая данные) .
  • Алгоритм UMLDA, написанный на Matlab (данные включены) .

Наборы данных тензор [ править ]

  • 3D данные о походке (тензоры третьего порядка): 128x88x20 (21,2M) ; 64x44x20 (9.9M) ; 32x22x10 (3,2 м) ;

См. Также [ править ]

  • Разложение CP
  • Уменьшение размеров
  • Полилинейная алгебра
  • Мультилинейный анализ главных компонент
  • Тензор
  • Тензорная декомпозиция
  • Тензорное программное обеспечение
  • Разложение Таккера

Ссылки [ править ]

  1. ^ a b c d e M. AO Vasilescu, D. Terzopoulos (2003) «Мультилинейный подпространственный анализ ансамблей изображений» , «Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'03), Мэдисон, Висконсин, июнь, 2003 г. "
  2. ^ a b М. А. О. Василеску, Д. Терзопулос (2002) "Полилинейный анализ ансамблей изображений: TensorFaces" , Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г.
  3. ^ a b M. AO Vasilescu, (2002) «Сигнатуры движения человека: анализ, синтез, распознавание» , «Труды Международной конференции по распознаванию образов (ICPR 2002), том 3, Квебек, Канада, август 2002 г., стр. 456 –460 ».
  4. ^ a b Василеску, МАО; Терзопулос, Д. (2007). Мультилинейная проекция для распознавания по внешнему виду в тензорной структуре . 11-я Международная конференция IEEE по компьютерному зрению . С. 1–8. DOI : 10.1109 / ICCV.2007.4409067 ..
  5. ^ Лу, Хайпин; Plataniotis, KN; Венецанопулос, АН (2013). Мультилинейное подпространственное обучение: уменьшение размерности многомерных данных . Серия Chapman & Hall / CRC Press Машинное обучение и распознавание образов. Тейлор и Фрэнсис. ISBN 978-1-4398572-4-3.
  6. ^ a b c d e f Лу, Хайпин; Plataniotis, KN; Венецанопулос, АН (2011). «Обзор мультилинейного обучения подпространству тензорных данных» (PDF) . Распознавание образов . 44 (7): 1540–1551. DOI : 10.1016 / j.patcog.2011.01.004 .
  7. ^ a b c d X. Он, Д. Цай, П. Нийоги, Тензорный анализ подпространств , в: Достижения в системах обработки нейронной информацииsc 18 (NIPS), 2005.
  8. ^ a b c d e Х. Лу, К. Н. Платаниотис и А. Н. Венетсанопулос, " MPCA: полилинейный анализ главных компонент тензорных объектов ", IEEE Trans. Neural Netw., Т. 19, нет. 1. С. 18–39, январь 2008 г.
  9. ^ a b c d С. Ян, Д. Сюй, К. Ян, Л. Чжан, X. Тан, Х.-Дж. Чжан, Дискриминантный анализ с тензорным представлением , Proc. Конференция IEEE по компьютерному зрению и распознаванию образов , вып. I, июнь 2005 г., стр. 526–532.
  10. ^ «Будущие направления в тензорных вычислениях и моделировании» (PDF) . Май 2009 г.
  11. ^ a b П. М. Крооненберг и Дж. де Леу, Анализ главных компонентов трехрежимных данных с помощью алгоритмов альтернативных наименьших квадратов , Психометрика, 45 (1980), стр. 69–97.
  12. ^ a b c М. А.О. Василеску, Д. Терзопулос (2005) «Многолинейный независимый компонентный анализ» , «Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR'05), Сан-Диего, Калифорния, июнь 2005 г., т. 1, 547–553 ".
  13. ^ МАО Василеску, Д. Терзопулос (2004) «Тензорные текстуры: рендеринг на основе многолинейных изображений», МАО Василеску и Д. Терзопулос, Proc. Конференция ACM SIGGRAPH 2004 г. Лос-Анджелес, Калифорния, август 2004 г., in Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
  14. ^ D. Tao, X. Li, X. Wu и SJ Maybank, " Общий тензорный дискриминантный анализ и особенности габора для распознавания походки ", IEEE Trans. Pattern Anal. Мах. Intell., Т. 29, нет. 10. С. 1700–1715, октябрь 2007 г.
  15. ^ Х. Лу, К. Н. Платаниотис и А. Н. Венетсанопулос, « Некоррелированный полилинейный дискриминантный анализ с регуляризацией и агрегацией для распознавания тензорных объектов », IEEE Trans. Neural Netw., Т. 20, нет. 1. С. 103–123, январь 2009 г.
  16. ^ Т.-К. Ким и Р. Чиполла. « Канонический корреляционный анализ тензоров объема видео для категоризации и обнаружения действий », IEEE Trans. Pattern Anal. Мах. Intell., Т. 31, нет. 8. С. 1415–1428, 2009.
  17. ^ Х. Лу, « Изучение канонических корреляций парных тензорных множеств с помощью тензорно-векторной проекции », Труды 23-й Международной совместной конференции по искусственному интеллекту (IJCAI 2013), Пекин, Китай, 3–9 августа 2013 г.
  18. ^ Хан, Сулейман А .; Каски, Самуэль (2014-09-15). Колдерс, Мультяшный; Эспозито, Флориана; Hüllermeier, Eyke; Мео, Роза (ред.). Машинное обучение и открытие знаний в базах данных . Конспект лекций по информатике. Springer Berlin Heidelberg. С. 656–671. DOI : 10.1007 / 978-3-662-44848-9_42 . ISBN 9783662448472.
  19. ^ а б Л.Д. Латхауэр, Б.Д. Моор, Дж. Вандевалль, Полилинейное разложение по сингулярным числам , SIAM Journal of Matrix Analysis and Applications vol. 21, нет. 4. С. 1253–1278, 2000.
  20. ^ Ледьярд R Tucker (сентябрь 1966). «Некоторые математические заметки по трехрежимному факторному анализу». Психометрика . 31 (3): 279–311. DOI : 10.1007 / BF02289464 . PMID 5221127 . 
  21. ^ JD Кэрролл и Дж. Чанг (1970). «Анализ индивидуальных различий в многомерном масштабировании с помощью n- стороннего обобщения разложения Эккарта – Юнга». Психометрика . 35 (3): 283–319. DOI : 10.1007 / BF02310791 .
  22. ^ RA Harshman, Основы процедуры PARAFAC: модели и условия для «объяснительного» многомодального факторного анализа. Архивировано 10 октября 2004 г. в Wayback Machine . Рабочие документы UCLA по фонетике, 16, стр. 1–84, 1970.
  23. ^ LD Lathauwer, BD Moor, J. Vandewalle, О наилучшей аппроксимации ранга-1 и ранга- (R1, R2, ..., RN) тензоров высшего порядка , SIAM Journal of Matrix Analysis and Applications 21 (4) ( 2000) 1324–1342.