В математике произведение Кронекера , иногда обозначаемое буквой, [1], представляет собой операцию над двумя матрицами произвольного размера, приводящую к блочной матрице . Это обобщение внешнего произведения (которое обозначается тем же символом) от векторов до матриц, и дает матрицу тензорного произведения относительно стандартного выбора базиса . Произведение Кронекера следует отличать от обычного матричного умножения , которое представляет собой совершенно другую операцию. Произведение Кронекера также иногда называют матричным прямым произведением. [2]
Произведение Кронекера названо в честь немецкого математика Леопольда Кронекера (1823–1891), хотя есть мало свидетельств того, что он был первым, кто определил и использовал его. Произведение Кронекера также называют матрицей Зефусса в честь Иоганна Георга Зефусса , который в 1858 году описал эту матричную операцию, но произведение Кронекера в настоящее время является наиболее широко используемым. [3]
Определение [ править ]
Если A - матрица размера m × n, а B - матрица размера p × q , то произведение Кронекера A ⊗ B - это блочная матрица pm × qn :
более подробно:
Используя и для обозначения усечения целочисленного деления и остатка , соответственно, и нумерации элементов матрицы, начиная с 0, получаем и Для обычной нумерации, начиная с 1, получаем и
Если A и B представляют собой линейные преобразования V 1 → W 1 и V 2 → W 2 , соответственно, то A ⊗ B представляет собой тензорное произведение двух отображений, V 1 ⊗ V 2 → W 1 ⊗ W 2 .
Примеры [ править ]
По аналогии:
Свойства [ править ]
Связь с другими матричными операциями [ править ]
- Билинейность и ассоциативность :
Произведение Кронекера является частным случаем тензорного произведения , поэтому оно билинейно и ассоциативно :
- Non- коммутативной :
В общем случае A ⊗ B и B ⊗ A - разные матрицы. Однако A ⊗ B и B ⊗ A эквивалентны перестановкам, что означает, что существуют матрицы перестановок P и Q такие, что [4]
Если и В квадратные матрицы, то ⊗ B и B ⊗ даже перестановки похожи , а это означает , что мы можем взять P = Q T .
Матрицы P и Q являются матрицами идеального тасования. [5] Идеальная матрица перетасовки S p, q может быть построена путем взятия срезов единичной матрицы I r , где .
Обозначение двоеточия MATLAB используется здесь для обозначения подматриц, а I r - это единичная матрица размера r × r . Если и , то
- Свойство смешанного продукта:
Если A , B , C и D - матрицы такого размера, что можно сформировать матричные произведения AC и BD , то
Это называется свойством смешанного произведения , потому что оно смешивает обычное матричное произведение и произведение Кронекера.
Как непосредственное следствие,
- .
В частности, используя свойство transpose снизу, это означает, что если
- Произведение Адамара (поэлементное умножение):
Свойство смешанного продукта также работает для поэлементного продукта. Если A и C - матрицы одного размера, B и D - матрицы одного размера, то
- Обратное произведение Кронекера:
Отсюда следует , что ⊗ B является обратимым тогда и только тогда , когда оба и B обратимы, причем в этом случае обратный даются
Обратима свойство продукта имеет место для псевдообратных Мура-Пенроуза , а также, [6] , что является
На языке теории категорий свойство смешанного произведения продукта Кронекера (и более общего тензорного произведения) показывает, что категория Mat F матриц над полем F на самом деле является моноидальной категорией с натуральными числами объектов n , морфизмами n → m - матрицы размером n на m с элементами в F , композиция задается умножением матриц, единичные стрелки - это просто единичные матрицы размера n × n I n , а тензорное произведение дается произведением Кронекера. [7]
Mat F представляет собой конкретную каркасную категорию для эквивалентной категории FinVect F конечномерных векторных пространств над F , объектами которой являются такие конечномерные векторные пространства V , стрелки - это F- линейные отображения L : V → W , а тождественные стрелки - это тождественные отображения пространств. Эквивалентность категорий сводится к одновременному выбору базиса в конечномерном векторном пространстве V над F; элементы матриц представляют собой эти отображения относительно выбранных баз; и аналогично произведение Кронекера является представлением тензорного произведения в выбранных базисах. - Транспонировать :
Транспозиция и сопряженная транспозиция распространяются по продукту Кронекера:
- и
- Определитель :
Пусть A - матрица размера n × n, а B - матрица размера m × m . потом
- Сумма Кронекера и возведение в степень :
Если A имеет размер n × n , B имеет размер m × m и I k обозначает единичную матрицу k × k, то мы можем определить то, что иногда называют суммой Кронекера , ⊕, как
Это отличается от прямой суммы двух матриц. Эта операция связана с тензорным произведением на алгебрах Ли .
У нас есть следующая формула для матричной экспоненты , которая полезна при некоторых численных вычислениях. [8]
Суммы Кронекера естественным образом возникают в физике при рассмотрении ансамблей невзаимодействующих систем . [ необходимая цитата ] Пусть H i - гамильтониан i- й такой системы. Тогда полный гамильтониан ансамбля равен
- .
Абстрактные свойства [ править ]
- Спектр :
Предположим, что A и B - квадратные матрицы размера n и m соответственно. Пусть λ 1 , ..., Л п быть в собственные значения из A и μ 1 , ..., μ м те из B (перечислены в соответствии с кратностью ). Тогда собственные значения из A ⊗ B являются
Отсюда следует, что след и определитель произведения Кронекера задаются формулами
- Особые значения :
Если A и B - прямоугольные матрицы, то можно рассматривать их сингулярные значения . Предположим, что A имеет r A ненулевых особых значений, а именно
Аналогично обозначим ненулевые особые значения B через
Тогда произведение Кронекера A ⊗ B имеет r A r B ненулевых особых значений, а именно
Поскольку ранг матрицы равен количеству ненулевых сингулярных значений, мы находим, что
- Отношение к абстрактному тензорному произведению :
Кронекеровское произведение матриц соответствует абстрактному тензорному произведению линейных отображений. В частности, если векторные пространства V , W , X и Y имеют базы { v 1 , ..., v m }, { w 1 , ..., w n }, { x 1 , ..., x d } и { y 1 , ..., y e } соответственно, и если матрицы A и B представляют линейные преобразованияS : V → X и T : W → Y соответственно в соответствующих базисах, то матрица A ⊗ B представляет собой тензорное произведение двух отображений S ⊗ T : V ⊗ W → X ⊗ Y относительно базиса { v 1 ⊗ вес 1 , v 1 ⊗ вес 2 , ..., v 2 ⊗ вес 1 , ..., v м⊗ ш п } из V ⊗ W и аналогично определенной основе X ⊗ Y со свойством , что ⊗ B ( v я ⊗ ш J ) = ( Ав я ) ⊗ ( Bw J ) , где я и J являются целыми числами в правильный диапазон. [9]
Когда V и W являются алгебры Ли и S : V → V и Т : W → W являются Ли гомоморфизмы , сумма Кронекера А и В представляет собой индуцируемые алгебра гомоморфизмы V ⊗ W → V ⊗ W . - Отношение к продуктам из графиков :Кронекеровское произведение матриц смежности двух графов является матрицей смежности графа тензорного произведения . Сумма Кронекера матриц смежности двух графов является матрицей смежности графа декартового произведения . [10]
Матричные уравнения [ править ]
Произведение Кронекера можно использовать для получения удобного представления для некоторых матричных уравнений. Рассмотрим, например, уравнение AXB = C , где A , B и C - заданные матрицы, а матрица X - неизвестное. Мы можем использовать "vec-трюк", чтобы переписать это уравнение как
Здесь vec ( X ) обозначает векторизацию матрицы X, сформированную путем объединения столбцов X в один вектор-столбец .
Теперь из свойств произведения Кронекера следует, что уравнение AXB = C имеет единственное решение тогда и только тогда, когда A и B неособые ( Horn & Johnson 1991 , лемма 4.3.1).
Если X и C упорядочены по строкам в векторах-столбцах u и v , соответственно, то ( Jain 1989 , 2.8 Block Matrices and Kronecker Products)
Причина в том, что
Приложения [ править ]
Пример применения этой формулы можно найти в статье об уравнении Ляпунова . Эта формула также пригодится, чтобы показать, что нормальное матричное распределение является частным случаем многомерного нормального распределения . Эта формула также полезна для представления операций обработки 2D- изображений в матрично-векторной форме.
Другой пример: когда матрица может быть разложена на множители как произведение Адамара , умножение матриц может выполняться быстрее с использованием приведенной выше формулы. Это можно применить рекурсивно, как это сделано в БПФ с основанием 2 и быстром преобразовании Уолша-Адамара . Разделение известной матрицы на произведение Адамара двух меньших матриц известно как проблема «ближайшего произведения Кронекера» и может быть решена точно [11] с помощью SVD . Оптимальное разделение матрицы на произведение Адамара, состоящее из более чем двух матриц, является сложной задачей и предметом текущих исследований; некоторые авторы называют это проблемой разложения на тензор. [12] [13]
В сочетании с методом наименьших квадратов продукт Кронекера можно использовать в качестве точного решения проблемы калибровки глаза вручную . [14]
Связанные матричные операции [ редактировать ]
Двумя связанными матричными операциями являются произведения Трейси – Сингха и Катри – Рао , которые работают с разбитыми матрицами . Пусть т × п матрица А быть разделены на м I × п J блоки IJ и р × д матрица B в р к × д л блоки B ого , конечно с Е я м я = м , Σ Jn j = n , Σ k p k = p и Σ ℓ q ℓ = q .
Продукт Трейси-Сингх [ править ]
Произведение Трейси – Сингха определяется как [15] [16]
что означает, что ( ij ) -й подблок продукта mp × nq A B является матрицей A ij B размером m i p × n j q , из которой ( kℓ ) -й подблок равен m i p k × n j q ℓ матрица A ij ⊗ B kℓ . По сути, произведение Трэйси – Сингха - это попарное произведение Кронекера для каждой пары разбиений в двух матрицах.
Например, если A и B являются матрицами с разбиением 2 × 2, например:
мы получили:
Продукт Катри – Рао [ править ]
- Блокировать продукт Кронекера
- По столбцам произведение Хатри – Рао
Продукт для разделения лиц [ править ]
Свойства смешанных продуктов
- , [17]
где обозначает грань-расщепляющее произведение
- , [18] [19]
По аналогии:
- ,
- , [20]
где и - векторы ,
- , [21]
где и - векторы , обозначает произведение Адамара
По аналогии:
- ,
где - векторная свертка и - матрица преобразования Фурье (этот результат является развитием свойств скетча счетчика [22] ),
- , [18] [19]
где обозначает произведение Хатри – Рао по столбцам .
По аналогии:
- ,
- , где и - векторы
См. Также [ править ]
- Обобщенная модель линейного массива
- Коэффициент Кронекера
Примечания [ править ]
- ^ «Полный список символов алгебры» . Математическое хранилище . 2020-03-25 . Проверено 6 сентября 2020 .
- ^ Вайсштейн, Эрик В. "Продукт Кронекера" . mathworld.wolfram.com . Проверено 6 сентября 2020 .
- ^ Zehfuss, G. (1858). "Ueber eine gewisse Determinante" . Zeitschrift für Mathematik und Physik . 3 : 298–301.
- ^ Хендерсон, HV; Серл, SR (1980). «Матрица векторных перестановок, вектор векторов и произведения Кронекера: обзор» (PDF) . Линейная и полилинейная алгебра . 9 (4): 271–288. DOI : 10.1080 / 03081088108817379 . hdl : 1813/32747 .
- Перейти ↑ Van Loan, Charles F. (2000). «Вездесущий продукт Кронекера» . Журнал вычислительной и прикладной математики . 123 (1–2): 85–100. Bibcode : 2000JCoAM.123 ... 85L . DOI : 10.1016 / s0377-0427 (00) 00393-9 .
- ^ Лэнгвилл, Эми Н .; Стюарт, Уильям Дж. (1 июня 2004 г.). «Произведение Кронекера и сети стохастических автоматов» . Журнал вычислительной и прикладной математики . 167 (2): 429–447. Bibcode : 2004JCoAM.167..429L . DOI : 10.1016 / j.cam.2003.10.010 .
- ^ МакЭдо, Хьюго Даниэль; Оливейра, Хосе Нуно (2013). "Набор линейной алгебры: двупродукт-ориентированный подход". Наука компьютерного программирования . 78 (11): 2160–2191. arXiv : 1312.4818 . Bibcode : 2013arXiv1312.4818M . CiteSeerX 10.1.1.747.2083 . DOI : 10.1016 / j.scico.2012.07.012 . S2CID 9846072 .
- Перейти ↑ Brewer, JW (1969). «Заметка о матричных произведениях Кронекера и системах матричных уравнений». Журнал SIAM по прикладной математике . 17 (3): 603–606. DOI : 10.1137 / 0117057 .
- ^ Даммит, Дэвид С .; Фут, Ричард М. (1999). Абстрактная алгебра (2-е изд.). Нью-Йорк: Джон Уайли и сыновья. С. 401–402. ISBN 978-0-471-36857-1.
- ^ См. Knuth, DE "Pre-Fascicle 0a: Introduction to Combinatorial Algorithms" (нулевая печать, редакция 2-го издания). ответ на упражнение 96,появиться как часть Knuth, DE Искусство компьютерного программирования . 4А .
- ^ Ван Лоан, C .; Пицианис, Н. (1992). Аппроксимация произведениями Кронекера . Итака, Нью-Йорк: Издательство Корнельского университета.
- ^ Король Keung В; Ям, Йунг; Мэн, Хелен; Месбахи, Мехран (2016). «Аппроксимация произведения Кронекера с многофакторными матрицами с помощью алгоритма тензорного произведения». 2016 IEEE Международная конференция по системам, Человек и кибернетика (SMC) . С. 004277–004282. DOI : 10.1109 / SMC.2016.7844903 . ISBN 978-1-5090-1897-0. S2CID 30695585 .
- ^ Дантас, Кассио Ф .; Коэн, Джереми Э .; Грибонваль, Реми (2018). «Изучение быстрых словарей для разреженных представлений с использованием тензорных разложений низкого ранга» . Скрытый анализ переменных и разделение сигналов (PDF) . Конспект лекций по информатике. 10891 . С. 456–466. DOI : 10.1007 / 978-3-319-93764-9_42 . ISBN 978-3-319-93763-2.
- ^ Ли, Алго; и другие. (4 сентября 2010 г.). «Одновременная калибровка мира роботов и глаз-руки с использованием двойных кватернионов и продукта Кронекера» (PDF) . Международный журнал физических наук . 5 (10): 1530–1536.
- ^ Трейси, DS; Сингх, Р.П. (1972). «Новый матричный продукт и его приложения в матричном дифференцировании». Statistica Neerlandica . 26 (4): 143–157. DOI : 10.1111 / j.1467-9574.1972.tb00199.x .
- ^ Лю, С. (1999). «Матричные результаты для произведений Катри – Рао и Трейси – Сингха» . Линейная алгебра и ее приложения . 289 (1–3): 267–277. DOI : 10.1016 / S0024-3795 (98) 10209-4 .
- ^ Слюсарь, VI (1998) [27 декабря 1996]. «Конечные продукты в матрицах в радиолокационных приложениях» (PDF) . Радиоэлектроника и системы связи . 41 (3): 50–53.
- ^ а б Слюсарь В.И. (13 марта 1998 г.). «Семейство граней произведений матриц и его свойства» (PDF) . Кибернетика и системный анализ. C / C Кибернетика и Системный анализ. 1999 . 35 (3): 379–384. DOI : 10.1007 / BF02733426 . S2CID 119661450 .
- ^ a b Слюсарь, Вадим (1999). «Новые матричные операции для DSP» (самоизданная лекция). doi : 10.13140 / RG.2.2.31620.76164 / 1 - через Research Gate.
- ^ Слюсарь, В. И. (1997-09-15). Новые операции произведения матриц для приложений радаров (PDF) . Прямые и обратные задачи теории электромагнитных и акустических волн (ДИПЭД-97), Львов. С. 73–74.
- ^ Ахле, Томас Дибдал; Кнудсен, Якоб Бак Тейс (2019-09-03). «Почти оптимальный тензорный скетч» . arXiv : 1909.01821 .
- ^ Нинь, Фам; Расмус, Паг (2013). Быстрые и масштабируемые полиномиальные ядра с помощью явных карт функций . Международная конференция SIGKDD по обнаружению знаний и интеллектуальному анализу данных. Ассоциация вычислительной техники. DOI : 10.1145 / 2487575.2487591 .
Ссылки [ править ]
- Хорн, Роджер А .; Джонсон, Чарльз Р. (1991). Темы матричного анализа . Издательство Кембриджского университета. ISBN 978-0-521-46713-1.
- Джайн, Анил К. (1989). Основы цифровой обработки изображений . Прентис Холл. Bibcode : 1989fdip.book ..... J . ISBN 978-0-13-336165-0.
- Стиб, Вилли-Ханс (1997). Матричное исчисление и произведение Кронекера с приложениями и программами на C ++ . Мировое научное издательство. ISBN 978-981-02-3241-2.
- Стиб, Вилли-Ханс (2006). Проблемы и решения во вводном и расширенном матричном исчислении . Мировое научное издательство. ISBN 978-981-256-916-5.
Внешние ссылки [ править ]
- «Тензорное произведение» , Энциклопедия математики , EMS Press , 2001 [1994]
- «Произведение Кронекера» . PlanetMath .
- «Произведение Кронекера» . MathWorld .
- «Новые проблемы продукта Кронекера» (PDF) .
- «Раннее использование» . Запись матриц Кронекера, Зефусса или прямого произведения содержит историческую информацию.
- вычислить произведение Кронекера двух матриц . SourceForge (общий исходный код C ++ и Fortran 90). 2015-06-27.
- «Произведение Кронекера» . RosettaCode.org . 31 декабря 2020 . Проверено 13 января 2021 . Источник программного обеспечения на более чем 40 языках.