Матричная норма

В математике , А матрица норма является нормой вектора в векторном пространстве, элементы которого (векторы) являются матрицы (заданных размеров).

Определение [ править ]

Учитывая поле либо реальный или комплексных числа , и векторного пространства всех матриц размера (с строками и столбцами) с записями в поле , матрица норма является нормой на векторном пространстве (с отдельными нормами обозначаться с использованием двойных вертикальных полос например ^[1] ). Таким образом, матричная норма - это функция, которая должна удовлетворять следующим свойствам: ^{[2] [3]}${\ displaystyle K}$ ${\ Displaystyle К ^ {м \ раз п}}$${\ Displaystyle м \ раз п}$${\ displaystyle m}$${\ displaystyle n}$${\ displaystyle K}$${\ Displaystyle К ^ {м \ раз п}}$${\ Displaystyle \ | А \ |}$ ${\ Displaystyle \ | \ cdot \ |: K ^ {m \ times n} \ to \ mathbb {R}}$

Для всех скаляров и для всех матриц ,${\ displaystyle \ alpha \ in K}$${\ Displaystyle А, В \ в К ^ {т \ раз п}}$

• ${\ Displaystyle \ | \ альфа А \ | = | \ альфа | \ | А \ |}$(будучи абсолютно однородным )
• ${\ Displaystyle \ | А + В \ | \ Leq \ | А \ | + \ | В \ |}$( субаддитивный или удовлетворяющий неравенству треугольника )
• ${\displaystyle \|A\|\geq 0}$(с положительной оценкой )
• ${\displaystyle \|A\|=0\iff A=0_{m,n}}$(будучи определенным )

Кроме того, в случае квадратных матриц (матриц с m = n ) некоторые (но не все) нормы матриц удовлетворяют следующему условию, которое связано с тем фактом, что матрицы - это больше, чем просто векторы: ^[2]

• ${\displaystyle \|AB\|\leq \|A\|\|B\|}$для всех матриц и в${\displaystyle A}$${\displaystyle B}$${\displaystyle K^{n\times n}.}$

Матричная норма, удовлетворяющая этому дополнительному свойству, называется субмультипликативной нормой ^{[4] [3]} (в некоторых книгах терминологическая матричная норма используется только для тех норм, которые являются субмультипликативными ^[5] ). Набор всех матриц вместе с такой субмультипликативной нормой является примером банаховой алгебры .${\displaystyle n\times n}$

Определение субмультипликативности иногда расширяют на неквадратные матрицы, как в случае индуцированной p -нормы, где для и выполняется . Здесь и - нормы, индуцированные из и , соответственно, где p , q ≥ 1 .${\displaystyle A\in {K}^{m\times n}}$${\displaystyle B\in {K}^{n\times k}}$${\displaystyle \|AB\|_{q}\leq \|A\|_{p}\|B\|_{q}}$${\displaystyle \|\cdot \|_{p}}$${\displaystyle \|\cdot \|_{q}}$${\displaystyle K^{p}}$${\displaystyle K^{q}}$

Ниже мы рассмотрим три типа матричных норм:

• Матричные нормы, индуцированные векторными нормами,
• Поэлементные матричные нормы, и
• Нормы Шаттена.

Матричные нормы, индуцированные векторными нормами [ править ]

Предположим, что задана векторная норма на . Любая матрица A индуцирует линейный оператор от до относительно стандартного базиса, и каждый определяет соответствующую индуцированную норму или операторную норму на пространстве всех матриц следующим образом:${\displaystyle \|\cdot \|}$${\displaystyle K^{m}}$${\displaystyle m\times n}$${\displaystyle K^{n}}$${\displaystyle K^{m}}$${\displaystyle K^{m\times n}}$${\displaystyle m\times n}$

${\displaystyle {\begin{aligned}\|A\|&=\sup\{\|Ax\|:x\in K^{n}{\text{ with }}\|x\|=1\}\\&=\sup \left\{{\frac {\|Ax\|}{\|x\|}}:x\in K^{n}{\text{ with }}x\neq 0\right\}.\end{aligned}}}$

В частности, если p -норма для векторов ( 1 ≤ p ≤ ∞ ) используется для обоих пространств и , то соответствующая индуцированная операторная норма равна: ^[3]${\displaystyle K^{n}}$${\displaystyle K^{m}}$

${\displaystyle \|A\|_{p}=\sup _{x\neq 0}{\frac {\|Ax\|_{p}}{\|x\|_{p}}}.}$

Эти индуцированные нормы отличаются от «entrywise» р -норма и Шаттен р -норма для матриц , обработанный ниже, которые также обычно обозначаются${\displaystyle \|A\|_{p}.}$

Примечание. Приведенное выше описание относится к индуцированной норме оператора, когда одна и та же векторная норма использовалась в «пространстве вылета» и «пространстве прибытия» оператора . Это необязательное ограничение. В более общем смысле, учитывая норму на и норму на , можно определить матричную норму на, индуцированную этими нормами:${\displaystyle K^{n}}$${\displaystyle K^{m}}$${\displaystyle A\in K^{m\times n}}$${\displaystyle \|\cdot \|_{\alpha }}$${\displaystyle K^{n}}$${\displaystyle \|\cdot \|_{\beta }}$${\displaystyle K^{m}}$${\displaystyle K^{m\times n}}$

${\displaystyle \|A\|_{\alpha ,\beta }=\max _{x\neq 0}{\frac {\|Ax\|_{\beta }}{\|x\|_{\alpha }}}.}$

Матричную норму иногда называют подчиненной нормой. Подчиненные нормы согласуются с нормами, которые их побуждают, давая${\displaystyle \|A\|_{\alpha ,\beta }}$

${\displaystyle \|Ax\|_{\beta }\leq \|A\|_{\alpha ,\beta }\|x\|_{\alpha }.}$

Любая индуцированная операторная норма является субмультипликативной матричной нормой: это следует из${\displaystyle \|AB\|\leq \|A\|\|B\|;}$

${\displaystyle \|ABx\|\leq \|A\|\|Bx\|\leq \|A\|\|B\|\|x\|}$

а также

${\displaystyle \max _{\|x\|=1}\|ABx\|=\|AB\|.}$

Более того, любая индуцированная норма удовлетворяет неравенству

${\displaystyle \|A^{r}\|^{1/r}\geq \rho (A)\quad }$ ( 1 )

для всех положительных целых чисел г , где ρ ( ) является спектральным радиусом из A . Для симметричного или эрмитовых А , мы имеем равенство в ( 1 ) для 2-нормы, так как в этом случае 2-норма является именно спектральным радиусом А . Для произвольной матрицы у нас может не быть равенства ни по одной норме; контрпример был бы

${\displaystyle A={\begin{bmatrix}0&1\\0&0\end{bmatrix}},}$

имеющий нулевой спектральный радиус. В любом случае для квадратных матриц мы имеем формулу спектрального радиуса :

${\displaystyle \lim _{r\to \infty }\|A^{r}\|^{1/r}=\rho (A).}$

Особые случаи [ править ]

В частных случаях индуцированные матричные нормы могут быть вычислены или оценены с помощью${\displaystyle p=1,2,\infty ,}$

${\displaystyle \|A\|_{1}=\max _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|,}$

это просто максимальная абсолютная сумма столбцов матрицы;

${\displaystyle \|A\|_{\infty }=\max _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|,}$

которая является просто максимальной абсолютной суммой строк матрицы;

${\displaystyle \|A\|_{2}=\sigma _{\max }(A),}$

где представляет собой наибольшее сингулярное значение матрицы . Для корпуса есть важное неравенство :${\displaystyle \sigma _{\max }(A)}$${\displaystyle A}$${\displaystyle p=2}$

${\displaystyle \|A\|_{2}=\sigma _{\max }(A)\leq \|A\|_{\rm {F}}=\left(\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}\right)^{\frac {1}{2}},}$

где - норма Фробениуса . Равенство имеет место тогда и только тогда, когда матрица является матрицей ранга один или нулевой матрицей. Это неравенство можно вывести из того факта, что след матрицы равен сумме ее собственных значений.${\displaystyle \|A\|_{\rm {F}}}$${\displaystyle A}$

Когда у нас есть эквивалентное определение as . Его эквивалентность приведенным выше определениям можно показать с помощью неравенства Коши – Шварца .${\displaystyle p=2}$${\displaystyle \|A\|_{2}}$${\displaystyle \sup\{x^{T}Ay:x,y\in K^{n}{\text{ with }}\|x\|_{2}=\|y\|_{2}=1\}}$

Например, для

${\displaystyle A={\begin{bmatrix}-3&5&7\\2&6&4\\0&2&8\\\end{bmatrix}},}$

у нас есть это

${\displaystyle \|A\|_{1}=\max(|{-3}|+2+0;5+6+2;7+4+8)=\max(5,13,19)=19,}$

${\displaystyle \|A\|_{\infty }=\max(|{-3}|+5+7;2+6+4;0+2+8)=\max(15,12,10)=15.}$

В частном случае ( евклидова норма или -норма для векторов) индуцированная матричная норма является спектральной нормой . Спектральная норма матрицы является самым большим сингулярным значением из (то есть, на квадратный корень из наибольшего собственного значения матрицы , где обозначает сопряженное транспонирование о ): ^[6]${\displaystyle p=2}$${\displaystyle \ell _{2}}$${\displaystyle A}$${\displaystyle A}$${\displaystyle A^{*}A}$${\displaystyle A^{*}}$${\displaystyle A}$

${\displaystyle \|A\|_{2}={\sqrt {\lambda _{\max }\left(A^{*}A\right)}}=\sigma _{\max }(A).}$

В этом случае, поскольку и аналогично методом сингулярного разложения (SVD).${\displaystyle \|A^{*}A\|_{2}=\|AA^{*}\|_{2}=\|A\|_{2}^{2}}$${\displaystyle \|A^{*}A\|_{2}=\sigma _{\max }(A^{*}A)=\sigma _{\max }(A)^{2}=\|A\|_{2}^{2}}$${\displaystyle \|AA^{*}\|_{2}=\|A\|_{2}^{2}}$

Матричные нормы "Entrywise" [ править ]

Эти нормы рассматривают матрицу как вектор размера и используют одну из знакомых векторных норм. Например, используя p -норму для векторов, p ≥ 1 , получаем:${\displaystyle m\times n}$${\displaystyle m\cdot n}$

${\displaystyle \|A\|_{p,p}=\|\mathrm {vec} (A)\|_{p}=\left(\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}\right)^{1/p}}$

Эта норма отличается от индуцированной p -нормы (см. Выше) и p -нормы Шаттена (см. Ниже), но обозначения те же.

Частный случай p = 2 - это норма Фробениуса, а p = ∞ дает максимальную норму.

L _2,1 и L _{p, q} нормы [ править ]

Позвольте быть столбцы матрицы . Норма ^[7] является суммой евклидовых норм столбцов матрицы:${\displaystyle (a_{1},\ldots ,a_{n})}$${\displaystyle A}$${\displaystyle L_{2,1}}$

${\displaystyle \|A\|_{2,1}=\sum _{j=1}^{n}\|a_{j}\|_{2}=\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{2}\right)^{\frac {1}{2}}}$

Норма в качестве функции ошибки является более надежной, так как ошибка для каждой точки данных (столбец) не квадрат. Он используется для надежного анализа данных и разреженного кодирования .${\displaystyle L_{2,1}}$

Для р , д ≥ 1 , то норма может быть обобщена на норму следующим образом :${\displaystyle L_{2,1}}$${\displaystyle L_{p,q}}$

${\displaystyle \|A\|_{p,q}=\left(\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{p}\right)^{\frac {q}{p}}\right)^{\frac {1}{q}}.}$

Норма Фробениуса [ править ]

Когда для нормы p = q = 2 , это называется нормой Фробениуса или нормой Гильберта – Шмидта , хотя последний термин чаще используется в контексте операторов в (возможно, бесконечномерном) гильбертовом пространстве . Эту норму можно определить по-разному:${\displaystyle L_{p,q}}$

${\displaystyle \|A\|_{\text{F}}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}}}={\sqrt {\operatorname {trace} \left(A^{*}A\right)}}={\sqrt {\sum _{i=1}^{\min\{m,n\}}\sigma _{i}^{2}(A)}},}$

где являются особыми значениями из . Напомним, что функция трассировки возвращает сумму диагональных элементов квадратной матрицы.${\displaystyle \sigma _{i}(A)}$${\displaystyle A}$

Норма Фробениуса является расширением евклидовой нормы и происходит от внутреннего произведения Фробениуса на пространстве всех матриц.${\displaystyle K^{n\times n}}$

Норма Фробениуса является субмультипликативной и очень полезна для числовой линейной алгебры . Субмультипликативность нормы Фробениуса можно доказать с помощью неравенства Коши – Шварца .

Норму Фробениуса часто легче вычислить, чем индуцированную норму, и она обладает полезным свойством инвариантности относительно вращений (и унитарных операций в целом). То есть для любой унитарной матрицы . Это свойство следует из циклического характера trace ( ):${\displaystyle \|A\|_{\text{F}}=\|AU\|_{\text{F}}=\|UA\|_{\text{F}}}$${\displaystyle U}$${\displaystyle \operatorname {trace} (XYZ)=\operatorname {trace} (ZXY)}$

${\displaystyle \|AU\|_{\text{F}}^{2}=\operatorname {trace} \left((AU)^{*}AU\right)=\operatorname {trace} \left(U^{*}A^{*}AU\right)=\operatorname {trace} \left(UU^{*}A^{*}A\right)=\operatorname {trace} \left(A^{*}A\right)=\|A\|_{\text{F}}^{2},}$

и аналогично:

${\displaystyle \|UA\|_{\text{F}}^{2}=\operatorname {trace} \left((UA)^{*}UA\right)=\operatorname {trace} \left(A^{*}U^{*}UA\right)=\operatorname {trace} \left(A^{*}A\right)=\|A\|_{\text{F}}^{2},}$

где мы использовали унитарный характер (то есть ).${\displaystyle U}$${\displaystyle U^{*}U=UU^{*}=\mathbf {I} }$

Это также удовлетворяет

${\displaystyle \|A^{*}A\|_{\text{F}}=\|AA^{*}\|_{\text{F}}\leq \|A\|_{\text{F}}^{2}}$

а также

${\displaystyle \|A+B\|_{\text{F}}^{2}=\|A\|_{\text{F}}^{2}+\|B\|_{\text{F}}^{2}+2\langle A,B\rangle _{\text{F}},}$

где это фробениусов скалярное произведение .${\displaystyle \langle A,B\rangle _{\text{F}}}$

Максимальная норма [ править ]

Максимальная норма является нормой поэлементно с р = д = ∞:

${\displaystyle \|A\|_{\max }=\max _{ij}|a_{ij}|.}$

Эта норма не является субмультипликативной .

Обратите внимание, что в некоторой литературе (например, « Коммуникационная сложность» ) альтернативное определение max-norm, также называемое -norm, относится к норме факторизации:${\displaystyle \gamma _{2}}$

${\displaystyle \gamma _{2}(A)=\min _{U,V:A=UV^{T}}\|U\|_{2,\infty }\|V\|_{2,\infty }=\min _{U,V:A=UV^{T}}\max _{i,j}\|U_{i,:}\|_{2}\|V_{j,:}\|_{2}}$

Нормы Шаттена [ править ]

Шаттена р -норм возникает при применении р -норма к вектору сингулярных значений матрицы. ^[3] Если сингулярные значения матрицы обозначить σ _i , то p -норма Шаттена определяется как${\displaystyle m\times n}$${\displaystyle A}$

${\displaystyle \|A\|_{p}=\left(\sum _{i=1}^{\min\{m,n\}}\sigma _{i}^{p}(A)\right)^{\frac {1}{p}}.}$

Эти нормы снова имеют общие обозначения с индуцированными и поэлементными p -нормами, но они разные.

Все нормы Шаттена субмультипликативны. Они также унитарно инвариантны, что означает, что для всех матриц и всех унитарных матриц и .${\displaystyle \|A\|=\|UAV\|}$${\displaystyle A}$ ${\displaystyle U}$${\displaystyle V}$

Наиболее известные случаи: p = 1, 2, ∞. Случай p = 2 дает норму Фробениуса, введенную ранее. Случай p = ∞ дает спектральную норму, которая является операторной нормой, индуцированной векторной 2-нормой (см. Выше). Наконец, p = 1 дает ядерную норму (также известную как норма следа или n-норма Ки Фана ^[8] ), определяемую как

${\displaystyle \|A\|_{*}=\operatorname {trace} \left({\sqrt {A^{*}A}}\right)=\sum _{i=1}^{\min\{m,n\}}\sigma _{i}(A),}$

где обозначает положительно полуопределенную матрицу такую, что . Точнее, поскольку матрица является положительно полуопределенной , ее квадратный корень определен правильно. Ядерная норма - это выпуклая оболочка функции ранга , поэтому она часто используется в математической оптимизации для поиска матриц низкого ранга.${\displaystyle {\sqrt {A^{*}A}}}$${\displaystyle B}$${\displaystyle BB=A^{*}A}$${\displaystyle A^{*}A}$${\displaystyle \|A\|_{*}}$${\displaystyle {\text{rank}}(A)}$

Последовательные нормы [ править ]

Норма матрицы на называется согласованной с векторной нормой на и векторной нормой на , если:${\displaystyle \|\cdot \|}$${\displaystyle K^{m\times n}}$${\displaystyle \|\cdot \|_{a}}$${\displaystyle K^{n}}$${\displaystyle \|\cdot \|_{b}}$${\displaystyle K^{m}}$

${\displaystyle \|Ax\|_{b}\leq \|A\|\|x\|_{a}}$

для всех . Все индуцированные нормы согласованы по определению.${\displaystyle A\in K^{m\times n},x\in K^{n}}$

Совместимые нормы [ править ]

Норма матрицы на называется совместимой с векторной нормой на , если:${\displaystyle \|\cdot \|}$${\displaystyle K^{n\times n}}$${\displaystyle \|\cdot \|_{a}}$${\displaystyle K^{n}}$

${\displaystyle \|Ax\|_{a}\leq \|A\|\|x\|_{a}}$

для всех . ${\displaystyle A\in K^{n\times n},x\in K^{n}}$

Индуцированные нормы по определению совместимы с индуцирующей векторной нормой. Кроме того, любая субмультипликативная матричная норма на индуцирует векторную норму, с которой она совместима, просто путем определения .${\displaystyle K^{n\times n}}$${\displaystyle K^{n}}$${\displaystyle \|v\|:=\|\left(v,v,...v\right)\|}$

Эквивалентность норм [ править ]

Для любых двух матричных норм и мы имеем следующее:${\displaystyle \|\cdot \|_{\alpha }}$${\displaystyle \|\cdot \|_{\beta }}$

${\displaystyle r\|A\|_{\alpha }\leq \|A\|_{\beta }\leq s\|A\|_{\alpha }}$

для некоторых положительных чисел r и s для всех матриц . Другими словами, все нормы на являются эквивалентными ; они индуцируют ту же топологию на . Это верно, потому что векторное пространство имеет конечную размерность .${\displaystyle A\in K^{m\times n}}$${\displaystyle K^{m\times n}}$${\displaystyle K^{m\times n}}$${\displaystyle K^{m\times n}}$ ${\displaystyle m\times n}$

Более того, для каждой векторной нормы на существует уникальное положительное действительное число такое, что является субмультипликативной матричной нормой для каждого .${\displaystyle \|\cdot \|}$${\displaystyle \mathbb {R} ^{n\times n}}$${\displaystyle k}$${\displaystyle l\|\cdot \|}$${\displaystyle l\geq k}$

Субмультипликативная матричная норма называется минимальной , если не существует другой субмультипликативной матричной нормы, удовлетворяющей .${\displaystyle \|\cdot \|_{\alpha }}$${\displaystyle \|\cdot \|_{\beta }}$${\displaystyle \|\cdot \|_{\beta }<\|\cdot \|_{\alpha }}$

Примеры эквивалентности норм [ править ]

Давайте еще раз обратимся к норме, индуцированной векторной p -нормой (как указано выше в разделе «Индуцированная норма»).${\displaystyle \|A\|_{p}}$

Для матрицы из ранга следующие неравенства: ^{[9] [10]}${\displaystyle A\in \mathbb {R} ^{m\times n}}$ ${\displaystyle r}$

• ${\displaystyle \|A\|_{2}\leq \|A\|_{F}\leq {\sqrt {r}}\|A\|_{2}}$
• ${\displaystyle \|A\|_{F}\leq \|A\|_{*}\leq {\sqrt {r}}\|A\|_{F}}$
• ${\displaystyle \|A\|_{\max }\leq \|A\|_{2}\leq {\sqrt {mn}}\|A\|_{\max }}$
• ${\displaystyle {\frac {1}{\sqrt {n}}}\|A\|_{\infty }\leq \|A\|_{2}\leq {\sqrt {m}}\|A\|_{\infty }}$
• ${\displaystyle {\frac {1}{\sqrt {m}}}\|A\|_{1}\leq \|A\|_{2}\leq {\sqrt {n}}\|A\|_{1}.}$

Еще одно полезное неравенство между матричными нормами:

${\displaystyle \|A\|_{2}\leq {\sqrt {\|A\|_{1}\|A\|_{\infty }}},}$

что является частным случаем неравенства Гёльдера .

См. Также [ править ]

• Двойная норма
• Логарифмическая норма

Ссылки [ править ]

Библиография [ править ]

• Джеймс В. Деммель , Прикладная числовая линейная алгебра, раздел 1.7, опубликовано SIAM, 1997.
• Карл Д. Мейер, Матричный анализ и прикладная линейная алгебра, опубликовано SIAM, 2000. [1]
• Джон Уотроус , Теория квантовой информации, 2.3 Нормы операторов , конспект лекций, Университет Ватерлоо, 2011.
• Кендалл Аткинсон , Введение в численный анализ, опубликованное John Wiley & Sons, Inc., 1989 г.