Матричное исчисление

В математике , матричное исчисление является специализированным для обозначения делать многомерные исчисления , особенно в пространствах матриц . Он собирает различные частные производные одной функции по многим переменным и / или многомерной функции по одной переменной в векторы и матрицы, которые можно рассматривать как отдельные объекты. Это значительно упрощает такие операции, как нахождение максимума или минимума функции многих переменных и решение систем дифференциальных уравнений . Обозначения, используемые здесь, обычно используются в статистике.и инженерное дело , тогда как в физике предпочтение отдается обозначению тензорного индекса .

Два конкурирующих соглашения об обозначениях разделяют область матричного исчисления на две отдельные группы. Эти две группы можно различить по тому, записывают ли они производную скаляра по вектору как вектор-столбец или вектор-строку . Оба эти соглашения возможны, даже если принято общее предположение, что векторы следует рассматривать как векторы-столбцы при объединении с матрицами (а не векторами-строками). Единое соглашение может быть несколько стандартным для одной области, которая обычно использует матричное исчисление (например, эконометрика , статистика, теория оценок и машинное обучение.). Однако даже в пределах одной области можно найти разных авторов, используя конкурирующие соглашения. Авторы обеих групп часто пишут так, как будто их конкретное соглашение было стандартным. При объединении результатов от разных авторов без тщательной проверки совместимости обозначений могут возникнуть серьезные ошибки. Определения этих двух соглашений и сравнения между ними собраны в разделе соглашений о компоновке .

Сфера [ править ]

Матричное исчисление относится к ряду различных нотаций, в которых используются матрицы и векторы для сбора производной каждого компонента зависимой переменной по каждому компоненту независимой переменной. Как правило, независимая переменная может быть скаляром, вектором или матрицей, а зависимая переменная может быть любым из них. Каждая отдельная ситуация приведет к разному набору правил или отдельному исчислению , если использовать более широкий смысл этого термина. Матричная запись служит удобным способом систематизированного сбора множества производных.

В качестве первого примера рассмотрим градиент из векторного исчисления . Для скалярной функции трех независимых переменных, градиент задается векторным уравнением${\ displaystyle f (x_ {1}, x_ {2}, x_ {3})}$

${\ displaystyle \ nabla f = {\ frac {\ partial f} {\ partial x_ {1}}} {\ hat {x}} _ {1} + {\ frac {\ partial f} {\ partial x_ {2 }}} {\ hat {x}} _ {2} + {\ frac {\ partial f} {\ partial x_ {3}}} {\ hat {x}} _ {3}}$,

где представляет собой единичный вектор в направлении для . Этот тип обобщенной производной можно рассматривать как производную от скаляра f по отношению к вектору , и ее результат можно легко собрать в векторной форме.${\ displaystyle {\ hat {x}} _ {i}}$${\ displaystyle x_ {i}}$${\ Displaystyle 1 \ Leq я \ Leq 3}$${\ displaystyle \ mathbf {x}}$

${\ displaystyle \ nabla f = {\ frac {\ partial f} {\ partial \ mathbf {x}}} = {\ begin {bmatrix} {\ frac {\ partial f} {\ partial x_ {1}}} & {\ frac {\ partial f} {\ partial x_ {2}}} & {\ frac {\ partial f} {\ partial x_ {3}}} \\\ end {bmatrix}} ^ {\textf {T} }.}$

Более сложные примеры включают производную скалярной функции по матрице, известную как матрица градиента , которая собирает производную по каждому элементу матрицы в соответствующей позиции в результирующей матрице. В этом случае скаляр должен быть функцией каждой из независимых переменных в матрице. В качестве другого примера, если у нас есть n -вектор зависимых переменных или функций от m независимых переменных, мы могли бы рассматривать производную зависимого вектора по отношению к независимому вектору. Результат можно собрать в виде m × nматрица, состоящая из всех возможных производных комбинаций. Всего существует девять возможностей использования скаляров, векторов и матриц. Обратите внимание, что, рассматривая большее количество компонентов в каждой из независимых и зависимых переменных, мы можем остаться с очень большим количеством возможностей.

В следующей таблице собраны шесть видов производных, которые можно наиболее точно организовать в матричной форме. ^[1]

Типы производной матрицы

Типы	Скалярный	Вектор	Матрица
Скалярный	${\ displaystyle {\ frac {\ partial y} {\ partial x}}}$	${\ displaystyle {\ frac {\ partial \ mathbf {y}} {\ partial x}}}$	${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$
Вектор	${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$	${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$
Матрица	${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$

Здесь мы использовали термин «матрица» в самом общем смысле, признавая, что векторы и скаляры - это просто матрицы с одним столбцом и одной строкой соответственно. Кроме того, мы использовали жирные буквы для обозначения векторов и жирные заглавные буквы для матриц. Это обозначение используется повсюду.

Обратите внимание, что мы также можем говорить о производной вектора по матрице или любой другой незаполненной ячейке в нашей таблице. Однако эти производные наиболее естественно организованы в тензор с рангом выше 2, поэтому они не укладываются в матрицу. В следующих трех разделах мы определим каждую из этих производных и свяжем их с другими разделами математики. См. Более подробную таблицу в разделе условных обозначений компоновки .

Отношение к другим производным [ править ]

Матричная производная - это удобное обозначение для отслеживания частных производных для выполнения вычислений. Производная Фреше - это стандартный способ в функциональном анализе брать производные по векторам. В случае, если матрица-функция матрицы дифференцируема по Фреше, две производные будут согласованы с точностью до перевода обозначений. Как и в общем случае для частных производных , некоторые формулы могут быть расширены при более слабых аналитических условиях, чем существование производной как аппроксимирующего линейного отображения.

Использование [ править ]

Матричное исчисление используется для получения оптимальных стохастических оценок, часто с использованием множителей Лагранжа . Это включает в себя вывод:

• Фильтр Калмана
• Винеровский фильтр
• Алгоритм ожидания-максимизации для гауссовой смеси
• Градиентный спуск

Обозначение [ править ]

Производные векторов и матриц, представленные в следующих разделах, в полной мере используют матричную запись , используя одну переменную для представления большого числа переменных. Далее мы будем различать скаляры, векторы и матрицы по их начертанию. Обозначим через M ( n , m ) пространство вещественных матриц размера n × m с n строками и m столбцами. Такие матрицы будем обозначать жирными заглавными буквами: A , X , Y и т. Д. Элемент M ( n , 1), то есть вектор-столбец, обозначается полужирной строчной буквой: a , x , y и т.д. Элемент M (1,1) является скаляром, обозначается строчным курсивом: a , t , x и т. д. X ^T обозначает транспонирование матрицы , tr ( X ) - след , а det ( X ) или | X | это определитель . Предполагается, что все функции имеют класс дифференцируемости C ¹если не указано иное. Обычно буквы из первой половины алфавита (a, b, c, ...) будут использоваться для обозначения констант, а из второй половины (t, x, y, ...) - для обозначения переменных.

ПРИМЕЧАНИЕ . Как упоминалось выше, существуют конкурирующие обозначения для представления систем частных производных в векторах и матрицах, и, похоже, пока нет стандарта. В следующих двух вводных разделах соглашение о компоновке числителя используется просто для удобства, чтобы не усложнять обсуждение. В разделе после них более подробно обсуждаются соглашения о компоновке . Важно понимать следующее:

1. Несмотря на использование терминов «расположение числителя» и «расположение знаменателя», на самом деле существует более двух возможных вариантов обозначений. Причина в том, что выбор числителя против знаменателя (или, в некоторых случаях, числителя против смешанного) может быть сделан независимо для скаляра за вектором, вектор за скаляром, вектор за вектором и скаляр за вектором. производные матрицы, и ряд авторов по-разному смешивают и согласовывают свой выбор макета.
2. Выбор схемы числителя во вводных разделах ниже не означает, что это «правильный» или «лучший» выбор. У различных типов макетов есть свои преимущества и недостатки. Неосторожное объединение формул, написанных на разных макетах, может привести к серьезным ошибкам, а преобразование одного макета в другой требует осторожности, чтобы избежать ошибок. В результате при работе с существующими формулами лучшей политикой, вероятно, является определение используемого макета и поддержание согласованности с ним, а не попытки использовать один и тот же макет во всех ситуациях.

Альтернативы [ править ]

Тензор индекс обозначения с Эйнштейна суммирования конвенции очень похож на матричном исчислении, за исключением того, один пишет только один компонент в то время. Его преимущество заключается в том, что можно легко манипулировать тензорами произвольно высокого ранга, тогда как тензоры ранга выше двух довольно громоздки с матричной записью. Вся работа здесь может быть выполнена в этих обозначениях без использования обозначений матрицы с одной переменной. Однако многие проблемы в теории оценивания и других областях прикладной математики могут привести к появлению слишком большого количества индексов, которые нельзя будет отслеживать должным образом, что указывает на пользу матричного исчисления в этих областях. Кроме того, обозначения Эйнштейна могут быть очень полезны при доказательстве представленных здесь тождеств (см. Раздел о дифференцировании) в качестве альтернативы типичной нотации элементов, которая может стать громоздкой при переносе явных сумм. Обратите внимание, что матрицу можно рассматривать как тензор второго ранга.

Производные с векторами [ править ]

Поскольку векторы являются матрицами только с одним столбцом, простейшие производные матрицы - это производные вектора.

Обозначения разработаны здесь можно приспособить обычные операции векторного анализа путем определения пространства М ( п , 1) п -векторов с евклидовом пространства R ^п и скалярными М (1,1) идентифицируются с R . Соответствующее понятие из векторного исчисления указано в конце каждого подраздела.

ПРИМЕЧАНИЕ : Обсуждение в этом разделе предполагает использование схемы расположения числителя в педагогических целях. Некоторые авторы используют разные соглашения. В разделе о соглашениях о компоновке этот вопрос обсуждается более подробно. Идентификаторы, указанные ниже, представлены в формах, которые можно использовать в сочетании со всеми общепринятыми соглашениями о компоновке.

Vector-by-scalar [ править ]

Производный из вектора , с помощью скалярного х записываются (в числителе макет обозначений ) , как${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.}$

В векторном исчислении производная вектора у относительно скалярного х известен как касательный вектор вектора у , . Обратите внимание, что y : R ¹ → R ^m .${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$

Пример Простые примеры этого включают в себя скорость вектор в евклидове пространства , которое является касательным вектором из положения вектора (как функции времени). Кроме того, ускорение - это касательный вектор скорости.

Скаляр по вектору [ править ]

Производный из скалярных у вектора , записываются (в числителе макет обозначений ) , как${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.}$

В векторном исчислении , то градиент скалярного поля F в пространстве R ^п (чьи независимых координаты являются компонентами х ) является транспонированной производной скаляра вектора.

${\displaystyle \nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}}$

К примеру, в физике, электрическое поле является отрицательным вектором градиент от электрического потенциала .

Производная по направлению скалярной функции f ( x ) пространственного вектора x в направлении единичного вектора u (представленного в данном случае как вектор-столбец) определяется с использованием градиента следующим образом.

${\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }$

Используя обозначение, только что определенное для производной скаляра по вектору, мы можем переписать производную по направлению как. Этот тип записи будет удобен при доказательстве правил продукта и правил цепочки, которые выглядят похожими на то, с чем мы знакомы. для скалярной производной .${\displaystyle \nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .}$

Vector-by-vector [ править ]

Каждый из двух предыдущих случаев можно рассматривать как применение производной вектора по отношению к вектору, используя соответственно вектор размера один. Аналогичным образом мы обнаружим, что производные, включающие матрицы, соответствующим образом сводятся к производным, содержащим векторы.

Производная векторной функции (вектора, компоненты которого являются функциями) по отношению к входному вектору записывается (в нотации расположения числителя ) как${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$

${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.}$

В векторном исчислении производная векторной функции y по отношению к вектору x , компоненты которого представляют пространство, известна как прямая трансляция (или дифференциал) или матрица Якоби .

Прямое движение вдоль вектор-функции f по отношению к вектору v в R ⁿ определяется выражением${\displaystyle d\,\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\,\mathbf {v} .}$

Производные с матрицами [ править ]

Есть два типа производных с матрицами, которые могут быть организованы в матрицу того же размера. Это производная матрицы по скаляру и производная от скаляра по матрице. Они могут быть полезны в задачах минимизации, встречающихся во многих областях прикладной математики, и получили названия касательная матрица и градиентная матрица соответственно после их аналогов для векторов.

Примечание . Обсуждение в этом разделе предполагает использование схемы расположения числителя в педагогических целях. Некоторые авторы используют разные соглашения. В разделе о соглашениях о компоновке этот вопрос обсуждается более подробно. Идентификаторы, указанные ниже, представлены в формах, которые можно использовать в сочетании со всеми общепринятыми соглашениями о компоновке.

Матрица за скаляром [ править ]

Производная матричной функции Y по скаляру x известна как касательная матрица и задается (в обозначении расположения числителя ) как

${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.}$

Скаляр по матрице [ править ]

Производная скалярной y- функции матрицы X независимых переменных размера p × q по отношению к матрице X задается (в обозначениях расположения числителя ) как

${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.}$

Важные примеры скалярных функций матриц включают след матрицы и определитель .

По аналогии с векторным исчислением эта производная часто записывается следующим образом.

${\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}$

Кроме того, в аналоговом с векторным исчислением , то производная по направлению скалярного F ( X ) из матрицы X в направлении матрицы Y задаются

${\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).}$

Это матрица градиента, в частности, находит широкое применение в задачах минимизации в теории оценивания , в частности , в выводе из фильтра Калмана алгоритма, который имеет большое значение в этой области.

Другие производные матрицы [ править ]

Три типа производных, которые не рассматривались, - это производные, включающие векторы за матрицами, матрицы за векторами и матрицы за матрицами. Они не так широко рассматриваются, и их обозначения не получили широкого согласия.

Соглашения о макете [ править ]

В этом разделе обсуждаются сходства и различия между условными обозначениями, которые используются в различных областях, использующих преимущества матричного исчисления. Хотя в основном существует два согласованных соглашения, некоторые авторы считают удобным смешивать эти два соглашения в формах, обсуждаемых ниже. После этого раздела уравнения будут перечислены в обеих конкурирующих формах отдельно.

Фундаментальная проблема заключается в том, что производная вектора по вектору, т.е. часто записывается двумя конкурирующими способами. Если числитель y имеет размер m, а знаменатель x - размер n , то результат может быть представлен либо как матрица m × n, либо как матрица n × m , то есть элементы y, расположенные в столбцах, и элементы x выкладываются рядами или наоборот. Это приводит к следующим возможностям:${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$

1. Расположение нумератора , т.е. расположение в соответствии с y и x ^T (т.е. в противоположность x ). Иногда это называют якобианской формулировкой . Это соответствует разметке m × n в предыдущем примере.
2. Расположение знаменателя , т.е. расположение в соответствии с y ^T и x (т.е. в противоположность y ). Иногда это называют гессенской формулировкой . Некоторые авторы называют этот макет градиентом в отличие от якобиана (макет числителя), который является его транспонированием. (Тем не менее, градиент чаще означает производную, независимо от макета.). Это соответствует разметке n × m в предыдущем примере.${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},}$
3. Третья возможность, которую иногда видят, - это настаивать на записи производной как (т.е. производная берется относительно транспонирования x ) и следовать схеме числителя. Это позволяет утверждать, что матрица построена в соответствии с числителем и знаменателем. На практике это дает те же результаты, что и в числителе.${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},}$

При работе с градиентом и в противоположном случае возникают те же проблемы. Чтобы быть последовательными, мы должны сделать одно из следующего:${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}$

1. Если мы выберем макет числителя, мы должны расположить градиент как вектор-строку и как вектор-столбец.${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$
2. Если мы выберем макет знаменателя для, мы должны выложить градиент как вектор-столбец и как вектор-строку.${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},}$ ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$
3. В третьей возможности выше, мы пишем и и раскладку использование числитель.${\displaystyle {\frac {\partial y}{\partial \mathbf {x} '}}}$${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}$

Не все учебники и статьи по математике единообразны в этом отношении. То есть иногда в одной книге или статье в разных контекстах используются разные условные обозначения. Например, некоторые выбирают макет знаменателя для градиентов (размещая их как векторы-столбцы), но макет числителя для производной вектор-вектор${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.}$

Аналогичным образом , когда речь идет о скалярных по-матрице производных и матриц по-скалярных производных , то компоновка соответствует числителю лежит в соответствии с Y и X ^T , в то время как в соответствии макет знаменателя лежит в соответствии с Y ^T и X . На практике, однако, следование разметке знаменателя и размещение результата в соответствии с Y ^T редко встречается, поскольку это приводит к некрасивым формулам, которые не соответствуют скалярным формулам. В результате часто можно встретить следующие макеты:${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}$

1. Последовательная компоновка числителя , которая раскладывает в соответствии с Y , и в соответствии с X ^T .${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$
2. Смешанная планировка , которая выкладывает в соответствии с Y и в соответствии с X .${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$
3. Используйте обозначение результатов так же, как последовательное расположение числителя.${\displaystyle {\frac {\partial y}{\partial \mathbf {X} '}},}$

В следующих формулах мы обрабатываем пять возможных комбинаций и по отдельности. Мы также обрабатываем случаи скалярных производных, которые включают промежуточный вектор или матрицу. (Это может возникнуть, например, если многомерная параметрическая кривая${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}}$${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$определяется в терминах скалярной переменной, а затем берется производная скалярной функции кривой по скаляру, который параметризует кривую.) Для каждой из различных комбинаций мы даем результаты размещения числителя и знаменателя , за исключением случаев, описанных выше, когда расположение знаменателя встречается редко. В случаях, связанных с матрицами, где это имеет смысл, мы приводим результаты в виде числителя и смешанного макета. Как отмечалось выше, случаи, когда знаменатели векторов и матриц записываются в транспонированной нотации, эквивалентны компоновке числителя, когда знаменатели записываются без транспонирования.

Имейте в виду, что разные авторы используют разные комбинации макетов числителя и знаменателя для разных типов производных, и нет никакой гарантии, что автор будет последовательно использовать макет числителя или знаменателя для всех типов. Сопоставьте приведенные ниже формулы с приведенными в источнике, чтобы определить макет, используемый для этого конкретного типа производного инструмента, но будьте осторожны, чтобы не предположить, что производные других типов обязательно следуют тому же виду макета.

При использовании производных со знаменателем агрегата (вектора или матрицы), чтобы найти максимум или минимум агрегата, следует иметь в виду, что использование макета числителя приведет к результатам, которые транспонируются относительно агрегата. Например, при попытке найти оценку максимального правдоподобия многомерного нормального распределения с использованием матричного исчисления, если домен представляет собой вектор-столбец k × 1, то результат с использованием макета числителя будет в форме вектора-строки 1 × k . Таким образом, следует либо транспонировать результаты в конце, либо использовать макет знаменателя (или смешанный макет).

Результат дифференциации различных агрегатов от других агрегатов.

		Скаляр y		Вектор-столбец y (размер m × 1 )		Матрица Y (размер m × n )
		Обозначение	Тип	Обозначение	Тип	Обозначение	Тип
Скаляр x	Числитель	${\displaystyle {\frac {\partial y}{\partial x}}}$	Скалярный	${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$	Размер - вектор-столбец m	${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}$	матрица m × n
	Знаменатель				Размер- м вектор - строка
Вектор-столбец x (размер n × 1 )	Числитель	${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}}$	Размер - n вектор-строка	${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$	матрица m × n	${\displaystyle {\frac {\partial \mathbf {Y} }{\partial \mathbf {x} }}}$
	Знаменатель		Размер - n вектор-столбец		матрица размера n × m
Матрица X (размер p × q )	Числитель	${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$	q × p матрица	${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {X} }}}$		${\displaystyle {\frac {\partial \mathbf {Y} }{\partial \mathbf {X} }}}$
	Знаменатель		p × q матрица

Результаты операций будут транспонированы при переключении между нотацией числителя и расположения знаменателя.

Обозначение нумератора [ править ]

Используя нотацию числителя, мы имеем: ^[1]

${\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}$

Следующие определения даются только в нотации числителя:

${\displaystyle {\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}}$

Обозначение знаменателя-раскладки [ править ]

Используя обозначение «знаменатель», мы имеем: ^[2]

${\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}$

Личности [ править ]

Как отмечалось выше, в общем случае результаты операций будут транспонироваться при переключении между нотацией числителя-макета и нотации знаменателя-макета.

Чтобы помочь понять все ниже идентичностей, иметь в виду самые важные правила: правило цепи , правила продукта и правил сумм . Правило сумм применяется повсеместно, а правило произведения применяется в большинстве случаев, приведенных ниже, при условии сохранения порядка матричных произведений, поскольку матричные произведения не коммутативны. Правило цепочки применяется в некоторых случаях, но, к сожалению, не применяется к производным по матрице за скаляром или производным по скаляру по матрице (в последнем случае в основном используется оператор трассировки, применяемый к матрицам). В последнем случае правило продукта не может быть применено напрямую, но эквивалент можно сделать с немного большей работой, используя дифференциальные тождества.

Следующие идентификаторы принимают следующие соглашения:

• скаляры a, b, c, d и e являются постоянными по отношению к, а скаляры u и v являются функциями одного из x, x или X ;
• векторы a , b , c , d и e являются постоянными по отношению к, а векторы u и v являются функциями одного из x, x или X ;
• матрицы, , В , С , D и Е являются постоянными в отношении, а матрицы, U и V являются функциями одного х, х , или X .

Отождествления в векторе за вектором [ править ]

Это представлено в первую очередь, потому что все операции, которые применяются к векторному дифференцированию, применяются непосредственно к векторному скалярному или скалярному векторному дифференцированию просто путем уменьшения соответствующего вектора в числителе или знаменателе до скаляра.

Идентичности: вектор за вектором ${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}$

Условие	Выражение	Расположение числителя, т.е. по y и x T	Расположение знаменателя, т.е. по y T и x
a не является функцией x	${\displaystyle {\frac {\partial \mathbf {a} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {0} }$
	${\displaystyle {\frac {\partial \mathbf {x} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {I} }$
A не является функцией x	${\displaystyle {\frac {\partial \mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {A} }$	${\displaystyle \mathbf {A} ^{\top }}$
A не является функцией x	${\displaystyle {\frac {\partial \mathbf {x} ^{\top }\mathbf {A} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {A} ^{\top }}$	${\displaystyle \mathbf {A} }$
a не является функцией x , u = u ( x )	${\displaystyle {\frac {\partial a\mathbf {u} }{\partial \,\mathbf {x} }}=}$	${\displaystyle a{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$
v = v ( x ), u = u ( x )	${\displaystyle {\frac {\partial v\mathbf {u} }{\partial \mathbf {x} }}=}$	${\displaystyle v{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+\mathbf {u} {\frac {\partial v}{\partial \mathbf {x} }}}$	${\displaystyle v{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+{\frac {\partial v}{\partial \mathbf {x} }}\mathbf {u} ^{\top }}$
A не является функцией x , u = u ( x )	${\displaystyle {\frac {\partial \mathbf {A} \mathbf {u} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {A} {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {A} ^{\top }}$
и = и ( х ), v = v ( х )	${\displaystyle {\frac {\partial (\mathbf {u} +\mathbf {v} )}{\partial \mathbf {x} }}=}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}}$
и = и ( х )	${\displaystyle {\frac {\partial \mathbf {g(u)} }{\partial \mathbf {x} }}=}$	${\displaystyle {\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}{\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}}$
и = и ( х )	${\displaystyle {\frac {\partial \mathbf {f(g(u))} }{\partial \mathbf {x} }}=}$	${\displaystyle {\frac {\partial \mathbf {f(g)} }{\partial \mathbf {g} }}{\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}{\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}{\frac {\partial \mathbf {f(g)} }{\partial \mathbf {g} }}}$

Скалярные тождества по векторам [ править ]

Основные идентичности расположены над жирной черной линией.

Идентичности: скаляр за вектором ${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}=\nabla _{\mathbf {x} }y}$

Условие	Выражение	Расположение числителя, т.е. по x T ; результат - вектор-строка	Расположение знаменателя, т.е. по x ; результат - вектор-столбец
a не является функцией x	${\displaystyle {\frac {\partial a}{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {0} ^{\top }}$ [3]	${\displaystyle \mathbf {0} }$ [3]
a не является функцией x , u = u ( x )	${\displaystyle {\frac {\partial au}{\partial \mathbf {x} }}=}$	${\displaystyle a{\frac {\partial u}{\partial \mathbf {x} }}}$
и = и ( х ), v = v ( х )	${\displaystyle {\frac {\partial (u+v)}{\partial \mathbf {x} }}=}$	${\displaystyle {\frac {\partial u}{\partial \mathbf {x} }}+{\frac {\partial v}{\partial \mathbf {x} }}}$
и = и ( х ), v = v ( х )	${\displaystyle {\frac {\partial uv}{\partial \mathbf {x} }}=}$	${\displaystyle u{\frac {\partial v}{\partial \mathbf {x} }}+v{\frac {\partial u}{\partial \mathbf {x} }}}$
и = и ( х )	${\displaystyle {\frac {\partial g(u)}{\partial \mathbf {x} }}=}$	${\displaystyle {\frac {\partial g(u)}{\partial u}}{\frac {\partial u}{\partial \mathbf {x} }}}$
и = и ( х )	${\displaystyle {\frac {\partial f(g(u))}{\partial \mathbf {x} }}=}$	${\displaystyle {\frac {\partial f(g)}{\partial g}}{\frac {\partial g(u)}{\partial u}}{\frac {\partial u}{\partial \mathbf {x} }}}$
и = и ( х ), v = v ( х )	${\displaystyle {\frac {\partial (\mathbf {u} \cdot \mathbf {v} )}{\partial \mathbf {x} }}={\frac {\partial \mathbf {u} ^{\top }\mathbf {v} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {u} ^{\top }{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}+\mathbf {v} ^{\top }{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }},{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}}$ в макете числителя	${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {v} +{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}\mathbf {u} }$ ${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }},{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}}$ в макете знаменателя
u = u ( x ), v = v ( x ), A не является функцией x	${\displaystyle {\frac {\partial (\mathbf {u} \cdot \mathbf {A} \mathbf {v} )}{\partial \mathbf {x} }}={\frac {\partial \mathbf {u} ^{\top }\mathbf {A} \mathbf {v} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {u} ^{\top }\mathbf {A} {\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}+\mathbf {v} ^{\top }\mathbf {A} ^{\top }{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }},{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}}$ в макете числителя	${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {A} \mathbf {v} +{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}\mathbf {A} ^{\top }\mathbf {u} }$ ${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }},{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}}$ в макете знаменателя
	${\displaystyle {\frac {\partial ^{2}f}{\partial \mathbf {x} \partial \mathbf {x} ^{\top }}}=}$	${\displaystyle \mathbf {H} ^{\top }}$	${\displaystyle \mathbf {H} }$, матрица Гессе [4]
a не является функцией x	${\displaystyle {\frac {\partial (\mathbf {a} \cdot \mathbf {x} )}{\partial \mathbf {x} }}={\frac {\partial (\mathbf {x} \cdot \mathbf {a} )}{\partial \mathbf {x} }}=}$ ${\displaystyle {\frac {\partial \mathbf {a} ^{\top }\mathbf {x} }{\partial \mathbf {x} }}={\frac {\partial \mathbf {x} ^{\top }\mathbf {a} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {a} ^{\top }}$	${\displaystyle \mathbf {a} }$
A не является функцией x b не является функцией x	${\displaystyle {\frac {\partial \mathbf {b} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {b} ^{\top }\mathbf {A} }$	${\displaystyle \mathbf {A} ^{\top }\mathbf {b} }$
A не является функцией x	${\displaystyle {\frac {\partial \mathbf {x} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {x} ^{\top }\left(\mathbf {A} +\mathbf {A} ^{\top }\right)}$	${\displaystyle \left(\mathbf {A} +\mathbf {A} ^{\top }\right)\mathbf {x} }$
Не является функцией х есть симметрична	${\displaystyle {\frac {\partial \mathbf {x} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=}$	${\displaystyle 2\mathbf {x} ^{\top }\mathbf {A} }$	${\displaystyle 2\mathbf {A} \mathbf {x} }$
A не является функцией x	${\displaystyle {\frac {\partial ^{2}\mathbf {x} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} \partial \mathbf {x} ^{\top }}}=}$	${\displaystyle \mathbf {A} +\mathbf {A} ^{\top }}$
Не является функцией х есть симметрична	${\displaystyle {\frac {\partial ^{2}\mathbf {x} ^{\top }\mathbf {A} \mathbf {x} }{\partial \mathbf {x} \partial \mathbf {x} ^{\top }}}=}$	${\displaystyle 2\mathbf {A} }$
	${\displaystyle {\frac {\partial (\mathbf {x} \cdot \mathbf {x} )}{\partial \mathbf {x} }}={\frac {\partial \mathbf {x} ^{\top }\mathbf {x} }{\partial \mathbf {x} }}={\frac {\partial \left\Vert \mathbf {x} \right\Vert ^{2}}{\partial \mathbf {x} }}=}$	${\displaystyle 2\mathbf {x} ^{\top }}$	${\displaystyle 2\mathbf {x} }$
a не является функцией x , u = u ( x )	${\displaystyle {\frac {\partial (\mathbf {a} \cdot \mathbf {u} )}{\partial \mathbf {x} }}={\frac {\partial \mathbf {a} ^{\top }\mathbf {u} }{\partial \mathbf {x} }}=}$	${\displaystyle \mathbf {a} ^{\top }{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$ ${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$ в макете числителя	${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {a} }$ ${\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}}$ в макете знаменателя
a , b не являются функциями x	${\displaystyle {\frac {\partial \;{\textbf {a}}^{\top }{\textbf {x}}{\textbf {x}}^{\top }{\textbf {b}}}{\partial \;{\textbf {x}}}}=}$	${\displaystyle {\textbf {x}}^{\top }\left({\textbf {a}}{\textbf {b}}^{\top }+{\textbf {b}}{\textbf {a}}^{\top }\right)}$	${\displaystyle \left({\textbf {a}}{\textbf {b}}^{\top }+{\textbf {b}}{\textbf {a}}^{\top }\right){\textbf {x}}}$
A , b , C , D , e не являются функциями x	${\displaystyle {\frac {\partial \;({\textbf {A}}{\textbf {x}}+{\textbf {b}})^{\top }{\textbf {C}}({\textbf {D}}{\textbf {x}}+{\textbf {e}})}{\partial \;{\textbf {x}}}}=}$	${\displaystyle ({\textbf {D}}{\textbf {x}}+{\textbf {e}})^{\top }{\textbf {C}}^{\top }{\textbf {A}}+({\textbf {A}}{\textbf {x}}+{\textbf {b}})^{\top }{\textbf {C}}{\textbf {D}}}$	${\displaystyle {\textbf {D}}^{\top }{\textbf {C}}^{\top }({\textbf {A}}{\textbf {x}}+{\textbf {b}})+{\textbf {A}}^{\top }{\textbf {C}}({\textbf {D}}{\textbf {x}}+{\textbf {e}})}$
a не является функцией x	${\displaystyle {\frac {\partial \;\|\mathbf {x} -\mathbf {a} \|}{\partial \;\mathbf {x} }}=}$	${\displaystyle {\frac {(\mathbf {x} -\mathbf {a} )^{\top }}{\|\mathbf {x} -\mathbf {a} \|}}}$	${\displaystyle {\frac {\mathbf {x} -\mathbf {a} }{\|\mathbf {x} -\mathbf {a} \|}}}$

Векторно-скалярные тождества [ править ]

Идентичности: вектор за скаляром ${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$

Условие	Выражение	Расположение числителя, т.е. по y , результат - вектор-столбец	Расположение знаменателя, т.е. по y T , результат - вектор-строка
a не является функцией x	${\displaystyle {\frac {\partial \mathbf {a} }{\partial x}}=}$	${\displaystyle \mathbf {0} }$[3]
a не является функцией x , u = u ( x )	${\displaystyle {\frac {\partial a\mathbf {u} }{\partial x}}=}$	${\displaystyle a{\frac {\partial \mathbf {u} }{\partial x}}}$
A не является функцией x , u = u ( x )	${\displaystyle {\frac {\partial \mathbf {A} \mathbf {u} }{\partial x}}=}$	${\displaystyle \mathbf {A} {\frac {\partial \mathbf {u} }{\partial x}}}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}\mathbf {A} ^{\top }}$
и = и ( х )	${\displaystyle {\frac {\partial \mathbf {u} ^{\top }}{\partial x}}=}$	${\displaystyle \left({\frac {\partial \mathbf {u} }{\partial x}}\right)^{\top }}$
и = и ( х ), v = v ( х )	${\displaystyle {\frac {\partial (\mathbf {u} +\mathbf {v} )}{\partial x}}=}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}+{\frac {\partial \mathbf {v} }{\partial x}}}$
и = и ( х ), v = v ( х )	${\displaystyle {\frac {\partial (\mathbf {u} ^{\top }\times \mathbf {v} )}{\partial x}}=}$	${\displaystyle \left({\frac {\partial \mathbf {u} }{\partial x}}\right)^{\top }\times \mathbf {v} +\mathbf {u} ^{\top }\times {\frac {\partial \mathbf {v} }{\partial x}}}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}\times \mathbf {v} +\mathbf {u} ^{\top }\times \left({\frac {\partial \mathbf {v} }{\partial x}}\right)^{\top }}$
и = и ( х )	${\displaystyle {\frac {\partial \mathbf {g(u)} }{\partial x}}=}$	${\displaystyle {\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial x}}}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}{\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}}$
		Предполагает согласованную компоновку матрицы; Смотри ниже.
и = и ( х )	${\displaystyle {\frac {\partial \mathbf {f(g(u))} }{\partial x}}=}$	${\displaystyle {\frac {\partial \mathbf {f(g)} }{\partial \mathbf {g} }}{\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial x}}}$	${\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}{\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}{\frac {\partial \mathbf {f(g)} }{\partial \mathbf {g} }}}$
		Предполагает согласованную компоновку матрицы; Смотри ниже.
U = U ( х ), v = v ( х )	${\displaystyle {\frac {\partial (\mathbf {U} \times \mathbf {v} )}{\partial x}}=}$	${\displaystyle {\frac {\partial \mathbf {U} }{\partial x}}\times \mathbf {v} +\mathbf {U} \times {\frac {\partial \mathbf {v} }{\partial x}}}$	${\displaystyle \mathbf {v} ^{\top }\times \left({\frac {\partial \mathbf {U} }{\partial x}}\right)+{\frac {\partial \mathbf {v} }{\partial x}}\times \mathbf {U} ^{\top }}$

ПРИМЕЧАНИЕ . Формулы, включающие производные вектор за вектором и (выходными данными которых являются матрицы) предполагают, что матрицы расположены в соответствии с векторной компоновкой, т. Е. Матрица компоновки числителя, когда вектор компоновки числителя, и наоборот; в противном случае транспонируйте производные вектор за вектором.${\displaystyle {\frac {\partial \mathbf {g(u)} }{\partial \mathbf {u} }}}$${\displaystyle {\frac {\partial \mathbf {f(g)} }{\partial \mathbf {g} }}}$

Скалярно-матричные тождества [ править ]

Следует отметить , что точные эквиваленты скалярного правила продукта и цепочки правила не существует применительно к матричным функциям от матриц. Однако такое правило произведения действительно применяется к дифференциальной форме (см. Ниже), и это способ вывести многие из приведенных ниже тождеств, включающих функцию трассировки , в сочетании с тем фактом, что функция трассировки допускает транспонирование и циклическую перестановку, то есть:

${\displaystyle {\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}}$

Например, чтобы вычислить ${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:}$

${\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\end{aligned}}}$

Следовательно,

${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }} \mathbf {XB^{\top }} .}$

(Последний шаг см. В разделе Преобразование дифференциальной формы в производную .)

Тождества: скаляр по матрице ${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}$

Условие	Выражение	Раскладка числителя, т.е. по X T	Расположение знаменателя, т.е. по X
a не является функцией X	${\displaystyle {\frac {\partial a}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {0} ^{\top }}$ [5]	${\displaystyle \mathbf {0} }$ [5]
a не является функцией X , u = u ( X )	${\displaystyle {\frac {\partial au}{\partial \mathbf {X} }}=}$	${\displaystyle a{\frac {\partial u}{\partial \mathbf {X} }}}$
и = и ( Х ), v = v ( Х )	${\displaystyle {\frac {\partial (u+v)}{\partial \mathbf {X} }}=}$	${\displaystyle {\frac {\partial u}{\partial \mathbf {X} }}+{\frac {\partial v}{\partial \mathbf {X} }}}$
и = и ( Х ), v = v ( Х )	${\displaystyle {\frac {\partial uv}{\partial \mathbf {X} }}=}$	${\displaystyle u{\frac {\partial v}{\partial \mathbf {X} }}+v{\frac {\partial u}{\partial \mathbf {X} }}}$
и = и ( Х )	${\displaystyle {\frac {\partial g(u)}{\partial \mathbf {X} }}=}$	${\displaystyle {\frac {\partial g(u)}{\partial u}}{\frac {\partial u}{\partial \mathbf {X} }}}$
и = и ( Х )	${\displaystyle {\frac {\partial f(g(u))}{\partial \mathbf {X} }}=}$	${\displaystyle {\frac {\partial f(g)}{\partial g}}{\frac {\partial g(u)}{\partial u}}{\frac {\partial u}{\partial \mathbf {X} }}}$
U = U ( X )	[4]    ${\displaystyle {\frac {\partial g(\mathbf {U} )}{\partial X_{ij}}}=}$	${\displaystyle \operatorname {tr} \left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}{\frac {\partial \mathbf {U} }{\partial X_{ij}}}\right)}$	${\displaystyle \operatorname {tr} \left(\left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}\right)^{\top }{\frac {\partial \mathbf {U} }{\partial X_{ij}}}\right)}$
		Обе формы предполагают расположение числителя для${\displaystyle {\frac {\partial \mathbf {U} }{\partial X_{ij}}},}$ то есть смешанный макет если знаменатель макет для X используется.
a и b не являются функциями X	${\displaystyle {\frac {\partial \mathbf {a} ^{\top }\mathbf {X} \mathbf {b} }{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {b} \mathbf {a} ^{\top }}$	${\displaystyle \mathbf {a} \mathbf {b} ^{\top }}$
a и b не являются функциями X	${\displaystyle {\frac {\partial \mathbf {a} ^{\top }\mathbf {X} ^{\top }\mathbf {b} }{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {a} \mathbf {b} ^{\top }}$	${\displaystyle \mathbf {b} \mathbf {a} ^{\top }}$
a , b и C не являются функциями X	${\displaystyle {\frac {\partial (\mathbf {X} \mathbf {a} +\mathbf {b} )^{\top }\mathbf {C} (\mathbf {X} \mathbf {a} +\mathbf {b} )}{\partial \mathbf {X} }}=}$	${\displaystyle \left(\left(\mathbf {C} +\mathbf {C} ^{\top }\right)(\mathbf {X} \mathbf {a} +\mathbf {b} )\mathbf {a} ^{\top }\right)^{\top }}$	${\displaystyle \left(\mathbf {C} +\mathbf {C} ^{\top }\right)(\mathbf {X} \mathbf {a} +\mathbf {b} )\mathbf {a} ^{\top }}$
a , b и C не являются функциями X	${\displaystyle {\frac {\partial (\mathbf {X} \mathbf {a} )^{\top }\mathbf {C} (\mathbf {X} \mathbf {b} )}{\partial \mathbf {X} }}=}$	${\displaystyle \left(\mathbf {C} \mathbf {X} \mathbf {b} \mathbf {a} ^{\top }+\mathbf {C} ^{\top }\mathbf {X} \mathbf {a} \mathbf {b} ^{\top }\right)^{\top }}$	${\displaystyle \mathbf {C} \mathbf {X} \mathbf {b} \mathbf {a} ^{\top }+\mathbf {C} ^{\top }\mathbf {X} \mathbf {a} \mathbf {b} ^{\top }}$
	${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {X} )}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {I} }$
U = U ( X ), V = V ( X )	${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {U} +\mathbf {V} )}{\partial \mathbf {X} }}=}$	${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {U} )}{\partial \mathbf {X} }}+{\frac {\partial \operatorname {tr} (\mathbf {V} )}{\partial \mathbf {X} }}}$
a не является функцией X , U = U ( X )	${\displaystyle {\frac {\partial \operatorname {tr} (a\mathbf {U} )}{\partial \mathbf {X} }}=}$	${\displaystyle a{\frac {\partial \operatorname {tr} (\mathbf {U} )}{\partial \mathbf {X} }}}$
g ( X ) - любой многочлен со скалярными коэффициентами или любая матричная функция, определенная бесконечным многочленом (например, e X , sin ( X ), cos ( X ), ln ( X ) и т. д. с использованием ряда Тейлора ); g ( x ) - эквивалентная скалярная функция, g ′ ( x ) - ее производная, а g ′ ( X ) - соответствующая матричная функция	${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {g(X)} )}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {g} '(\mathbf {X} )}$	${\displaystyle \left(\mathbf {g} '(\mathbf {X} )\right)^{\top }}$
A не является функцией X	[6]    ${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AX} )}{\partial \mathbf {X} }}={\frac {\partial \operatorname {tr} (\mathbf {XA} )}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {A} }$	${\displaystyle \mathbf {A} ^{\top }}$
A не является функцией X	[4]    ${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AX^{\top }} \right)}{\partial \mathbf {X} }}={\frac {\partial \operatorname {tr} \left(\mathbf {X^{\top }A} \right)}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {A} ^{\top }}$	${\displaystyle \mathbf {A} }$
A не является функцией X	[4]    ${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {X^{\top }AX} \right)}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {X} ^{\top }\left(\mathbf {A} +\mathbf {A} ^{\top }\right)}$	${\displaystyle \left(\mathbf {A} +\mathbf {A} ^{\top }\right)\mathbf {X} }$
A не является функцией X	[4]    ${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {X^{-1}A} )}{\partial \mathbf {X} }}=}$	${\displaystyle -\mathbf {X} ^{-1}\mathbf {A} \mathbf {X} ^{-1}}$	${\displaystyle -\left(\mathbf {X} ^{-1}\right)^{\top }\mathbf {A} ^{\top }\left(\mathbf {X} ^{-1}\right)^{\top }}$
A , B не являются функциями X	${\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AXB} )}{\partial \mathbf {X} }}={\frac {\partial \operatorname {tr} (\mathbf {BAX} )}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {BA} }$	${\displaystyle \mathbf {A^{\top }B^{\top }} }$
A , B , C не являются функциями X	${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {BX^{\top }CA} +\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} }$	${\displaystyle \mathbf {A^{\top }C^{\top }XB^{\top }} +\mathbf {CAXB} }$
n - положительное целое число	[4]    ${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {X} ^{n}\right)}{\partial \mathbf {X} }}=}$	${\displaystyle n\mathbf {X} ^{n-1}}$	${\displaystyle n\left(\mathbf {X} ^{n-1}\right)^{\top }}$
A не является функцией X , n - положительное целое число	[4]    ${\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {A} \mathbf {X} ^{n}\right)}{\partial \mathbf {X} }}=}$	${\displaystyle \sum _{i=0}^{n-1}\mathbf {X} ^{i}\mathbf {A} \mathbf {X} ^{n-i-1}}$	${\displaystyle \sum _{i=0}^{n-1}\left(\mathbf {X} ^{i}\mathbf {A} \mathbf {X} ^{n-i-1}\right)^{\top }}$
	[4]    ${\displaystyle {\frac {\partial \operatorname {tr} \left(e^{\mathbf {X} }\right)}{\partial \mathbf {X} }}=}$	${\displaystyle e^{\mathbf {X} }}$	${\displaystyle \left(e^{\mathbf {X} }\right)^{\top }}$
	[4]    ${\displaystyle {\frac {\partial \operatorname {tr} (\sin(\mathbf {X} ))}{\partial \mathbf {X} }}=}$	${\displaystyle \cos(\mathbf {X} )}$	${\displaystyle (\cos(\mathbf {X} ))^{\top }}$
	[7]    ${\displaystyle {\frac {\partial |\mathbf {X} |}{\partial \mathbf {X} }}=}$	${\displaystyle \operatorname {cofactor} (X)^{\top }=|\mathbf {X} |\mathbf {X} ^{-1}}$	${\displaystyle \operatorname {cofactor} (X)=|\mathbf {X} |\left(\mathbf {X} ^{-1}\right)^{\top }}$
a не является функцией X	[4] [8]${\displaystyle {\frac {\partial \ln |a\mathbf {X} |}{\partial \mathbf {X} }}=}$	${\displaystyle \mathbf {X} ^{-1}}$	${\displaystyle \left(\mathbf {X} ^{-1}\right)^{\top }}$
A , B не являются функциями X	[4]     ${\displaystyle {\frac {\partial |\mathbf {AXB} |}{\partial \mathbf {X} }}=}$	${\displaystyle |\mathbf {AXB} |\mathbf {X} ^{-1}}$	${\displaystyle |\mathbf {AXB} |\left(\mathbf {X} ^{-1}\right)^{\top }}$
n - положительное целое число	[4]    ${\displaystyle {\frac {\partial \left|\mathbf {X} ^{n}\right|}{\partial \mathbf {X} }}=}$	${\displaystyle n\left|\mathbf {X} ^{n}\right|\mathbf {X} ^{-1}}$	${\displaystyle n\left|\mathbf {X} ^{n}\right|\left(\mathbf {X} ^{-1}\right)^{\top }}$
(см. псевдообратный )	[4]      ${\displaystyle {\frac {\partial \ln \left|\mathbf {X} ^{\top }\mathbf {X} \right|}{\partial \mathbf {X} }}=}$	${\displaystyle 2\mathbf {X} ^{+}}$	${\displaystyle 2\left(\mathbf {X} ^{+}\right)^{\top }}$
(см. псевдообратный )	[4]     ${\displaystyle {\frac {\partial \ln \left|\mathbf {X} ^{\top }\mathbf {X} \right|}{\partial \mathbf {X} ^{+}}}=}$	${\displaystyle -2\mathbf {X} }$	${\displaystyle -2\mathbf {X} ^{\top }}$
A не является функцией X , X квадратный и обратимый	${\displaystyle {\frac {\partial \left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|}{\partial \mathbf {X} }}=}$	${\displaystyle 2\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|\mathbf {X} ^{-1}=2\left|\mathbf {X^{\top }} \right||\mathbf {A} ||\mathbf {X} |\mathbf {X} ^{-1}}$	${\displaystyle 2\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|\left(\mathbf {X} ^{-1}\right)^{\top }}$
A не является функцией X , X неквадратный, A симметричный	${\displaystyle {\frac {\partial \left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|}{\partial \mathbf {X} }}=}$	${\displaystyle 2\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|\left(\mathbf {X^{\top }A^{\top }X} \right)^{-1}\mathbf {X^{\top }A^{\top }} }$	${\displaystyle 2\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|\mathbf {AX} \left(\mathbf {X^{\top }AX} \right)^{-1}}$
A не является функцией X , X неквадратный, A несимметричный	${\displaystyle {\frac {\partial |\mathbf {X^{\top }} \mathbf {A} \mathbf {X} |}{\partial \mathbf {X} }}=}$	${\displaystyle {\begin{aligned}\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|{\Big (}&\left(\mathbf {X^{\top }AX} \right)^{-1}\mathbf {X^{\top }A} +{}\\&\left(\mathbf {X^{\top }A^{\top }X} \right)^{-1}\mathbf {X^{\top }A^{\top }} {\Big )}\end{aligned}}}$	${\displaystyle {\begin{aligned}\left|\mathbf {X^{\top }} \mathbf {A} \mathbf {X} \right|{\Big (}&\mathbf {AX} \left(\mathbf {X^{\top }AX} \right)^{-1}+{}\\&\mathbf {A^{\top }X} \left(\mathbf {X^{\top }A^{\top }X} \right)^{-1}{\Big )}\end{aligned}}}$