Структурный тензор

В математике структура тензор , также называют матрицей второго момента , является матрица получена из градиента о наличии функции . Он суммирует преобладающие направления градиента в указанной окрестности точки и степень согласованности этих направлений . Структурный тензор часто используется при обработке изображений и компьютерном зрении . ^{[1] [2] [3]}

Тензор 2D-структуры [ править ]

Непрерывная версия [ править ]

Для функции двух переменных p = ( x , y ) структурный тензор представляет собой матрицу 2 × 2${\ displaystyle I}$

${\displaystyle S_{w}(p)={\begin{bmatrix}\int w(r)(I_{x}(p-r))^{2}\,dr&\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr\\[10pt]\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr&\int w(r)(I_{y}(p-r))^{2}\,dr\end{bmatrix}}}$

где и являются частные производные от по х и у ; интегралы простираются по плоскости ; и w - некоторая фиксированная «оконная функция», распределение по двум переменным. Обратите внимание, что сама матрица является функцией p = ( x , y ) .${\displaystyle I_{x}}$${\displaystyle I_{y}}$${\displaystyle I}$${\displaystyle \mathbb {R} ^{2}}$${\displaystyle S_{w}}$

Вышеупомянутая формула может быть также записана как , где - матричнозначная функция, определяемая как${\displaystyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$${\displaystyle S_{0}}$

${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}\end{bmatrix}}}$

Если градиент от рассматриваются как (один столбец) матрицы 2 × 1, где обозначает транспонирование операции, поворачивая вектор - строки в вектор - столбце, матрица может быть записана в качестве матрицы продукта , также известной в качестве внешнего продукта, или тензорное произведение. Заметим, однако, что структурный тензор не может быть разложен на множители таким образом, за исключением случаев, когда он является дельта-функцией Дирака .${\displaystyle \nabla I=(I_{x},I_{y})^{\text{T}}}$${\displaystyle I}$${\displaystyle (.)^{\text{T}}}$${\displaystyle S_{0}}$ ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$${\displaystyle S_{w}(p)}$${\displaystyle w}$

Дискретная версия [ править ]

В обработке изображений и других подобных приложениях функция обычно задается как дискретный массив выборок , где p - пара целочисленных индексов. Тензор 2D-структуры в данном пикселе обычно принимается как дискретная сумма${\displaystyle I}$${\displaystyle I[p]}$

${\displaystyle S_{w}[p]={\begin{bmatrix}\sum _{r}w[r](I_{x}[p-r])^{2}&\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]\\[10pt]\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]&\sum _{r}w[r](I_{y}[p-r])^{2}\end{bmatrix}}}$

Здесь индекс суммирования r охватывает конечный набор пар индексов («окно», обычно для некоторого m ), а w [ r ] - это фиксированный «вес окна», который зависит от r , так что сумма всех весов равна 1. Значения представляют собой частные производные, выбранные в пикселе p ; которое, например, можно оценить по формулам конечных разностей .${\displaystyle \{-m..+m\}\times \{-m..+m\}}$${\displaystyle I_{x}[p],I_{y}[p]}$${\displaystyle I}$

Формулу структурного тензора можно также записать как , где - матричнозначный массив такой, что${\displaystyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$${\displaystyle S_{0}}$

${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}\end{bmatrix}}}$

Интерпретация [ править ]

Важность тензора двумерной структуры проистекает из того, что собственные значения фактов (которые могут быть упорядочены таким образом ) и соответствующие собственные векторы суммируют распределение градиента в пределах окна, определяемого параметром с центром в . ^{[1] [2] [3]}${\displaystyle S_{w}}$ ${\displaystyle \lambda _{1},\lambda _{2}}$${\displaystyle \lambda _{1}\geq \lambda _{2}\geq 0}$ ${\displaystyle e_{1},e_{2}}$ ${\displaystyle \nabla I=(I_{x},I_{y})}$${\displaystyle I}$${\displaystyle w}$${\displaystyle p}$

А именно, если , то (или ) - это направление, которое максимально совпадает с градиентом в окне.${\displaystyle \lambda _{1}>\lambda _{2}}$${\displaystyle e_{1}}$${\displaystyle -e_{1}}$

В частности, если тогда градиент всегда кратен (положительному, отрицательному или нулю); это имеет место тогда и только тогда, когда в пределах окна изменяется вдоль направления, но постоянно вдоль . Это условие собственных значений также называется условием линейной симметрии, потому что тогда изокривые состоят из параллельных линий, т.е. существует одномерная функция, которая может генерировать двумерную функцию как для некоторого постоянного вектора, так и координат .${\displaystyle \lambda _{1}>0,\lambda _{2}=0}$${\displaystyle e_{1}}$${\displaystyle I}$${\displaystyle e_{1}}$${\displaystyle e_{2}}$${\displaystyle I}$${\displaystyle g}$${\displaystyle I}$${\displaystyle I(x,y)=g(d^{\text{T}}p)}$${\displaystyle d=(d_{x},d_{y})^{T}}$${\displaystyle p=(x,y)^{T}}$

Если , с другой стороны, градиент в окне не имеет преобладающего направления; что происходит, например, когда изображение имеет вращательную симметрию в этом окне. Это условие собственных значений также называется сбалансированным телом или условием направленного равновесия, потому что оно выполняется, когда все направления градиента в окне одинаково часты / вероятны.${\displaystyle \lambda _{1}=\lambda _{2}}$

Кроме того, условие возникает тогда и только тогда, когда функция в пределах константы ( ) .${\displaystyle \lambda _{1}=\lambda _{2}=0}$${\displaystyle I}$${\displaystyle \nabla I=(0,0)}$${\displaystyle W}$

В более общем смысле , величина , для к = 1 или к = 2, является -weighted среднем, в окрестностях р , из квадрата производной по направлению от наряду . Относительное несоответствие между двумя собственными значениями является показателем степени анизотропии градиента в окне, а именно, насколько сильно он смещен в определенном направлении (и его противоположном). ^{[4] [5]} Этот атрибут можно количественно оценить с помощью когерентности , определяемой как${\displaystyle \lambda _{k}}$${\displaystyle w}$${\displaystyle I}$${\displaystyle e_{k}}$${\displaystyle S_{w}}$

${\displaystyle c_{w}=\left({\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}+\lambda _{2}}}\right)^{2}}$

если . Это количество равно 1, когда градиент полностью выровнен, и 0, когда у него нет предпочтительного направления. Формула не определена даже в пределе , когда изображение в окне постоянно ( ). Некоторые авторы в этом случае определяют его как 0.${\displaystyle \lambda _{2}>0}$${\displaystyle \lambda _{1}=\lambda _{2}=0}$

Обратите внимание, что среднее значение градиента внутри окна не является хорошим индикатором анизотропии. Выровненные, но противоположно ориентированные векторы градиента будут сокращаться в этом среднем, тогда как в тензоре структуры они правильно складываются. ^[6] Это причина того, почему используется при усреднении структурного тензора для оптимизации направления вместо .${\displaystyle \nabla I}$${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$${\displaystyle \nabla I}$

Увеличивая эффективный радиус оконной функции (то есть увеличивая ее дисперсию), можно сделать тензор структуры более устойчивым к шуму за счет уменьшения пространственного разрешения. ^{[5] [7]} Формальная основа для этого свойства описана более подробно ниже, где показано, что многомасштабная формулировка тензора структуры, называемая тензором многомасштабной структуры , составляет истинный многомасштабный представление направленных данных при вариациях пространственной протяженности оконной функции .${\displaystyle w}$

Сложная версия [ править ]

Интерпретация и реализация тензора двумерной структуры становится особенно доступной с использованием комплексных чисел. ^[2] Структурный тензор состоит из трех действительных чисел.

${\displaystyle S_{w}(p)={\begin{bmatrix}\mu _{20}&\mu _{11}\\[10pt]\mu _{11}&\mu _{02}\end{bmatrix}}}$

где , и в которых интегралы можно заменить суммированием для дискретного представления. Используя соотношение Парсеваля, ясно, что три действительных числа являются моментами второго порядка спектра мощности . Следующий комплексный момент второго порядка спектра мощности может быть записан как${\textstyle \mu _{20}=\int (w(r)(I_{x}(p-r))^{2}\,dr}$${\textstyle \mu _{02}=\int (w(r)(I_{y}(p-r))^{2}\,dr}$${\textstyle \mu _{11}=\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr}$${\displaystyle I}$${\displaystyle I}$

${\textstyle \kappa _{20}=\mu _{20}-\mu _{02}+i2\mu _{11}=\int (w(r)(I_{x}(p-r)+iI_{y}(p-r))^{2}\,dr=(\lambda _{1}-\lambda _{2})\exp(i2\phi )}$

где и - угол направления наиболее значимого собственного вектора структурного тензора, тогда как и - наиболее и наименее значимые собственные значения. Из этого следует, что содержит как определенность${\displaystyle i={\sqrt {-1}}}$${\displaystyle \phi }$${\displaystyle \phi =\angle {e_{1}}}$${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle \kappa _{20}}$${\displaystyle |\kappa _{20}|=\lambda _{1}-\lambda _{2}}$и оптимальное направление в представлении двойного угла, поскольку это комплексное число, состоящее из двух действительных чисел. Отсюда также следует, что если градиент представлен как комплексное число и преобразован в квадрат (т. Е. Углы аргумента сложного градиента удваиваются), то усреднение действует как оптимизатор в сопоставленной области, поскольку оно напрямую обеспечивает как оптимальные, так и оптимальные значения. направление (в двойном угловом представлении) и связанная с этим достоверность. Комплексное число представляет, таким образом, насколько линейная структура (линейная симметрия) присутствует в изображении , а комплексное число получается непосредственно путем усреднения градиента в его (комплексном) представлении с двумя углами без явного вычисления собственных значений и собственных векторов.${\displaystyle I}$

Точно так же следующий комплексный момент второго порядка спектра мощности , который всегда реален, потому что он реален,${\displaystyle I}$${\displaystyle I}$

${\textstyle \kappa _{11}=\mu _{20}+\mu _{02}=\int (w(r)|I_{x}(p-r)+iI_{y}(p-r)|^{2}\,dr=\lambda _{1}+\lambda _{2}}$

может быть получено с и быть собственные значения , как и раньше. Обратите внимание, что на этот раз величина комплексного градиента возведена в квадрат (что всегда реально).${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$

Однако разложение структурного тензора по его собственным векторам дает его компоненты тензора в виде

${\displaystyle S_{w}(p)=\lambda _{1}e_{1}e_{1}^{\text{T}}+\lambda _{2}e_{2}e_{2}^{\text{T}}=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}(e_{1}e_{1}^{\text{T}}+e_{2}e_{2}^{\text{T}})=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}E}$

где - единичная матрица в 2D, потому что два собственных вектора всегда ортогональны (и их сумма равна единице). Первый член в последнем выражении разложения представляет компонент линейной симметрии тензора структуры, содержащий всю информацию о направлении (в виде матрицы ранга 1), тогда как второй член представляет компонент сбалансированного тела тензора, в котором отсутствует какая-либо информация о направлении. направленная информация (содержащая единичную матрицу ). Знать, сколько информации о направлении содержится в этом поле, можно сравнить с проверкой того, насколько велик он по сравнению с .${\displaystyle E}$${\displaystyle (\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}}$${\displaystyle E}$${\displaystyle I}$${\displaystyle \lambda _{1}-\lambda _{2}}$${\displaystyle \lambda _{2}}$

Очевидно, является комплексным эквивалентом первого члена в тензорном разложении, тогда как${\displaystyle \kappa _{20}}$

$${\displaystyle (|\kappa _{20}|-\kappa _{11})/2=\lambda _{2}}$$

${\displaystyle {\begin{array}{c}\kappa _{20}=(\lambda _{1}-\lambda _{2})\exp(i2\phi )&=&w*(h*I)^{2}\\\kappa _{11}=\lambda _{1}+\lambda _{2}&=&w*|h*I|^{2}\\\end{array}}}$

где - (комплексный) градиентный фильтр, а - свертка, составляют комплексное представление тензора 2D структуры. Как обсуждается здесь и в других местах, определяется локальное изображение, которое обычно является гауссовым (с определенной дисперсией, определяющей внешний масштаб), и является параметром (внутренним масштабом), определяющим эффективный частотный диапазон, в котором должна оцениваться ориентация .${\displaystyle h(x,y)=(x+iy)\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))}$${\displaystyle *}$${\displaystyle w}$${\displaystyle \sigma }$${\displaystyle 2\phi }$

Элегантность сложного представления проистекает из того, что две компоненты структурного тензора могут быть получены как средние значения и независимо. В свою очередь, это означает, что и может использоваться в представлении масштабного пространства для описания свидетельства наличия уникальной ориентации и свидетельства альтернативной гипотезы, наличия нескольких сбалансированных ориентаций, без вычисления собственных векторов и собственных значений. Функционал, такой как возведение в квадрат комплексных чисел, до сих пор не был продемонстрирован для структурных тензоров с размерностями выше двух. В Bigun 91 было выдвинуто надлежащее обоснование того, что это потому, что комплексные числа являются коммутативными алгебрами, тогда как кватернионы, возможные кандидаты для построения такого функционала, составляют некоммутативную алгебру.${\displaystyle \kappa _{20}}$${\displaystyle \kappa _{11}}$^[8]

Сложное представление структурного тензора часто используется в анализе отпечатков пальцев для получения карт направлений, содержащих достоверные данные, которые, в свою очередь, используются для их улучшения, для определения местоположения глобальных (ядра и дельты) и локальных (мелких) сингулярностей, а также автоматически оценивать качество отпечатков пальцев.

Тензор трехмерной структуры [ править ]

Определение [ править ]

Совершенно аналогично можно определить структурный тензор и для функции трех переменных p = ( x , y , z ). А именно, в непрерывном варианте мы имеем , где${\displaystyle I}$${\displaystyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$

${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)&I_{x}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}&I_{y}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{z}(p)&I_{y}(p)I_{z}(p)&(I_{z}(p))^{2}\end{bmatrix}}}$

где - три частные производные от , а интеграл принимает значения .${\displaystyle I_{x},I_{y},I_{z}}$${\displaystyle I}$${\displaystyle \mathbb {R} ^{3}}$

В дискретном варианте , где ${\displaystyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$

${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]&I_{x}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}&I_{y}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{z}[p]&I_{y}[p]I_{z}[p]&(I_{z}[p])^{2}\end{bmatrix}}}$

и сумма пробегает конечный набор трехмерных индексов, обычно для некоторого m .${\displaystyle \{-m..+m\}\times \{-m..+m\}\times \{-m..+m\}}$

Интерпретация [ править ]

Как и в трехмерном случае, собственные значения из , и соответствующих собственных векторов , суммировать распределение градиентных направлений в пределах окрестностей р , определяемых окном . Эту информацию можно представить в виде эллипсоида , полуоси которого равны собственным значениям и направлены вдоль соответствующих им собственных векторов. ^[9]${\displaystyle \lambda _{1},\lambda _{2},\lambda _{3}}$${\displaystyle S_{w}[p]}$${\displaystyle e_{1},e_{2},e_{3}}$${\displaystyle w}$

В частности, если эллипсоид вытянут вдоль одной оси, как сигара (то есть, если намного больше , чем оба , и ), то это означает , что градиент в окне преимущественно выровнены с направлением , так что изоповерхности из , как правило , быть плоским и перпендикулярно этому вектору. Такая ситуация возникает, например, когда p лежит на тонком пластинчатом элементе или на гладкой границе между двумя областями с контрастирующими значениями.${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle \lambda _{3}}$${\displaystyle e_{1}}$${\displaystyle I}$

Структурный тензорный эллипсоид поверхностноподобной окрестности (« прибой »), где .${\displaystyle \lambda _{1}>\!>\lambda _{2}\approx \lambda _{3}}$

Трехмерное окно, охватывающее гладкую граничную поверхность между двумя однородными областями трехмерного изображения.

Соответствующий структурный тензорный эллипсоид.

Если эллипсоид сплющен только в одном направлении, как блин (то есть, если он намного меньше, чем оба и ), это означает, что направления градиента растянуты, но перпендикулярны ; так что изоповерхности имеют тенденцию быть похожими на трубы, параллельные этому вектору. Такая ситуация возникает, например, когда p лежит на тонком линейчатом элементе или на остром углу границы между двумя областями с контрастирующими значениями.${\displaystyle \lambda _{3}}$${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle e_{3}}$

Структурный тензор линейной окрестности («кривизны»), где .${\displaystyle \lambda _{1}\approx \lambda _{2}>\!>\lambda _{3}}$

Трехмерное окно, охватывающее линейный объект трехмерного изображения.

Соответствующий структурный тензорный эллипсоид.

Наконец, если эллипсоид примерно сферический (то есть, если ), это означает, что направления градиента в окне более или менее равномерно распределены без явного предпочтения; так что функция в этой окрестности в основном изотропна. Это происходит, например, когда функция имеет сферическую симметрию в окрестности p . В частности, если эллипсоид вырождается в точку (то есть, если три собственных значения равны нулю), это означает, что он постоянен (имеет нулевой градиент) в пределах окна.${\displaystyle \lambda _{1}\approx \lambda _{2}\approx \lambda _{3}}$${\displaystyle I}$${\displaystyle I}$

Структурный тензор в изотропной окрестности, где .${\displaystyle \lambda _{1}\approx \lambda _{2}\approx \lambda _{3}}$

3D-окно, содержащее сферический элемент 3D-изображения.

Соответствующий структурный тензорный эллипсоид.

Тензор многомасштабной структуры [ править ]

Структурный тензор - важный инструмент в анализе масштабного пространства . Многомасштабный структурный тензор (или многомасштабный второй момент матрица ) функции в отличии от других однопараметрического масштаба пространства Характеристики дескриптор изображения , которое определенно над двух параметрами масштаба. Один параметр масштаба, называемый локальным масштабом , необходим для определения величины предварительного сглаживания при вычислении градиента изображения . Другой параметр масштаба, называемый масштабом интеграции , необходим для определения пространственной протяженности оконной функции.${\displaystyle I}$ ${\displaystyle t}$${\displaystyle (\nabla I)(x;t)}$ ${\displaystyle s}$${\displaystyle w(\xi ;s)}$который определяет веса для области в пространстве, в которой накапливаются компоненты внешнего продукта градиента .${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$

Точнее, предположим, что это сигнал с действительным знаком, определенный в . Для любого локального масштаба пусть многомасштабное представление этого сигнала задается как где представляет ядро ​​предварительного сглаживания. Кроме того, пусть обозначает градиент представления масштабного пространства . Тогда многомасштабная матрица тензора структуры / второго момента определяется как ^{[7] [10] [11]}${\displaystyle I}$${\displaystyle \mathbb {R} ^{k}}$${\displaystyle t>0}$${\displaystyle I(x;t)}$${\displaystyle I(x;t)=h(x;t)*I(x)}$${\displaystyle h(x;t)}$${\displaystyle (\nabla I)(x;t)}$

${\displaystyle \mu (x;t,s)=\int _{\xi \in \mathbb {R} ^{k}}(\nabla I)(x-\xi ;t)\,(\nabla I)^{\text{T}}(x-\xi ;t)\,w(\xi ;s)\,d\xi }$

Концептуально может возникнуть вопрос, достаточно ли использовать какие-либо самоподобные семейства сглаживающих функций и . Однако, если кто-то наивно применит, например, блочный фильтр, могут легко возникнуть нежелательные артефакты. Если кто-то хочет, чтобы тензор многомасштабной структуры вел себя хорошо как в увеличивающихся локальных масштабах, так и в увеличивающихся масштабах интегрирования , то можно показать, что и функция сглаживания, и оконная функция должны быть гауссовскими. ^[7] Условия, определяющие эту уникальность, аналогичны аксиомам масштабного пространства , которые используются для вывода уникальности гауссова ядра для регулярного гауссовского масштабного пространства интенсивностей изображений.${\displaystyle h(x;t)}$${\displaystyle w(\xi ;s)}$${\displaystyle t}$${\displaystyle s}$

Существуют различные способы обработки двухпараметрических вариаций масштаба в этом семействе дескрипторов изображений. Если мы сохраним параметр локального масштаба фиксированным и применим все более расширенные версии оконной функции, увеличивая только параметр масштаба интегрирования , то мы получим истинное формальное пространственное представление данных направления, вычисленных в данном локальном масштабе . ^[7] Если мы объединим локальный масштаб и масштаб интегрирования с помощью шкалы относительного интегрирования , так что тогда для любого фиксированного значения мы получим уменьшенную автомодельную однопараметрическую вариацию, которая часто используется для упрощения вычислительных алгоритмов, например в обнаружении угла${\displaystyle t}$${\displaystyle s}$ ${\displaystyle t}$ ${\displaystyle r\geq 1}$${\displaystyle s=rt}$${\displaystyle r}$, обнаружение точек интереса , анализ текстуры и сопоставление изображений . Изменяя относительный масштаб интегрирования в таком автомодельном масштабе, мы получаем другой альтернативный способ параметризации многомасштабного характера направленных данных, полученных путем увеличения масштаба интегрирования.${\displaystyle r\geq 1}$

Концептуально аналогичное построение может быть выполнено для дискретных сигналов, при этом интеграл свертки заменяется суммой свертки, а непрерывное гауссово ядро заменяется дискретным гауссовым ядром :${\displaystyle g(x;t)}$ ${\displaystyle T(n;t)}$

${\displaystyle \mu (x;t,s)=\sum _{n\in \mathbb {Z} ^{k}}(\nabla I)(x-n;t)\,(\nabla I)^{\text{T}}(x-n;t)\,w(n;s)}$

При квантовании параметров шкалы и в реальной реализации обычно используется конечная геометрическая прогрессия , где i находится в диапазоне от 0 до некоторого максимального индекса шкалы m . Таким образом, уровни дискретного масштаба будут иметь определенное сходство с пирамидой изображений , хотя пространственная субдискретизация не обязательно может использоваться для сохранения более точных данных для последующих этапов обработки.${\displaystyle t}$${\displaystyle s}$${\displaystyle \alpha ^{i}}$

Приложения [ править ]

Собственные структуры тензор играет существенную роль во многих алгоритмах обработки изображений, для таких проблем , как обнаружение угла , обнаружение точки процентной и отслеживания особенности . ^{[9] [12] [13] [14] [15] [16] [17]} Тензор структуры также играет центральную роль в алгоритме оптического потока Лукаса-Канаде и в его расширениях для оценки адаптации аффинной формы ; ^[10] где величина является показателем надежности вычисленного результата. Тензор использовался для анализа масштабного пространства ^[7]${\displaystyle \lambda _{2}}$оценка локальной ориентации поверхности по сигналам монокуляра или бинокля, ^[11] нелинейное улучшение отпечатков пальцев , ^[18] обработка изображений на основе диффузии , ^{[19] [20] [21] [22]} и ряд других проблем обработки изображений. Тензор структуры также может применяться в геологии для фильтрации сейсмических данных. ^[23]

Обработка пространственно-временных видеоданных с помощью структурного тензора [ править ]

Тензор трехмерной структуры использовался для анализа трехмерных видеоданных (рассматриваемых как функция от x , y и времени t ). ^[4] Если один в этом контексте нацелен на дескрипторы изображения, которые инвариантны относительно преобразований Галилея, чтобы сделать возможным сравнение измерений изображения, которые были получены при вариациях априори неизвестных скоростей изображения${\displaystyle v=(v_{x},v_{y})^{\text{T}}}$

${\displaystyle {\begin{bmatrix}x'\\y'\\t'\end{bmatrix}}=G{\begin{bmatrix}x\\y\\t\end{bmatrix}}={\begin{bmatrix}x-v_{x}\,t\\y-v_{y}\,t\\t\end{bmatrix}}}$,

однако с вычислительной точки зрения предпочтительнее параметризовать компоненты в матрице структурного тензора / второго момента, используя понятие диагонализации Галилея ^[24]${\displaystyle S}$

${\displaystyle S'=R_{\text{space}}^{-{\text{T}}}\,G^{-{\text{T}}}\,S\,G^{-1}\,R_{\text{space}}^{-1}={\begin{bmatrix}\nu _{1}&\,&\,\\\,&\nu _{2}&\,\\\,&\,&\nu _{3}\end{bmatrix}}}$

где обозначает преобразование Галилея пространства-времени и двумерное вращение в пространственной области по сравнению с вышеупомянутым использованием собственных значений тензора трехмерной структуры, что соответствует разложению на собственные значения и (нефизическому) трехмерному вращению пространства-времени${\displaystyle G}$${\displaystyle R_{\text{space}}}$

${\displaystyle S''=R_{\text{spacetime}}^{-{\text{T}}}\,S\,R_{\text{spacetime}}^{-1}={\begin{bmatrix}\lambda _{1}&&\\&\lambda _{2}&\\&&\lambda _{3}\end{bmatrix}}}$.

Однако, чтобы получить истинную галилееву инвариантность, также необходимо адаптировать форму пространственно-временной оконной функции ^{[24] [25],} соответствующую переносу аффинной адаптации формы ^[10] из пространственных данных в пространственно-временные данные изображения. В сочетании с локальными дескрипторами пространственно-временных гистограмм ^[26] эти концепции вместе позволяют Галилееву инвариантное распознавание пространственно-временных событий. ^[27]

См. Также [ править ]

• Тензор
• Тензорный оператор
• Производная по направлению
• Гауссовский
• Обнаружение углов
• Обнаружение края
• Метод Лукаса-Канаде
• Адаптация аффинной формы
• Обобщенный структурный тензор

Ссылки [ править ]

Ресурсы [ править ]

• Скачать исходный код MATLAB
• Учебное пособие по тензорной структуре (оригинал)