Фазовая корреляция

Фазовая корреляция - это подход к оценке относительного поступательного смещения между двумя похожими изображениями ( корреляция цифрового изображения ) или другими наборами данных. Он обычно используется при регистрации изображений и основан на представлении данных в частотной области , обычно вычисляемом с помощью быстрых преобразований Фурье . Этот термин применяется, в частности, к подмножеству методов взаимной корреляции , которые отделяют фазовую информацию от представления кросс- коррелограммы в пространстве Фурье .

Пример [ править ]

На следующем изображении показано использование фазовой корреляции для определения относительного поступательного движения между двумя изображениями, поврежденными независимым гауссовым шумом. Изображение было переведено на (30,33) пикселей. Соответственно, можно ясно увидеть пик в представлении фазовой корреляции примерно на (30,33).

Метод [ править ]

Учитывая два входных изображения и :${\ Displaystyle \ g_ {а}}$${\ displaystyle \ g_ {b}}$

Примените оконную функцию (например, окно Хэмминга ) к обоим изображениям, чтобы уменьшить краевые эффекты (это может быть необязательным в зависимости от характеристик изображения). Затем вычислите дискретное 2D- преобразование Фурье обоих изображений.

${\displaystyle \ \mathbf {G} _{a}={\mathcal {F}}\{g_{a}\},\;\mathbf {G} _{b}={\mathcal {F}}\{g_{b}\}}$

Вычислите спектр перекрестной мощности , взяв комплексно-сопряженное значение второго результата, поэлементно перемножив преобразования Фурье и нормализовав это произведение поэлементно.

${\displaystyle \ R={\frac {\mathbf {G} _{a}\circ \mathbf {G} _{b}^{*}}{|\mathbf {G} _{a}\circ \mathbf {G} _{b}^{*}|}}}$

Где произведение Адамара ( произведение по входам), и абсолютные значения также берутся по входам. Записано по записи для индекса элемента :${\displaystyle \circ }$${\displaystyle (j,k)}$

${\displaystyle \ R_{jk}={\frac {G_{a,jk}\cdot G_{b,jk}^{*}}{|G_{a,jk}\cdot G_{b,jk}^{*}|}}}$

Получите нормализованную взаимную корреляцию, применив обратное преобразование Фурье.

${\displaystyle \ r={\mathcal {F}}^{-1}\{R\}}$

Определите расположение пика в .${\displaystyle \ r}$

${\displaystyle \ (\Delta x,\Delta y)=\arg \max _{(x,y)}\{r\}}$

Обычно методы интерполяции используются для оценки положения пика на кросс- коррелограмме для нецелочисленных значений, несмотря на то, что данные дискретны, и эту процедуру часто называют «подпиксельной регистрацией». В технической литературе приведено большое количество методов субпиксельной интерполяции. Были использованы обычные методы интерполяции пиков, такие как параболическая интерполяция, а пакет компьютерного зрения OpenCV использует метод на основе центроидов , хотя они, как правило, имеют меньшую точность по сравнению с более сложными методами.

Поскольку представление данных Фурье уже вычислено, для этой цели особенно удобно использовать теорему о сдвиге Фурье с действительными (субцелыми) сдвигами, которая по существу интерполирует с использованием синусоидальных базисных функций преобразования Фурье. Особенно популярная оценка на основе FT дана Foroosh et al. ^[1] В этом методе местоположение пика субпикселя аппроксимируется простой формулой, включающей значение пика пикселя и значения его ближайших соседей, где - значение пика и${\displaystyle r_{(0,0)}}$${\displaystyle r_{(1,0)}}$ является ближайшим соседом в направлении x (предполагая, как и в большинстве подходов, что целочисленный сдвиг уже был найден, и сравниваемые изображения отличаются только субпиксельным сдвигом).

${\displaystyle \ \Delta x={\frac {r_{(1,0)}}{r_{(1,0)}\pm r_{(0,0)}}}}$^{[ требуется разъяснение ]}

The Foroosh et al. метод довольно быстрый по сравнению с большинством методов, но не всегда самый точный. Некоторые методы сдвигают пик в пространстве Фурье и применяют нелинейную оптимизацию, чтобы максимизировать пик коррелограммы, но они, как правило, очень медленные, поскольку они должны применять обратное преобразование Фурье или его эквивалент в целевой функции. ^[2]

Как отмечал Стоун, также возможно вывести положение пика из фазовых характеристик в пространстве Фурье без обратного преобразования. ^[3] Эти методы обычно используют метод линейных наименьших квадратов (LLS) фазовых углов для планарной модели. Большая задержка вычисления фазового угла в этих методах является недостатком, но скорость иногда может быть сравнима с Foroosh et al. метод в зависимости от размера изображения. По скорости они часто выгодно отличаются от многократных итераций чрезвычайно медленных целевых функций в итеративных нелинейных методах.

Поскольку все методы вычисления субпиксельного сдвига в основе своей являются интерполяционными, производительность конкретного метода зависит от того, насколько хорошо базовые данные соответствуют предположениям в интерполяторе. Этот факт также может ограничивать полезность высокой числовой точности в алгоритме, поскольку неопределенность из-за выбора метода интерполяции может быть больше, чем любая численная ошибка или ошибка аппроксимации в конкретном методе.

Методы субпикселей также особенно чувствительны к шуму в изображениях, и полезность конкретного алгоритма отличается не только его скоростью и точностью, но и его устойчивостью к определенным типам шума в приложении.

Обоснование [ править ]

Метод основан на теореме о сдвиге Фурье . Пусть два изображения и будут версиями друг друга со сдвигом по кругу:${\displaystyle \ g_{a}}$${\displaystyle \ g_{b}}$

${\displaystyle \ g_{b}(x,y)\ {\stackrel {\mathrm {def} }{=}}\ g_{a}((x-\Delta x){\bmod {M}},(y-\Delta y){\bmod {N}})}$

(где изображения в размере).${\displaystyle \ M\times N}$

Тогда дискретные преобразования Фурье изображений будут сдвинуты относительно по фазе :

${\displaystyle \mathbf {G} _{b}(u,v)=\mathbf {G} _{a}(u,v)e^{-2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}$

Затем можно вычислить нормализованный спектр перекрестной мощности, чтобы вычесть разность фаз:

${\displaystyle {\begin{aligned}R(u,v)&={\frac {\mathbf {G} _{a}\mathbf {G} _{b}^{*}}{|\mathbf {G} _{a}\mathbf {G} _{b}^{*}|}}\\&={\frac {\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{|\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}|}}\\&={\frac {\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{|\mathbf {G} _{a}\mathbf {G} _{a}^{*}|}}\\&=e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}\end{aligned}}}$

поскольку величина мнимой экспоненты всегда равна единице, а фаза всегда равна нулю.${\displaystyle \ \mathbf {G} _{a}\mathbf {G} _{a}^{*}}$

Обратное преобразование Фурье комплексной экспоненты - это дельта Кронекера , то есть одиночный пик:

${\displaystyle \ r(x,y)=\delta (x+\Delta x,y+\Delta y)}$

Этот результат мог быть получен прямым вычислением взаимной корреляции . Преимущество этого метода заключается в том, что дискретное преобразование Фурье и его обратное можно выполнить с помощью быстрого преобразования Фурье , которое намного быстрее, чем корреляция для больших изображений.

Преимущества [ править ]

В отличие от многих алгоритмов пространственной области, метод фазовой корреляции устойчив к шумам, окклюзиям и другим дефектам, типичным для медицинских или спутниковых изображений. ^{[ необходима цитата ]}

Метод может быть расширен для определения разницы поворота и масштабирования между двумя изображениями, сначала преобразовав изображения в логополярные координаты . Благодаря свойствам преобразования Фурье параметры вращения и масштабирования могут быть определены способом, инвариантным к переносу. ^{[4] [5]}

Ограничения [ править ]

На практике более вероятно, что это будет простой линейный сдвиг , а не круговой сдвиг, как того требует объяснение выше. В таких случаях не будет простой дельта-функции, что снизит производительность метода. В таких случаях во время преобразования Фурье следует использовать оконную функцию (например , окно Гаусса или Тьюки), чтобы уменьшить краевые эффекты, или изображения должны быть дополнены нулями, чтобы краевые эффекты можно было игнорировать. Если изображения состоят из плоского фона со всеми деталями, расположенными далеко от краев, то линейный сдвиг будет эквивалентен круговому сдвигу, и приведенный выше вывод будет точным. Пик может быть увеличен с помощью краевой или векторной корреляции. ^[6]${\displaystyle \ g_{b}}$${\displaystyle \ g_{a}}$${\displaystyle \ r}$

Для периодических изображений (например, шахматной доски) фазовая корреляция может давать неоднозначные результаты с несколькими пиками в конечном результате.

Приложения [ править ]

Фазовая корреляция - это предпочтительный метод преобразования телевизионных стандартов , поскольку он оставляет наименьшее количество артефактов.

См. Также [ править ]

Общий

• Взаимная корреляция
• Масштабированная корреляция

Телевидение

• Преобразование телевизионных стандартов
• Обратное преобразование стандартов

Ссылки [ править ]

Внешние ссылки [ править ]

• Использование Matlab для выполнения нормализованной кросс-корреляции изображений