Адаптация аффинной формы

Адаптация аффинной формы - это методология итеративной адаптации формы сглаживающих ядер в аффинной группе сглаживающих ядер к локальной структуре изображения в области окрестности конкретной точки изображения. Эквивалентно адаптация аффинной формы может быть выполнена путем итеративного деформирования локального фрагмента изображения с помощью аффинных преобразований при применении осесимметричного фильтра к искаженным фрагментам изображения. При условии, что этот итерационный процесс сходится, полученная фиксированная точка будет аффинно-инвариантной . В области компьютерного зрения эта идея использовалась для определения аффинно-инвариантных операторов точки интереса, а также методов анализа аффинно-инвариантной текстуры.

Аффинно-адаптированные операторы точки интереса [ править ]

Точки интереса, полученные с помощью адаптированного к масштабу лапласовского детектора капель или многомасштабного углового детектора Харриса с автоматическим выбором масштаба, инвариантны к сдвигам, поворотам и равномерному изменению масштаба в пространственной области. Однако изображения, входящие в систему компьютерного зрения, также подвержены перспективным искажениям. Чтобы получить точки интереса, которые более устойчивы к перспективным преобразованиям, естественным подходом является разработка детектора признаков, инвариантного к аффинным преобразованиям .

Аффинная инвариантность может быть достигнута путем измерения той же многомасштабной матрицы второго момента с окнами, которая используется в многомасштабном операторе Харриса, при условии, что мы расширим концепцию регулярного масштабного пространства, полученную путем свертки с вращательно-симметричными гауссовыми ядрами, до аффинного гауссова масштаба. пространство, полученное с помощью адаптированных по форме гауссовых ядер (Lindeberg 1994, раздел 15.3; Lindeberg and Garding 1997). Для двумерного изображения , пусть и пусть будет положительно определенная матрица 2 × 2. Тогда неоднородное гауссово ядро ​​можно определить как${\ displaystyle \ mu}$${\ displaystyle I}$${\ displaystyle {\ bar {x}} = (x, y) ^ {T}}$${\ displaystyle \ Sigma _ {t}}$

${\ displaystyle g ({\ bar {x}}; \ Sigma) = {\ frac {1} {2 \ pi {\ sqrt {\ operatorname {det} \ Sigma _ {t}}}}} e ^ {- {\ bar {x}} \ Sigma _ {t} ^ {- 1} {\ bar {x}} / 2}}$

и для любого входного изображения аффинное гауссово масштабное пространство - это трехпараметрическое масштабное пространство, определяемое как${\ displaystyle I_ {L}}$

${\ displaystyle L ({\ bar {x}}; \ Sigma _ {t}) = \ int _ {\ bar {xi}} I_ {L} (x- \ xi) \, g ({\ bar {\ xi}}; \ Sigma _ {t}) \, d {\ bar {\ xi}}.}.$

Затем введите аффинное преобразование, где - матрица 2 × 2, и определите преобразованное изображение как${\displaystyle \eta =B\xi }$${\displaystyle B}$${\displaystyle I_{R}}$

${\displaystyle I_{L}({\bar {\xi }})=I_{R}({\bar {\eta }})}$.

Затем, аффинные масштабно-пространственные представления и из и , соответственно, связаны в соответствии с${\displaystyle L}$${\displaystyle R}$${\displaystyle I_{L}}$${\displaystyle I_{R}}$

${\displaystyle L({\bar {\xi }},\Sigma _{L})=R({\bar {\eta }},\Sigma _{R})}$

при условии, что матрицы аффинной формы и связаны согласно${\displaystyle \Sigma _{L}}$${\displaystyle \Sigma _{R}}$

${\displaystyle \Sigma _{R}=B\Sigma _{L}B^{T}}$.

Не обращая внимания на математические детали, которые, к сожалению, становятся несколько техническими, если кто-то стремится к точному описанию происходящего, важно отметить, что аффинное гауссовское масштабное пространство замкнуто относительно аффинных преобразований .

Если мы, учитывая обозначения, а также локальную матрицу формы и матрицу интегрированной формы , введем аффинно-адаптированную многомасштабную матрицу второго момента в соответствии с${\displaystyle \nabla L=(L_{x},L_{y})^{T}}$${\displaystyle \Sigma _{t}}$${\displaystyle \Sigma _{s}}$

${\displaystyle \mu _{L}({\bar {x}};\Sigma _{t},\Sigma _{s})=g({\bar {x}}-{\bar {\xi }};\Sigma _{s})\,\left(\nabla _{L}({\bar {\xi }};\Sigma _{t})\nabla _{L}^{T}({\bar {\xi }};\Sigma _{t})\right)}$

можно показать, что при любом аффинном преобразовании аффинно-адаптированная многомасштабная матрица второго момента преобразуется в соответствии с${\displaystyle {\bar {q}}=B{\bar {p}}}$

${\displaystyle \mu _{L}({\bar {p}};\Sigma _{t},\Sigma _{s})=B^{T}\mu _{R}({\bar {q}};B\Sigma _{t}B^{T},B\Sigma _{s}B^{T})B}$.

Опять же, не обращая внимания на несколько беспорядочные технические детали, важное сообщение здесь состоит в том, что, учитывая соответствие между точками изображения и , аффинное преобразование может быть оценено по измерениям многомасштабных матриц второго момента и в двух областях.${\displaystyle {\bar {p}}}$${\displaystyle {\bar {q}}}$${\displaystyle B}$${\displaystyle \mu _{L}}$${\displaystyle \mu _{R}}$

Важным следствием этого исследования является то, что если мы сможем найти аффинное преобразование , умноженное на константу единичной матрицы, то мы получим неподвижную точку, инвариантную для аффинных преобразований (Lindeberg 1994, раздел 15.4; Lindeberg and Garding 1997). Для практической реализации это свойство часто может быть достигнуто одним из двух основных способов. Первый подход основан на преобразованиях сглаживающих фильтров и состоит из:${\displaystyle B}$${\displaystyle \mu _{R}}$

• оценка матрицы второго момента в области изображения,${\displaystyle \mu }$
• определение нового адаптированного сглаживающего ядра с ковариационной матрицей, пропорциональной ,${\displaystyle \mu ^{-1}}$
• сглаживание исходного изображения с помощью ядра сглаживания адаптированной формы, и
• повторение этой операции до тех пор, пока разница между двумя последовательными матрицами второго момента не станет достаточно малой.

Второй подход основан на искажениях в области изображения и подразумевает:

• оценка в области изображения,${\displaystyle \mu }$
• оценка локального аффинного преобразования, пропорционального где обозначает матрицу квадратного корня из ,${\displaystyle {\hat {B}}=\mu ^{1/2}}$${\displaystyle \mu ^{1/2}}$${\displaystyle \mu }$
• искажение входного изображения аффинным преобразованием и${\displaystyle {\hat {B}}^{-1}}$
• повторяя эту операцию, пока не будет достаточно близко к постоянному, умноженному на единичную матрицу.${\displaystyle \mu }$

Этот общий процесс называется адаптацией аффинной формы (Lindeberg and Garding 1997; Baumberg 2000; Mikolajczyk and Schmid 2004; Tuytelaars and van Gool 2004; Ravela 2004; Lindeberg 2008). В идеальном непрерывном случае оба подхода математически эквивалентны. Однако на практике первый подход, основанный на фильтре, обычно более точен при наличии шума, в то время как второй подход, основанный на искажении, обычно быстрее.

На практике описанный здесь процесс адаптации аффинной формы часто сочетается с автоматическим выбором шкалы обнаружения точек интереса, как описано в статьях об обнаружении больших двоичных объектов и обнаружении углов , для получения точек интереса, инвариантных для полной аффинной группы, включая изменения масштаба. Помимо широко используемого многомасштабного оператора Харриса, эта адаптация аффинной формы также может применяться к другим типам операторов точки интереса, таким как оператор Лапласа / разности гауссовских капель и определитель гессиана (Lindeberg 2008). Адаптация аффинной формы также может использоваться для распознавания аффинно-инвариантной текстуры и аффинно-инвариантной сегментации текстуры.

Тесно связано с понятием аффинной адаптации формы понятие аффинной нормализации , которое определяет аффинную инвариантную систему отсчета, как далее описано в Lindeberg (2013a, b, 2021: Приложение I.3), так что любое измерение изображения, выполняемое в аффинной инвариантная система отсчета аффинно инвариантна.

См. Также [ править ]

• Обнаружение BLOB-объектов
• Обнаружение углов
• Функция Гаусса
• Детектор аффинной области Харриса
• Детектор аффинной области Гессе
• Масштабировать пространство

Ссылки [ править ]

• А. Баумберг (2000). «Надежное сопоставление функций в широко разделенных представлениях». Труды конференции IEEE по компьютерному зрению и распознаванию образов . С. I: 1774–1781. DOI : 10,1109 / CVPR.2000.855899 .
• Т. Линдеберг (1994). Теория масштабного пространства в компьютерном зрении . Springer. ISBN 0-7923-9418-6.
• Т. Линдеберг и Дж. Гардинг (1997). «Адаптированное к форме сглаживание при оценке трехмерных сигналов глубины от аффинных искажений локальной двумерной структуры» . Вычисления изображений и зрения . 15 (6): 415–434. DOI : 10.1016 / S0262-8856 (97) 01144-X .
• Т. Линдеберг (2008). «Масштаб-пространство» . Энциклопедия компьютерных наук и инженерии ( Бенджамин Ва , изд.), John Wiley and Sons . IV . С. 2495–2504. DOI : 10.1002 / 9780470050118.ecse609 .
• Т. Линдеберг (2013а). «Инвариантность зрительных операций на уровне рецептивных полей» . PLOS ONE . 8 (7): e66990: 1-33. DOI : 10.1371 / journal.pone.0066990 .
• Т. Линдеберг (2013b). «Обобщенная аксиоматическая теория масштабного пространства» . Достижения в области визуализации и электронной физики . 178 (7): 1–96. DOI : 10.1016 / B978-0-12-407701-0.00001-7 .
• Т. Линдеберг (2021). «Нормативная теория зрительных рецептивных полей» . Гелион . 7 (1): e05897. DOI : 10.1016 / j.heliyon.2021.e05897 .
• К. Миколайчик, К. и К. Шмид (2004). "Масштабные и аффинно-инвариантные детекторы точки интереса" (PDF) . Международный журнал компьютерного зрения . 60 (1): 63–86. DOI : 10,1023 / Б: VISI.0000027790.02288.f2 . Интеграция многомасштабного оператора Харриса с методологией автоматического выбора масштаба, а также с адаптацией аффинной формы.
• Т. Туйтелаарс и Л. ван Гул К. (2004). «Согласование широко разделенных представлений на основе аффинно-инвариантных областей» (PDF) . Международный журнал компьютерного зрения . 59 (1): 63–86. DOI : 10,1023 / Б: VISI.0000020671.28016.e8 . Архивировано из оригинального (PDF) 12 июня 2010 года.