Детектор аффинной области Харриса

В области компьютерного зрения и анализа изображений , то Харрис аффинное детектор область относится к категории обнаружения особенностей . Обнаружение функций - это этап предварительной обработки нескольких алгоритмов, которые полагаются на определение характерных точек или точек интереса, чтобы установить соответствия между изображениями, распознать текстуры, распределить объекты по категориям или построить панорамы.

Обзор [ править ]

Аффинный детектор Харриса может идентифицировать похожие области между изображениями, которые связаны посредством аффинных преобразований и имеют разное освещение. Эти аффинно-инвариантные детекторы должны быть способны идентифицировать похожие области на изображениях, снятых с разных точек обзора, которые связаны простым геометрическим преобразованием: масштабированием, вращением и сдвигом. Эти обнаруженные области были названы как инвариантными, так и ковариантными . С одной стороны, области обнаруживаются инвариантно по отношению к преобразованию изображения, но области ковариантно изменяются с преобразованием изображения. ^[1]Не зацикливайтесь на этих двух соглашениях об именах; Важно понимать, что дизайн этих точек интереса сделает их совместимыми с изображениями, снятыми с разных точек зрения. Другие детекторы, которые являются аффинно-инвариантными, включают детектор аффинной области Гессе , максимально устойчивые экстремальные области , детектор заметности Кадира – Брейди , краевые области (EBR) и области, основанные на экстремумах интенсивности (IBR).

Миколайчик и Шмид (2002) впервые описали аффинный детектор Харриса в том виде, в котором он используется сегодня в детекторе аффинно- инвариантных точек интереса . ^[2] Более ранние работы в этом направлении включают использование аффинной адаптации формы Линдеберга и Гардинга для вычисления аффинно-инвариантных дескрипторов изображения и, таким образом, уменьшения влияния деформаций перспективного изображения, ^[3] использование аффинно адаптированных точек характеристик для широкого сопоставления базовой линии с Баумберга ^[4] и первое использование масштабно-инвариантных характерных точек Линдебергом; ^{[5] [6] [7]} для обзора теоретических основ. Аффинный детектор Харриса полагается на комбинацию угловых точек, обнаруженных черезОбнаружение углов Харриса , многомасштабный анализ в пространстве шкалы Гаусса и аффинная нормализация с использованием итеративного алгоритма адаптации аффинной формы . Рекурсивный и итерационный алгоритм следует итеративному подходу к обнаружению этих областей:

1. Определите начальные точки региона с помощью масштабно-инвариантного детектора Харриса-Лапласа .
2. Для каждой начальной точки нормализуйте область, чтобы она была аффинно-инвариантной, используя адаптацию аффинной формы .
3. Итеративно оцените аффинную область: выберите правильный масштаб интеграции, масштаб дифференциации и пространственно локализуйте точки интереса.
4. Обновите аффинную область, используя эти масштабы и пространственные локализации.
5. Повторите шаг 3, если критерий остановки не соблюден.

Описание алгоритма [ править ]

Детектор Харриса – Лапласа (начальные точки региона) [ править ]

Аффинный детектор Харриса в значительной степени полагается как на меру Харриса, так и на представление пространства в масштабе Гаусса . Поэтому следует краткое рассмотрение обоих. Для более исчерпывающих выводов см. Определение углов и пространство гауссовского масштаба или связанные с ними статьи. ^{[6] [8]}

Угловая мера Харриса [ править ]

Алгоритм детектора углов Харриса основан на центральном принципе: в углу интенсивность изображения будет сильно изменяться во многих направлениях. В качестве альтернативы это можно сформулировать, исследуя изменения интенсивности из-за сдвигов в локальном окне. Вокруг угловой точки интенсивность изображения сильно изменится, когда окно сдвинуто в произвольном направлении. Следуя этой интуиции и благодаря умному разложению, детектор Харриса использует вторую матрицу моментов в качестве основы для своих угловых решений. (См. Определение угла для более полного вывода). Матрица , также называемая матрицей автокорреляции, имеет значения, тесно связанные с производными интенсивности изображения .${\ displaystyle A}$

${\ displaystyle A (\ mathbf {x}) = \ sum _ {p, q} w (p, q) {\ begin {bmatrix} I_ {x} ^ {2} (p, q) & I_ {x} I_ {y} (p, q) \\ I_ {x} I_ {y} (p, q) & I_ {y} ^ {2} (p, q) \\\ end {bmatrix}}}$

где и являются соответствующие производные (интенсивности пикселей) в и направление в точке ( , ); и - позиционные параметры весовой функции w. Недиагональные элементы являются произведением и , а диагональные элементы - квадратами соответствующих производных . Весовая функция может быть равномерной, но чаще она является изотропной, круговой гауссовой,${\ displaystyle I_ {x}}$${\ displaystyle I_ {y}}$${\ displaystyle x}$${\ displaystyle y}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle p}$${\ displaystyle q}$${\ displaystyle I_ {x}}$${\ displaystyle I_ {y}}$${\ Displaystyle ш (х, у)}$

${\displaystyle w(x,y)=g(x,y,\sigma )={\frac {1}{2\pi \sigma ^{2}}}e^{\left(-{\frac {x^{2}+y^{2}}{2\sigma ^{2}}}\right)}}$

который действует как среднее в локальном регионе, при этом более тяжело взвешивая значения около центра.

Как оказалось, эта матрица описывает форму меры автокорреляции из-за сдвигов в расположении окна. Таким образом, если мы допустим и будем собственными значениями , то эти значения обеспечат количественное описание того, как мера автокорреляции изменяется в пространстве: ее основные кривизны. Как указывают Харрис и Стивенс (1988), матрица с центром в угловых точках будет иметь два больших положительных собственных значения. ^[8] Вместо извлечения этих собственных значений с помощью таких методов, как разложение по сингулярным числам, используется мера Харриса, основанная на следе и определителе:${\displaystyle A}$${\displaystyle \lambda _{1}}$${\displaystyle \lambda _{2}}$${\displaystyle A}$${\displaystyle A}$

${\displaystyle R=\det(A)-\alpha \operatorname {trace} ^{2}(A)=\lambda _{1}\lambda _{2}-\alpha (\lambda _{1}+\lambda _{2})^{2}}$

где - постоянная. Угловые точки имеют большие положительные собственные значения и, следовательно, будут иметь большую меру Харриса. Таким образом, угловые точки определяются как локальные максимумы меры Харриса, превышающие заданный порог.${\displaystyle \alpha }$

${\displaystyle {\begin{aligned}\{x_{c}\}={\big \{}x_{c}|R(x_{c})>R(x_{i}),\forall x_{i}\in W(x_{c}){\big \}},\\R(x_{c})>t_{threshold}\end{aligned}}}$

где - набор всех угловых точек, - это мера Харриса, вычисленная в , - это 8-соседний набор с центром и заданный порог.${\displaystyle \{x_{c}\}}$${\displaystyle R(x)}$${\displaystyle x}$${\displaystyle W(x_{c})}$${\displaystyle x_{c}}$${\displaystyle t_{threshold}}$

Гауссово масштабное пространство [ править ]

Пространственное представление изображения в масштабе Гаусса - это набор изображений, полученных в результате свертки ядра Гаусса различных размеров с исходным изображением. В целом представление можно сформулировать как:

${\displaystyle L(\mathbf {x} ,s)=G(s)\otimes I(\mathbf {x} )}$

где - изотропное круговое гауссово ядро, как определено выше. Свертка с гауссовым ядром сглаживает изображение, используя окно размером с ядро. Более крупный масштаб, соответствует более гладкому результирующему изображению. Миколайчик и Шмид (2001) отмечают, что производные и другие измерения должны быть нормализованы по шкалам. ^[9] Производная порядка , должна быть нормализована коэффициентом следующим образом:${\displaystyle G(s)}$${\displaystyle s}$${\displaystyle m}$${\displaystyle D_{i_{1},...i_{m}}}$${\displaystyle s^{m}}$

${\displaystyle D_{i_{1},\dots ,i_{m}}(\mathbf {x} ,s)=s^{m}L_{i_{1},\dots ,i_{m}}(\mathbf {x} ,s)}$

Эти производные или любую произвольную меру можно адаптировать к представлению в пространстве шкалы , вычислив эту меру с использованием набора шкал рекурсивно там, где она находится . См. Масштабное пространство для более полного описания.${\displaystyle nth}$${\displaystyle s_{n}=k^{n}s_{0}}$

Комбинирование детектора Харриса в гауссовском масштабном пространстве [ править ]

Харрис-Лаплас детектор сочетает в себе традиционный 2D Харрис детектор с идеей гауссовского масштабом пространства представления для создания масштабно-инвариантного детектора. Угловые точки Харриса являются хорошей отправной точкой, потому что, как было показано, они обладают хорошей инвариантностью к вращению и освещению в дополнение к идентификации интересных точек изображения. ^[10] Однако точки не являются масштабно-инвариантными, и поэтому матрица второго момента должна быть изменена, чтобы отразить свойство масштабной инвариантности. Обозначим, как масштабно адаптированную матрицу второго момента, используемую в детекторе Харриса-Лапласа.${\displaystyle M=\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})}$

${\displaystyle M=\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})=\sigma _{D}^{2}g(\sigma _{I})\otimes {\begin{bmatrix}L_{x}^{2}(\mathbf {x} ,\sigma _{D})&L_{x}L_{y}(\mathbf {x} ,\sigma _{D})\\L_{x}L_{y}(\mathbf {x} ,\sigma _{D})&L_{y}^{2}(\mathbf {x} ,\sigma _{D})\end{bmatrix}}}$^[11]

где - гауссово ядро ​​масштаба и . Подобно пространству в масштабе Гаусса, это сглаженное по Гауссу изображение. Оператор обозначает свертку. и - производные в соответствующем направлении, примененные к сглаженному изображению и вычисленные с использованием гауссова ядра с масштабом . С точки зрения нашей структуры масштабного пространства Гаусса, параметр определяет текущий масштаб, в котором обнаруживаются угловые точки Харриса.${\displaystyle g(\sigma _{I})}$${\displaystyle \sigma _{I}}$${\displaystyle \mathbf {x} =(x,y)}$${\displaystyle L(\mathbf {x} )}$${\displaystyle \mathbf {\otimes } }$${\displaystyle L_{x}(\mathbf {x} ,\sigma _{D})}$${\displaystyle L_{y}(\mathbf {x} ,\sigma _{D})}$${\displaystyle \sigma _{D}}$${\displaystyle \sigma _{I}}$

Детектор Харриса-Лапласа, основанный на этой адаптированной к масштабу матрице второго момента, представляет собой двоякий процесс: применение углового детектора Харриса в нескольких масштабах и автоматический выбор характерного масштаба .

Многоуровневые угловые точки Харриса [ править ]

Алгоритм выполняет поиск по фиксированному количеству предопределенных шкал. Этот набор шкал определяется как:

${\displaystyle {\sigma _{1}\dots \sigma _{n}}={k^{1}\sigma _{0}\dots k^{n}\sigma _{0}}}$

Миколайчик и Шмид (2004) используют . Для каждой степени интеграции, , выбранный из этого множества, соответствующий масштаб дифференциации выбирается так, чтобы быть постоянным фактором интеграции масштаба: . Миколайчик и Шмид (2004) использовали . ^[11] Используя эти шкалы, точки интереса обнаруживаются с помощью меры Харриса на матрице. Cornerness, как типичная мера Харриса, определяются как:${\displaystyle k=1.4}$${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}=s\sigma _{I}}$${\displaystyle s=0.7}$${\displaystyle \mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}})}$

${\displaystyle {\mathit {cornerness}}=\det(\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}}))-\alpha \operatorname {trace} ^{2}(\mu (\mathbf {x} ,\sigma _{\mathit {I}},\sigma _{\mathit {D}}))}$

Как и в традиционном детекторе Харриса, угловые точки - это те локальные (8-точечное соседство) максимумы угла , которые превышают заданный порог.

Идентификация шкалы характеристик [ править ]

Итерационный алгоритм, основанный на Lindeberg (1998), как пространственно локализует угловые точки, так и выбирает характерный масштаб . ^[6] Итерационный поиск состоит из трех ключевых шагов, которые выполняются для каждой точки, которая была первоначально обнаружена в масштабе многомасштабным детектором Харриса ( указывает итерацию):${\displaystyle \mathbf {x} }$${\displaystyle \sigma _{I}}$${\displaystyle k}$${\displaystyle kth}$

• Выберите масштаб, который максимизирует лапласиан гауссиана (LoG) в заранее определенном диапазоне соседних масштабов.${\displaystyle \sigma _{I}^{(k+1)}}$ Соседние масштабы обычно выбираются из диапазона, который находится в пределах окрестности двух пространственных масштабов . То есть, если исходные точки были обнаружены с использованием коэффициента масштабирования между последовательными масштабами, соседство с двумя пространственными масштабами является диапазоном . Таким образом гауссова весы исследованные являются: . Измерение LoG определяется как:${\displaystyle 1.4}$${\displaystyle t\in [0.7,\dots ,1.4]}$${\displaystyle \sigma _{I}^{(k+1)}=t\sigma _{I}^{k}}$

${\displaystyle |LoG(\mathbf {x} ,\sigma _{I})|=\sigma _{I}^{2}|L_{xx}(\mathbf {x} ,\sigma _{I})+L_{yy}(\mathbf {x} ,\sigma _{I})|}$

где и - вторые производные по соответствующим направлениям. ^[12] фактор (как обсуждалось выше в гауссовой шкале пространства) используется для нормализации LOG по шкалам и сделать эти меры сопоставимы, таким образом делая максимум актуальной. Миколайчик и Шмид (2001) демонстрируют, что показатель LoG достигает наивысшего процента правильно обнаруженных угловых точек по сравнению с другими показателями выбора шкалы. ^[9] Масштаб, который максимизирует эту меру LoG в окрестности двух масштабных пространств, считается характеристическим масштабом , и используется в последующих итерациях. Если не найдено ни экстремумов, ни максимумов LoG, эта точка исключается из будущих поисков.${\displaystyle L_{xx}}$${\displaystyle L_{yy}}$${\displaystyle \sigma _{I}^{2}}$ ${\displaystyle \sigma _{I}^{(k+1)}}$

• По характерному масштабу точки локализованы в пространстве. То есть точка выбирается так, чтобы максимизировать угловую меру Харриса ( угловость, как определено выше) в пределах локальной окрестности 8 × 8.${\displaystyle \mathbf {x} ^{(k+1)}}$
• Критерий остановки : и .${\displaystyle \sigma _{I}^{(k+1)}==\sigma _{I}^{(k)}}$${\displaystyle \mathbf {x} ^{(k+1)}==\mathbf {x} ^{(k)}}$

Если критерий остановки не соблюден, алгоритм повторяется с шага 1, используя новые точки и шкалу. Когда критерий остановки соблюден, найденные точки представляют собой те, которые максимизируют LoG по масштабам (выбор шкалы) и максимизируют угловую меру Харриса в локальной окрестности (пространственный выбор).${\displaystyle k+1}$

Аффинно-инвариантные точки [ править ]

Математическая теория [ править ]

Точки, обнаруженные Харрисом-Лапласом, не зависят от масштаба и хорошо подходят для изотропных областей, которые просматриваются под одним и тем же углом обзора. Чтобы быть инвариантным к произвольным аффинным преобразованиям (и точкам зрения), математическая структура должна быть пересмотрена. Матрица второго момента определяется в более общем виде для анизотропных областей:${\displaystyle \mathbf {\mu } }$

${\displaystyle \mu (\mathbf {x} ,\Sigma _{I},\Sigma _{D})=\det(\Sigma _{D})g(\Sigma _{I})*(\nabla L(\mathbf {x} ,\Sigma _{D})\nabla L(\mathbf {x} ,\Sigma _{D})^{T})}$

где и - ковариационные матрицы, определяющие шкалы гауссовского ядра дифференцирования и интегрирования. Хотя это может сильно отличаться от матрицы второго момента в детекторе Харриса-Лапласа; это на самом деле идентично. Более ранняя матрица была 2D-изотропной версией, в которой ковариационные матрицы и представляли собой единичные матрицы 2x2, умноженные на коэффициенты и , соответственно. В новой формулировке гауссовские ядра можно рассматривать как многомерные гауссовские распределения.${\displaystyle \Sigma _{I}}$${\displaystyle \Sigma _{D}}$${\displaystyle \mu }$${\displaystyle \Sigma _{I}}$${\displaystyle \Sigma _{D}}$${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}}$в отличие от однородного гауссова ядра. Равномерное гауссово ядро ​​можно рассматривать как изотропную круговую область. Точно так же более общее ядро ​​Гаусса определяет эллипсоид. Фактически, собственные векторы и собственные значения ковариационной матрицы определяют поворот и размер эллипсоида. Таким образом, мы можем легко увидеть, что это представление позволяет нам полностью определить произвольную эллиптическую аффинную область, по которой мы хотим интегрировать или дифференцировать.

Цель аффинно-инвариантного детектора - идентифицировать области на изображениях, которые связаны посредством аффинных преобразований. Таким образом, мы рассматриваем точку и преобразованную точку , где A - аффинное преобразование. В случае с изображениями оба и живут в космосе. Матрицы второго момента связаны следующим образом: ^[3]${\displaystyle \mathbf {x} _{L}}$${\displaystyle \mathbf {x} _{R}=A\mathbf {x} _{L}}$${\displaystyle \mathbf {x} _{R}}$${\displaystyle \mathbf {x} _{L}}$${\displaystyle R^{2}}$

${\displaystyle {\begin{aligned}\mu (\mathbf {x} _{L},\Sigma _{I,L},\Sigma _{D,L})&{}=A^{T}\mu (\mathbf {x} _{R},\Sigma _{I,R},\Sigma _{D,R})A\\M_{L}&{}=\mu (\mathbf {x} _{L},\Sigma _{I,L},\Sigma _{D,L})\\M_{R}&{}=\mu (\mathbf {x} _{R},\Sigma _{I,R},\Sigma _{D,R})\\M_{L}&{}=A^{T}M_{R}A\\\Sigma _{I,R}&{}=A\Sigma _{I,L}A^{T}{\text{ and }}\Sigma _{D,R}=A\Sigma _{D,L}A^{T}\end{aligned}}}$

где и - ковариационные матрицы для системы отсчета. Если мы продолжим эту формулировку и обеспечим ее соблюдение${\displaystyle \Sigma _{I,b}}$${\displaystyle \Sigma _{D,b}}$${\displaystyle b}$

${\displaystyle {\begin{aligned}\Sigma _{I,L}=\sigma _{I}M_{L}^{-1}\\\Sigma _{D,L}=\sigma _{D}M_{L}^{-1}\end{aligned}}}$

где и - скалярные множители, можно показать, что ковариационные матрицы для связанной точки связаны аналогичным образом:${\displaystyle \sigma _{I}}$${\displaystyle \sigma _{D}}$

${\displaystyle {\begin{aligned}\Sigma _{I,R}=\sigma _{I}M_{R}^{-1}\\\Sigma _{D,R}=\sigma _{D}M_{R}^{-1}\end{aligned}}}$

Требование, чтобы ковариационные матрицы удовлетворяли этим условиям, приводит к появлению нескольких хороших свойств. Одно из этих свойств состоит в том, что квадратный корень из матрицы второго момента преобразует исходную анизотропную область в изотропные области, которые связаны просто через матрицу чистого вращения . Эти новые изотропные области можно рассматривать как нормализованную систему отсчета. Следующие уравнения формулируют связь между нормализованными точками и :${\displaystyle M^{\tfrac {1}{2}}}$${\displaystyle R}$${\displaystyle x_{R}^{'}}$${\displaystyle x_{L}^{'}}$

${\displaystyle {\begin{aligned}A=M_{R}^{-{\tfrac {1}{2}}}RM_{L}^{\tfrac {1}{2}}\\x_{R}^{'}=M_{R}^{\tfrac {1}{2}}x_{R}\\x_{L}^{'}=M_{L}^{\tfrac {1}{2}}x_{L}\\x_{L}^{'}=Rx_{R}^{'}\\\end{aligned}}}$

Матрицу вращения можно восстановить с помощью методов градиента, подобных тем, которые используются в дескрипторе SIFT . Как обсуждалось с детектором Харриса, собственные значения и собственные векторы матрицы второго момента характеризуют кривизну и форму интенсивностей пикселей. То есть собственный вектор, связанный с наибольшим собственным значением, указывает направление наибольшего изменения, а собственный вектор, связанный с наименьшим собственным значением, определяет направление наименьшего изменения. В двумерном случае собственные векторы и собственные значения определяют эллипс. Для изотропной области она должна быть круглой, а не эллиптической. Это тот случай, когда собственные значения имеют одинаковую величину. Таким образом, мера изотропии вокруг локальной области определяется следующим образом:${\displaystyle M=\mu (\mathbf {x} ,\Sigma _{I},\Sigma _{D})}$

${\displaystyle {\mathcal {Q}}={\frac {\lambda _{\min }(M)}{\lambda _{\max }(M)}}}$

где обозначают собственные значения. У этой меры есть диапазон . Значение соответствует идеальной изотропии.${\displaystyle \lambda }$${\displaystyle [0\dots 1]}$${\displaystyle 1}$

Итерационный алгоритм [ править ]

Используя эту математическую структуру, алгоритм аффинного детектора Харриса итеративно обнаруживает матрицу второго момента, которая преобразует анизотропную область в нормированную область, в которой изотропная мера достаточно близка к единице. Алгоритм использует эту форму адаптации матрицы , , чтобы преобразовать изображение в нормализованной системе отсчета. В этом нормализованном пространстве параметры точек интереса (пространственное положение, масштаб интегрирования и шкала дифференциации) уточняются с использованием методов, аналогичных детектору Харриса-Лапласа. Матрица второго момента вычисляется в этой нормализованной системе отсчета и должна иметь изотропную меру, близкую к единице на последней итерации. На каждом${\displaystyle U}$${\displaystyle k}$На итерации каждая интересующая область определяется несколькими параметрами, которые алгоритм должен обнаружить: матрицей, положением , масштабом интегрирования и масштабом дифференциации . Поскольку детектор вычисляет матрицу второго момента в преобразованной области, это преобразованное положение удобно обозначить как где .${\displaystyle U^{(k)}}$${\displaystyle \mathbf {x} ^{(k)}}$${\displaystyle \sigma _{I}^{(k)}}$${\displaystyle \sigma _{D}^{(k)}}$${\displaystyle \mathbf {x} _{w}^{(k)}}$${\displaystyle U^{(k)}\mathbf {x} _{w}^{(k)}=\mathbf {x^{(k)}} }$

Расчет и реализация [ править ]

Вычислительная сложность детектора Харриса-Аффинного разбита на две части: обнаружение начальной точки и нормализация аффинной области. Алгоритм определения начальной точки, Харрис-Лаплас, имеет сложность, где - количество пикселей в изображении. Алгоритм аффинной области нормализации автоматически определяет масштаб и оценивает адаптационную матрицу формы , . Этот процесс имеет сложность , где - количество начальных точек, - это размер области поиска для автоматического выбора масштаба и - это количество итераций, необходимых для вычисления матрицы. ^[11]${\displaystyle {\mathcal {O}}(n)}$${\displaystyle n}$${\displaystyle U}$${\displaystyle {\mathcal {O}}((m+k)p)}$${\displaystyle p}$${\displaystyle m}$${\displaystyle k}$${\displaystyle U}$

Существуют некоторые методы, позволяющие снизить сложность алгоритма за счет точности. Один из способов - исключить поиск на шаге шкалы дифференциации. Вместо того , чтобы выбрать фактор из множества факторов ускорились вверх алгоритм выбирает масштаб постоянных по итерациям и точкам: . Хотя это сокращение пространства поиска может снизить сложность, это изменение может серьезно повлиять на сходимость матрицы.${\displaystyle s}$${\displaystyle \sigma _{D}=s\sigma _{I},\;s=constant}$${\displaystyle U}$

Анализ [ править ]

Конвергенция [ править ]

Можно представить, что этот алгоритм может идентифицировать повторяющиеся точки интереса в разных масштабах. Поскольку аффинный алгоритм Харриса смотрит на каждую начальную точку, заданную детектором Харриса-Лапласа, независимо, нет различения между идентичными точками. На практике было показано, что в конечном итоге все эти точки сходятся к одной и той же точке интереса. После завершения определения всех точек интереса алгоритм учитывает дубликаты, сравнивая пространственные координаты ( ), масштаб интегрирования , изотропную меру и перекос. ^[11]${\displaystyle \mathbf {x} }$${\displaystyle \sigma _{I}}$${\displaystyle {\tfrac {\lambda _{\min }(U)}{\lambda _{\max }(U)}}}$Если эти параметры точки интереса подобны в пределах указанного порогового значения, они помечаются как дубликаты. Алгоритм отбрасывает все эти повторяющиеся точки, кроме точки интереса, которая наиболее близка к среднему значению дубликатов. Обычно 30% аффинных точек Харриса достаточно различны и различны, чтобы их нельзя было отбросить. ^[11]

Миколайчик и Шмид (2004) показали, что часто начальные точки (40%) не сходятся. Алгоритм обнаруживает это расхождение путем остановки итерационного алгоритма , если обратное изотропного мера больше определенного порогового значения: . Миколайчик и Шмид (2004) используют . Из тех, которые действительно сходились, типичное количество требуемых итераций составляло 10. ^[2]${\displaystyle {\tfrac {\lambda _{\max }(U)}{\lambda _{\min }(U)}}>t_{\text{diverge}}}$${\displaystyle t_{diverge}=6}$

Количественная мера [ править ]

Количественный анализ детекторов аффинных областей учитывает как точность расположения точек, так и перекрытие областей на двух изображениях. Mioklajcyzk и Schmid (2004) расширили критерий повторяемости Schmid et al. (1998) как отношение точечных соответствий к минимуму обнаруженных точек двух изображений. ^{[11] [13]}

${\displaystyle R_{\text{score}}={\frac {C(A,B)}{\min(n_{A},n_{B})}}}$

где - количество соответствующих точек на изображениях и . и - количество обнаруженных точек на соответствующих изображениях. Поскольку каждое изображение представляет собой трехмерное пространство, может случиться так, что одно изображение содержит объекты, которых нет на втором изображении, и, следовательно, точки интереса не имеют шансов на совпадение. Чтобы сделать меру повторяемости действительной, нужно удалить эти точки и рассматривать только те точки, которые лежат на обоих изображениях; и считать только те точки, что . Для пары из двух изображений, связанных посредством матрицы гомографии , две точки и считаются соответствующими, если:${\displaystyle C(A,B)}$${\displaystyle A}$${\displaystyle B}$${\displaystyle n_{B}}$${\displaystyle n_{A}}$${\displaystyle n_{A}}$${\displaystyle n_{B}}$${\displaystyle x_{A}=H\cdot x_{B}}$${\displaystyle H}$${\displaystyle \mathbf {x_{a}} }$${\displaystyle \mathbf {x_{b}} }$

Устойчивость к аффинным и другим преобразованиям [ править ]

Mikolajczyk et al. (2005) сделал тщательный анализ несколько государства в самом современном аффинной области детекторов: Харрис аффинных, Гессиан аффинного , MSER , ^[14] IBR & EBR ^[15] и выступ ^[16] детекторы. ^[1] Mikolajczyk et al. проанализировали как структурированные, так и текстурированные изображения в своей оценке. Бинарные файлы для Linux детекторов и их тестовые изображения находятся в свободном доступе на их веб-странице . Краткое изложение результатов Mikolajczyk et al. (2005) следовать; см . Сравнение детекторов аффинных областей для более количественного анализа.

• Изменение угла обзора: аффинный детектор Харриса обладает разумной (средней) устойчивостью к этим типам изменений. Детектор поддерживает показатель повторяемости выше 50% до тех пор, пока угол обзора не превышает 40 градусов. Детектор имеет тенденцию обнаруживать большое количество повторяемых и согласованных областей даже при большом изменении точки обзора.
• Изменение масштаба: аффинный детектор Харриса остается очень стабильным при изменении масштаба. Хотя количество точек значительно снижается при больших изменениях масштаба (выше 2,8), повторяемость (50-60%) и оценки соответствия (25-30%) остаются очень постоянными, особенно для текстурированных изображений. Это согласуется с высокой производительностью итеративного алгоритма автоматического выбора масштаба.
• Размытые изображения: аффинный детектор Харриса остается очень стабильным при размытости изображения. Поскольку детектор не полагается на сегментацию изображения или границы областей, показатели повторяемости и совпадения остаются постоянными.
• Артефакты JPEG: аффинный детектор Харриса деградирует так же, как и другие аффинные детекторы: показатели повторяемости и совпадения значительно снижаются при сжатии более 80%.
• Изменения освещенности: аффинный детектор Харриса, как и другие аффинные детекторы, очень устойчив к изменениям освещенности: повторяемость и оценки совпадения остаются постоянными при уменьшении освещенности. Этого следовало ожидать, потому что детекторы в значительной степени полагаются на относительные интенсивности (производные), а не на абсолютные интенсивности.

Общие тенденции [ править ]

• Точки аффинной области Харриса обычно малы и многочисленны. И детектор Harris-Affine, и Hessian-Affine последовательно идентифицируют удвоенное количество повторяемых точек по сравнению с другими аффинными детекторами: ~ 1000 областей для изображения 800x640. ^[1] Небольшие области с меньшей вероятностью будут закрыты, но имеют меньшую вероятность перекрытия соседних областей.
• Аффинный детектор Харриса хорошо реагирует на текстурированные сцены, в которых много угловых частей. Однако для некоторых структурированных сцен, таких как здания, детектор Харриса-Аффинного работает очень хорошо. Это дополняет MSER, который имеет тенденцию лучше работать с хорошо структурированными (сегментированными) сценами.
• В целом аффинный детектор Харриса работает очень хорошо, но все еще уступает MSER и Hessian-Affine во всех случаях, кроме размытых изображений.
• Детекторы Harris-Affine и Hessian-Affine менее точны, чем другие: их показатель повторяемости увеличивается с увеличением порога перекрытия.
• Обнаруженные аффинно-инвариантные области могут по-прежнему отличаться поворотом и освещением. Любой дескриптор, который использует эти области, должен учитывать инвариантность при использовании областей для сопоставления или других сравнений.

Приложения [ править ]

• Поиск изображений на основе содержимого ^{[17] [18]}
• Распознавание на основе модели
• Извлечение объекта на видео ^[19]
• Визуальный анализ данных: определение важных объектов, персонажей и сцен в видео ^[20]
• Распознавание и категоризация объектов ^[21]
• Анализ изображений с дистанционным зондированием : обнаружение объектов по изображениям с дистанционным зондированием ^[22]

Пакеты программного обеспечения [ править ]

• Аффинные ковариантные функции : К. Миколайчик поддерживает веб-страницу, которая содержит двоичные файлы Linux детектора Harris-Affine в дополнение к другим детекторам и дескрипторам. Также доступен код Matlab, который можно использовать для иллюстрации и вычисления повторяемости различных детекторов. Также доступны код и изображения для дублирования результатов, найденных в Mikolajczyk et al. (2005) бумага.
• lip-vireo - бинарный код для Linux, Windows и SunOS от исследовательской группы VIREO. Смотрите больше на домашней странице

Внешние ссылки [ править ]

Поищите информацию об анизотропии в Викисловаре, бесплатном словаре.

Поищите информацию об изотропии в Викисловаре, бесплатном словаре.

Поищите affine в Викисловаре, бесплатном словаре.

• [1] - Презентационные слайды Mikolajczyk et al. на их бумаге 2005 года.
• [2] - Лаборатория компьютерного зрения Корделии Шмид.
• [3] - Код, тестовые изображения, библиография аффинных ковариантных функций, поддерживаемая Кристианом Миколайчиком и группой визуальной геометрии из группы робототехники Оксфордского университета.
• [4] - Библиография детекторов признаков (и блобов), поддерживаемая Институтом робототехники и интеллектуальных систем Университета Южной Калифорнии.
• [5] - Цифровая реализация лапласиана Гаусса

См. Также [ править ]

• Гессен-аффинный
• MSER
• Детектор выраженности кадира брэди
• Масштабировать пространство
• Изотропия
• Обнаружение углов
• Обнаружение точки интереса
• Адаптация аффинной формы
• Производные изображения
• Компьютерное зрение
• ASIFT -> Affine-Sift (полностью аффинный инвариантный алгоритм сопоставления изображений)

Ссылки [ править ]