В компьютерном зрении , то Kanade-Лукас-Томази (КЛТ) функция отслеживания является подход к извлечения признаков . Предлагается в основном с целью решения этой проблемы , что традиционные регистрационные изображения методы , как правило , дорого. KLT использует информацию о пространственной интенсивности для поиска позиции, которая дает наилучшее совпадение. Это быстрее, чем традиционные методы для изучения гораздо меньшего количества потенциальных совпадений между изображениями.
Проблема регистрации
Традиционную задачу регистрации изображений можно охарактеризовать следующим образом: Даны две функции а также , представляющие значения пикселей в каждом месте на двух изображениях соответственно, где вектор. Мы хотим найти вектор несоответствия что минимизирует некоторую разницу между а также , для в каком-то интересном регионе .
Некоторые меры разницы между а также :
- L 1 норма =
- L 2 норма =
- Отрицательная нормализованная корреляция
=
Базовое описание алгоритма регистрации
Функциональный трекер KLT основан на двух статьях:
В первой статье Лукас и Канаде [1] развили идею локального поиска с использованием градиентов, взвешенных путем приближения ко второй производной изображения.
Одномерный случай
Если это смещение между двумя изображениями а также тогда делается приближение, что
чтобы
Это приближение к градиенту изображения является точным только в том случае, если смещение локальной области между двумя регистрируемыми изображениями не слишком велико. Приближение к зависит от . Для объединения различных оценок при различных значениях , их естественно усреднить:
Среднее значение может быть дополнительно улучшено путем взвешивания вклада каждого члена в него, который обратно пропорционален оценке , где
Для облегчения выражения определена весовая функция :
Таким образом, среднее значение с взвешиванием составляет:
После получения сметы может быть перемещен оценкой . Процедура применяется многократно, что дает тип итерации Ньютона – Рафсона . Последовательность оценок будет идеально сходиться к лучшему.. Итерацию можно выразить как
Альтернативный вывод
Приведенный выше вывод не может быть хорошо обобщен на два измерения, поскольку двумерное линейное приближение происходит по-другому. Это можно исправить, применив линейное приближение в виде:
найти который минимизирует меру L 2 нормы разницы (или ошибки) между кривыми, где ошибка может быть выражена как:
Чтобы минимизировать ошибку относительно , частично дифференцировать и установите его на ноль:
- ,
Это в основном то же самое, что и в одномерном случае, за исключением того факта, что весовая функция А форму итерации с взвешиванием можно выразить как:
Представление
Чтобы оценить производительность алгоритма, нам, естественно, интересно узнать, при каких условиях и с какой скоростью последовательностьсходится к реальному .
Рассмотрим случай:
Обе версии алгоритма регистрации сойдутся к правильному для , т. е. для начальных рассогласований величиной до половины длины волны. Диапазон сходимости может быть улучшен путем подавления высоких пространственных частот в изображении, что может быть достигнуто путем сглаживания изображения, что также нежелательно подавляет его мелкие детали. Если окно сглаживания намного больше, чем размер сопоставляемого объекта, объект может быть полностью подавлен, так что сопоставление станет невозможным.
Поскольку изображения с фильтром нижних частот могут быть отобраны с более низким разрешением без потери информации, принята стратегия от грубого к точному. Для получения приблизительного соответствия можно использовать сглаженную версию изображения с низким разрешением. Применение алгоритма к изображениям с более высоким разрешением позволит уточнить соответствие, полученное при более низком разрешении.
Поскольку сглаживание расширяет диапазон сходимости, весовая функция повышает точность приближения, ускоряя сходимость. Без взвешивания расчетное смещение первой итерации с спадает до нуля, когда смещение приближается к половине длины волны.
Выполнение
Реализация требует расчета взвешенных сумм величин а также по интересующему региону Хотя не может быть рассчитан точно, его можно оценить по:
где выбирается соответственно малым.
Некоторые сложные методы могут использоваться для оценки первых производных, но в целом такие методы эквивалентны сначала сглаживанию функции, а затем взятию разницы.
Обобщение на несколько измерений
Алгоритм регистрации для 1-D и 2-D может быть обобщен на большее количество измерений. Для этого мы пытаемся минимизировать норму ошибки L 2 :
где а также являются n-мерными векторами-строками.
Аналогичное линейное приближение:
И частично дифференцировать относительно :
- ,
который имеет почти ту же форму, что и 1-D версия.
Дальнейшие обобщения
Этот метод также можно расширить, чтобы учесть регистрацию на основе более сложных преобразований, таких как вращение, масштабирование и сдвиг, с учетом
где является линейным пространственным преобразованием. В этом случае ошибка, которую необходимо минимизировать, будет
Чтобы определить сумму отрегулировать а также отрегулировать , опять же, воспользуемся линейным приближением:
Приближение можно использовать аналогично, чтобы найти выражение ошибки, которое становится квадратичным в величинах, которые необходимо минимизировать по отношению к. Выяснив выражение ошибки, дифференцируйте его по величине, которую необходимо минимизировать, и установите нулевые результаты, получив набор линейных уравнений, затем решите их.
Дальнейшее обобщение предназначено для учета того факта, что яркость может отличаться в двух видах из-за разницы точек обзора камер или из-за различий в обработке двух изображений. Предположим разницу как линейное преобразование:
где представляет собой настройку контрастности и представляет собой регулировку яркости.
Объединяя это выражение с общей задачей регистрации линейного преобразования:
как количество, которое нужно минимизировать по отношению к а также
Обнаружение и отслеживание точечных объектов
Во второй статье Томаси и Канаде [2] использовали тот же самый базовый метод для поиска регистрации из-за перевода, но улучшили метод, добавив функции отслеживания, которые подходят для алгоритма отслеживания. Предлагаемые функции будут выбраны, если оба собственных значения градиентной матрицы превышают некоторый порог.
По очень похожему выводу проблема формулируется как
где это градиент. Это то же самое, что и последняя формула Лукаса – Канаде, приведенная выше. Локальный патч считается хорошей функцией для отслеживания, если оба из двух собственных значений ( а также ) из больше порога.
Метод отслеживания, основанный на этих двух документах, обычно считается трекером KLT.
Улучшения и вариации
В третьей статье Ши и Томази [3] предложили дополнительный этап проверки правильности отслеживания объектов.
Аффинное преобразование соответствует между изображением отслеживаемого в данный момент объекта и его изображением из непоследовательного предыдущего кадра. Если аффинно-скомпенсированное изображение слишком непохоже, функция отбрасывается.
Причина в том, что между последовательными кадрами трансляция является достаточной моделью для отслеживания, но из-за более сложного движения, эффектов перспективы и т. Д. Требуется более сложная модель, когда кадры находятся дальше друг от друга.
Используя аналогичный вывод, что и для KLT, Ши и Томаси показали, что поиск может быть выполнен по формуле
где - матрица градиентов, - вектор аффинных коэффициентов и - вектор ошибок. Сравните это с.
Рекомендации
- ^ Брюс Д. Лукас и Такео Канаде. Метод итерационной регистрации изображений в приложении к стереозрению . Международная совместная конференция по искусственному интеллекту , страницы 674–679, 1981.
- ↑ Карло Томази и Такео Канаде. Обнаружение и отслеживание точечных объектов. Технический отчет Университета Карнеги-Меллона CMU-CS-91-132 , апрель 1991 г.
- ^ Цзяньбо Ши и Карло Томази. Хорошие возможности для отслеживания. Конференция IEEE по компьютерному зрению и распознаванию образов , страницы 593–600, 1994.
Смотрите также
- Особенности Канаде – Томаси в контексте обнаружения признаков
- Метод Лукаса – Канаде. Алгоритм оптического потока, полученный из справочного материала 1.