Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Для проблемы теории вычислений см проблема соответствия Поста .

Проблема соответствия относится к проблеме установления того, какие части одного изображения соответствуют каким частям другого изображения [1], где различия связаны с движением камеры, истечением времени и / или движением объектов на фотографиях.

Переписка - фундаментальная проблема компьютерного зрения - влиятельный исследователь компьютерного зрения Такео Канаде однажды сказал, что тремя фундаментальными проблемами компьютерного зрения являются: «Переписка, переписка и переписка!» [2] Действительно, соответствие, возможно, является ключевым строительным блоком во многих связанных приложениях: оптический поток (в котором два изображения следуют друг за другом во времени), плотное стереозрение (в котором два изображения взяты из пары стереокамер), структура из движения (SfM) и визуальный SLAM (в котором изображения взяты из разных, но частично перекрывающихся видов сцены) и межсценовое соответствие (в котором изображения полностью взяты из разных сцен).

Обзор [ править ]

Для двух или более изображений одной и той же трехмерной сцены, снятых с разных точек зрения, проблема соответствия относится к задаче поиска набора точек на одном изображении, которые можно идентифицировать как одинаковые точки на другом изображении. Для этого точки или объекты на одном изображении сопоставляются с соответствующими точками или объектами на другом изображении. Изображения могут быть сняты с другой точки зрения, в разное время или с объектами в сцене, которые обычно движутся относительно камеры (камер).

Проблема соответствия может возникать в стерео ситуации, когда используются два изображения одной и той же сцены, или может быть обобщена на проблему соответствия N-ракурсов. В последнем случае изображения могут поступать либо с N разных камер, снимающих одновременно, либо с одной камеры, которая движется относительно сцены. Проблема усложняется, когда объекты в сцене движутся относительно камеры (камер).

Типичное применение проблемы соответствия возникает при создании панорамы или сшивании изображений - когда два или более изображения, которые имеют лишь небольшое перекрытие, должны быть сшиты в более крупное составное изображение. В этом случае необходимо иметь возможность идентифицировать набор соответствующих точек в паре изображений, чтобы вычислить преобразование одного изображения для сшивания его с другим изображением.

Основные методы [ править ]

Оценка движения, показывающая соответствие между видеокадрами [3]

Есть два основных способа найти соответствия между двумя изображениями.

На основе корреляции - проверка того, выглядит ли одно место на одном изображении как другое на другом изображении.

На основе функций - поиск элементов на изображении и проверка того, похож ли макет подмножества элементов на двух изображениях. Чтобы избежать проблемы с апертурой, хороший объект должен иметь локальные вариации в двух направлениях.

Используйте [ редактировать ]

В компьютерном зрении проблема соответствия изучается для случая, когда компьютер должен решать ее автоматически, используя только изображения в качестве входных данных. После того, как проблема соответствия решена, что приводит к набору точек изображения, которые находятся в соответствии, к этому набору могут быть применены другие методы для восстановления положения, движения и / или поворота соответствующих трехмерных точек в сцене.

Проблема соответствия также является основой метода измерения скорости движения частиц по изображению , который в настоящее время широко используется в области механики жидкости для количественного измерения движения жидкости.

Простой пример [ править ]

Чтобы найти соответствие между набором A [1,2,3,4,5] и набором B [3,4,5,6,7], найдите, где они перекрываются и насколько далеко один набор от другого. Здесь мы видим, что последние три числа в наборе A соответствуют первым трем числам в наборе B. Это показывает, что B смещен на 2 слева от A.

Простой пример на основе корреляции [ править ]

Простой метод - сравнить небольшие участки между исправленными изображениями. Это лучше всего работает с изображениями, снятыми примерно с одной и той же точки зрения и либо в одно и то же время, либо с минимальным движением сцены между захватами изображения, например, стереоизображениями.

Небольшое окно проходит через несколько позиций на одном изображении. Каждая позиция проверяется, чтобы увидеть, насколько хорошо она соотносится с тем же местом на другом изображении. Несколько соседних местоположений сравниваются на предмет объектов на одном изображении, которые могут не находиться точно в том же самом месте изображения на другом изображении. Вполне возможно, что нет подходящей подгонки. Это может означать, что эта функция отсутствует на обоих изображениях, она переместилась дальше, чем учитывается ваш поиск, она слишком сильно изменилась или скрывается другими частями изображения.

См. Также [ править ]

  • Стереоскопия
  • Параллакс
  • Фотограмметрия
  • Восприятие глубины
  • Стереопсис
  • Компьютерное зрение
  • Фундаментальная матрица
  • Совместная ветвь совместимости и алгоритм границы
  • Эпиполярная геометрия
  • Регистрация изображения
  • Несходство Берчфилда – Томази

Ссылки [ править ]

  • Д. Шарштейн и Р. Шелиски. Таксономия и оценка алгоритмов плотного двухкадрового стерео соответствия. (PDF)
  1. ^ В. Бах; Дж. К. Аггарвал (29 февраля 1988 г.). Понимание движения: робот и человеческое зрение . Springer Science & Business Media. ISBN 978-0-89838-258-7.
  2. ↑ X. Wang (сентябрь 2019 г.). Обучение и рассуждение с визуальным соответствием во времени .
  3. ↑ Джон X. Лю (2006). Компьютерное зрение и робототехника . Nova Publishers. ISBN 978-1-59454-357-9.

Внешние ссылки [ править ]

  • Страница Middlebury Stereo Vision