Видео слежение

Видео слежение - это процесс обнаружения движущегося объекта (или нескольких объектов) с течением времени с помощью камеры. Он имеет множество применений, в том числе: взаимодействие человека с компьютером, безопасность и наблюдение, видеосвязь и сжатие , дополненная реальность , управление движением, обработка медицинских изображений [1] и редактирование видео . [2] [3] Отслеживание видео может занять много времени из-за большого количества данных, содержащихся в видео. Еще больше усложняет ситуацию возможная необходимость использования методов распознавания объектов для отслеживания, что само по себе является сложной задачей.

"> File:High-speed catching system.webmВоспроизвести медиа
Пример визуального сервоуправления для руки робота, чтобы поймать мяч путем отслеживания объекта с визуальной обратной связью, которая обрабатывается высокоскоростной системой обработки изображений. [4] [5]

Цель видеонаблюдения - связать целевые объекты в последовательных видеокадрах. Ассоциация может быть особенно сложной, когда объекты движутся быстро относительно частоты кадров . Еще одна ситуация, усложняющая проблему, - это когда отслеживаемый объект со временем меняет ориентацию. Для этих ситуаций системы видеонаблюдения обычно используют модель движения, которая описывает, как изображение цели может измениться при различных возможных движениях объекта.

Примеры простых моделей движения:

  • При отслеживании плоских объектов модель движения представляет собой двухмерное преобразование ( аффинное преобразование или гомография ) изображения объекта (например, исходного кадра).
  • Когда целью является жесткий 3D-объект, модель движения определяет его аспект в зависимости от его 3D-положения и ориентации.
  • Для сжатия видео , ключевые кадры делятся на макроблоки . Модель движения - это нарушение ключевого кадра, где каждый макроблок транслируется вектором движения, заданным параметрами движения.
  • Изображение деформируемых объектов может быть покрыто сеткой, движение объекта определяется положением узлов сетки.

Для отслеживания видео алгоритм анализирует последовательные видеокадры и выводит перемещение целей между кадрами. Существует множество алгоритмов, у каждого из которых есть свои сильные и слабые стороны. При выборе алгоритма важно учитывать предполагаемое использование. Система визуального отслеживания состоит из двух основных компонентов: представление цели и локализация, а также фильтрация и ассоциация данных.

Целевое представление и локализация - это, в основном, восходящий процесс. Эти методы предоставляют множество инструментов для идентификации движущегося объекта. Успешное обнаружение и отслеживание целевого объекта зависит от алгоритма. Например, использование отслеживания BLOB-объектов полезно для определения движения человека, поскольку профиль человека динамически изменяется. [6] Обычно вычислительная сложность этих алгоритмов невысока. Ниже приведены некоторые общие алгоритмы представления цели и локализации :

  • Ядро на основе отслеживание ( средний сдвиг отслеживание [7] ): итерационная процедура локализации на основе максимизации меры подобия ( коэффициент Бхаттачариа ).
  • Отслеживание контура : обнаружение границы объекта (например, активные контуры или алгоритм конденсации ). Методы отслеживания контура итеративно развивают начальный контур, инициализированный из предыдущего кадра, в его новую позицию в текущем кадре. Этот подход к отслеживанию контура напрямую развивает контур за счет минимизации энергии контура с помощью градиентного спуска.

Фильтрация и ассоциация данных - это в основном нисходящий процесс, который включает в себя включение предварительной информации о сцене или объекте, работу с динамикой объекта и оценку различных гипотез. Эти методы позволяют отслеживать сложные объекты наряду с более сложным взаимодействием с объектами, например, отслеживать объекты, движущиеся за препятствиями. [8] Кроме того, сложность увеличивается, если видеотрекер (также называемый ТВ-трекером или трекером целей) установлен не на жестком основании (на берегу), а на движущемся корабле (в море), где обычно устанавливается инерциальная измерительная система используется для предварительной стабилизации видеотрекера, чтобы уменьшить требуемую динамику и полосу пропускания системы камеры. [9] Вычислительная сложность этих алгоритмов обычно намного выше. Ниже приведены некоторые распространенные алгоритмы фильтрации:

  • Фильтр Калмана : оптимальный рекурсивный байесовский фильтр для линейных функций, подверженных гауссовскому шуму. Это алгоритм, который использует серию измерений, наблюдаемых во времени, содержащих шум (случайные вариации) и другие неточности, и производит оценки неизвестных переменных, которые, как правило, более точны, чем оценки, основанные только на одном измерении. [10]
  • Фильтр частиц : полезен для выборки основного распределения нелинейных и негауссовских процессов в пространстве состояний. [11] [12] [13]

  1. ^ Питер Маунтни, Данаил Стоянов и Гуан-Чжун Ян (2010). «Трехмерное восстановление и отслеживание деформации тканей: введение в методы, основанные на лапароскопических или эндоскопических изображениях». Журнал обработки сигналов IEEE. 2010 июль. Объем: 27" (PDF) . IEEE Signal Processing Magazine . 27 (4):. 14-24 DOI : 10,1109 / MSP.2010.936728 . ЛВП : 10044/1/53740 .
  2. ^ Людмила Михайлова, Пол Браснетт, Нишан Канагараджан и Дэвид Булл (2007). Отслеживание объектов с помощью методов фильтрации частиц в видеопоследовательностях; В: Достижения и проблемы в области мультисенсорных данных и информации . Серия НАТО «Безопасность через науку», 8. Нидерланды: IOS Press. С. 260–268. CiteSeerX  10.1.1.60.8510 . ISBN 978-1-58603-727-7.CS1 maint: несколько имен: список авторов ( ссылка )
  3. ^ Kato, H .; Биллингхерст, М. (1999). «Отслеживание маркеров и калибровка HMD для системы видеоконференцсвязи с дополненной реальностью» (PDF) . Материалы 2-го Международного семинара IEEE и ACM по дополненной реальности (IWAR'99) . С. 85–94. DOI : 10.1109 / IWAR.1999.803809 . ISBN 0-7695-0359-4.
  4. ^ «Высокоскоростная система отлова (экспонируется в Национальном музее новейшей науки и инноваций с 2005 года)» . Лаборатория Исикава Ватанабэ, Токийский университет . Проверено 12 февраля 2015 года .
  5. ^ «Основная концепция и технические термины» . Лаборатория Исикава Ватанабэ, Токийский университет . Проверено 12 февраля 2015 года .
  6. ^ С. Канг; Дж. Пайк; А. Кошан; Б. Абиди и М.А. Абиди (2003). «Видео слежение в реальном времени с помощью поворотных камер». Proc. ШПИОН . Шестая международная конференция по контролю качества с помощью искусственного зрения. 5132 : 103-111. Bibcode : 2003SPIE.5132..103K . CiteSeerX  10.1.1.101.4242 . DOI : 10.1117 / 12.514945 .
  7. ^ Comaniciu, D .; Рамеш, В .; Меер П., " Отслеживание нежестких объектов в реальном времени с использованием среднего сдвига ", Компьютерное зрение и распознавание образов, 2000. Труды. Конференция IEEE, том 2, №, стр. 142, 149, том 2, 2000 г.
  8. ^ Блэк, Джеймс, Тим Эллис и Пол Розин (2003). «Новый метод оценки эффективности видеотрекинга». Совместное IEEE Int. Семинар по визуальному наблюдению и оценке эффективности слежения и наблюдения : 125–132. CiteSeerX  10.1.1.10.3365 .CS1 maint: несколько имен: список авторов ( ссылка )
  9. ^ Гироскопический стабилизатор цели для установки в море
  10. ^ М. Арулампалам; С. Маскелл; Н. Гордон и Т. Клэпп (2002). "Учебное пособие по фильтрам частиц для нелинейного / негауссовского байесовского отслеживания в режиме онлайн". Транзакции IEEE по обработке сигналов . 50 (2): 174. Bibcode : 2002ITSP ... 50..174A . CiteSeerX  10.1.1.117.1144 . DOI : 10.1109 / 78.978374 .
  11. ^ Эмилио Маджо; Андреа Кавалларо (2010). Видеотрекинг: теория и практика . 1 . ISBN 9780132702348. Видеотрекинг обеспечивает всестороннее рассмотрение фундаментальных аспектов разработки алгоритмов и приложений для задачи оценки с течением времени.
  12. ^ Картик Чандрасекаран (2010). Параметрическая и непараметрическая модель вычитания фона с отслеживанием объектов для VENUS . 1 . ISBN 9780549524892. Вычитание фона - это процесс, с помощью которого мы сегментируем движущиеся области в последовательностях изображений.
  13. ^ J. Martinez-дель-Ринкон, Д. Makris, С. Orrite-Uruñuela и Ж.-К. Небель (2010). « Отслеживание положения человека и нижних частей тела с помощью фильтров Калмана и частиц, ограниченных биомеханикой человека ». IEEE Transactions по системному человеку и кибернетике - Часть B ', 40 (4).

  • - Интересный исторический пример (1980) из CROMEMCO Циклоп камеры используется для отслеживания мяча , проходящий через лабиринт.