Из Википедии, бесплатной энциклопедии
  (Перенаправлено с Egomotion )
Перейти к навигации Перейти к поиску
Оптический поток вектор двигающегося объекта в видеопоследовательности.

В робототехнике и компьютерного зрения , визуальная одометрия представляет собой процесс определения положения и ориентации робота на основе анализа связанных с ними изображений с камеры. Он использовался в самых разных роботизированных приложениях, например, на марсоходах Mars Exploration Rover . [1]

Обзор [ править ]

В навигации , одометрия является использование данных от движения исполнительных механизмов для изменения оценки в положении в течение долгого времени с помощью устройств , таких как датчики вращения для измерения колеса вращения. Хотя традиционные методы одометрии полезны для многих колесных или гусеничных транспортных средств, они не могут быть применены к мобильным роботам с нестандартными методами передвижения, таким как роботы на ногах.. Кроме того, одометрия всегда страдает от проблем с точностью, поскольку колеса имеют тенденцию к скольжению и скольжению по полу, создавая неравномерное пройденное расстояние по сравнению с вращениями колес. Ошибка усугубляется, когда автомобиль движется по неровным поверхностям. Показания одометрии становятся все более ненадежными, поскольку эти ошибки накапливаются и усугубляются со временем.

Визуальная одометрия - это процесс определения эквивалентной одометрической информации с использованием последовательных изображений камеры для оценки пройденного расстояния. Визуальная одометрия позволяет повысить точность навигации в роботах или транспортных средствах, использующих любой тип передвижения на любой [ необходима цитата ] поверхности.

Типы [ править ]

Существуют различные типы VO.

Монокуляр и стерео [ править ]

В зависимости от настройки камеры, VO можно разделить на Monocular VO (одиночная камера), Stereo VO (две камеры в стереосистеме).

VIO широко используется в коммерческих квадрокоптерах, которые обеспечивают локализацию в ситуациях, когда отсутствует GPS.

Функциональный и прямой метод [ править ]

Визуальная информация традиционного ВО получается с помощью метода, основанного на признаках, который выделяет характерные точки изображения и отслеживает их в последовательности изображений. Недавние разработки в области исследования голосовой связи предоставили альтернативу, называемую прямым методом, при котором интенсивность пикселей в последовательности изображений используется непосредственно в качестве визуального ввода. Также существуют гибридные методы.

Визуальная инерциальная одометрия [ править ]

Если в системе VO используется инерциальная единица измерения (IMU), ее обычно называют визуальной инерциальной одометрией (VIO).

Алгоритм [ править ]

Большинство существующих подходов к визуальной одометрии основаны на следующих этапах.

  1. Получение входных изображений: с помощью одиночных камер , [2] [3] стереокамер , [3] [4] или всенаправленных камер . [5] [6]
  2. Коррекция изображения: применяйте методы обработки изображений для устранения искажений объектива и т. Д.
  3. Обнаружение функций : определение операторов интереса, сопоставление функций по кадрам и построение поля оптического потока .
    1. Используйте корреляцию, чтобы установить соответствие двух изображений, и не отслеживайте долгосрочные особенности .
    2. Извлечение признаков и корреляция.
    3. Построить поле оптического потока ( метод Лукаса – Канаде ).
  4. Проверьте векторы поля потока на предмет возможных ошибок отслеживания и удалите выбросы. [7]
  5. Оценка движения камеры по оптическому потоку. [8] [9] [10] [11]
    1. Вариант 1: фильтр Калмана для поддержания распределения оценок состояния.
    2. Вариант 2: найдите геометрические и трехмерные свойства элементов, которые минимизируют функцию стоимости на основе ошибки повторного проецирования между двумя соседними изображениями. Это можно сделать с помощью математической минимизации или случайной выборки .
  6. Периодическое переселение точек трека для сохранения покрытия по всему изображению.

Альтернативой методам, основанным на признаках, является «прямая» или основанная на внешнем виде методика визуальной одометрии, которая минимизирует ошибку непосредственно в пространстве датчика и, следовательно, позволяет избежать сопоставления и извлечения признаков. [4] [12] [13]

Другой метод, получивший название «визиодометрия», оценивает плоские вращательные перемещения между изображениями с использованием фазовой корреляции вместо извлечения признаков. [14] [15]

Egomotion [ править ]

Оценка эмоций

Эгомоция определяется как трехмерное движение камеры в окружающей среде. [16] В области компьютерного зрения egomotion относится к оценке движения камеры относительно жесткой сцены. [17] Примером оценки движения может быть оценка движущегося положения автомобиля относительно линий на дороге или уличных знаков, наблюдаемых из самого автомобиля. Оценка эгодвижений важна в приложениях для автономной навигации роботов . [18]

Обзор [ править ]

Целью оценки движения камеры является определение трехмерного движения камеры в окружающей среде с использованием последовательности изображений, снятых камерой. [19] Процесс оценки движения камеры в окружающей среде включает использование методов визуальной одометрии на последовательности изображений, снятых движущейся камерой. [20] Обычно это делается с помощью обнаружения признаков для построения оптического потока из двух кадров изображения в последовательности [16], генерируемых либо одиночными камерами, либо стереокамерами. [20] Использование пар стереоизображений для каждого кадра помогает уменьшить ошибку и предоставляет дополнительную информацию о глубине и масштабе. [21] [22]

Функции обнаруживаются в первом кадре, а затем сопоставляются во втором кадре. Эта информация затем используется для создания поля оптического потока для обнаруженных деталей на этих двух изображениях. Поле оптического потока показывает, как объекты расходятся из одной точки, очага расширения . Фокус расширения может быть обнаружен по полю оптического потока, указывая направление движения камеры и, таким образом, обеспечивая оценку движения камеры.

Существуют и другие методы извлечения информации о движении из изображений, в том числе метод, который позволяет избежать обнаружения признаков и полей оптического потока и напрямую использует интенсивности изображения. [16]

См. Также [ править ]

  • Счисление
  • Одометрия
  • Оптический поток
  • Оптический захват движения

Ссылки [ править ]

  1. ^ Maimone, M .; Cheng, Y .; Маттис, Л. (2007). «Два года визуальной одометрии на марсоходах для исследования Марса» (PDF) . Журнал полевой робототехники . 24 (3): 169–186. CiteSeerX  10.1.1.104.3110 . DOI : 10.1002 / rob.20184 . Проверено 10 июля 2008 .
  2. ^ Чханияра, Саван; КАСПАР АЛТОФЕР; ЛАКМАЛ Д. СЕНЕВИРАТНЕ (2008). «Техника визуальной одометрии с использованием круговой идентификации маркеров для оценки параметров движения» . Достижения в мобильной робототехнике: материалы одиннадцатой международной конференции по альпинистским и шагающим роботам и вспомогательным технологиям для мобильных машин, Коимбра, Португалия . Одиннадцатая международная конференция по альпинистским и шагающим роботам и технологиям поддержки мобильных машин . 11 . Мировой научный, 2008.
  3. ^ а б Нистер, D; Народицкий, О .; Берген, Дж (январь 2004 г.). Визуальная одометрия . Компьютерное зрение и распознавание образов, 2004. CVPR 2004. 1 . С. I – 652 - I – 659 Том 1. DOI : 10,1109 / CVPR.2004.1315094 .
  4. ^ a b Comport, AI; Malis, E .; Ривз, П. (2010). F. Chaumette; П. Корке; П. Ньюман (ред.). «Квадрифокальная визуальная одометрия в реальном времени». Международный журнал исследований робототехники . 29 (2–3): 245–266. CiteSeerX 10.1.1.720.3113 . DOI : 10.1177 / 0278364909356601 . S2CID 15139693 .  
  5. ^ Scaramuzza, D .; Сигварт, Р. (октябрь 2008 г.). «Монокулярная всенаправленная визуальная одометрия на основе внешнего вида для наземных транспортных средств». IEEE Transactions по робототехнике . 24 (5): 1015–1026. DOI : 10.1109 / TRO.2008.2004490 . ЛВП : 20.500.11850 / 14362 . S2CID 13894940 . 
  6. ^ Corke, P .; Strelow, D .; Сингх, С. "Всенаправленная визуальная одометрия для планетохода". Интеллектуальные роботы и системы, 2004 г. (IROS 2004). Ход работы. 2004 IEEE / RSJ Международная конференция по . 4 . DOI : 10.1109 / IROS.2004.1390041 .
  7. ^ Кэмпбелл, Дж .; Sukthankar, R .; Нурбахш, И .; Питтсбург, штат Ирландия "Методы оценки оптического потока для визуальной одометрии в экстремальных условиях местности". Интеллектуальные роботы и системы, 2004 г. (IROS 2004). Ход работы. 2004 IEEE / RSJ Международная конференция по . 4 . DOI : 10.1109 / IROS.2004.1389991 .
  8. ^ Sunderhauf, N .; Konolige, K .; Lacroix, S .; Protzel, P. (2005). «Визуальная одометрия с использованием регулировки разреженного пучка на автономном открытом транспортном средстве». В Леви; Шанц; Лафренц; Аврутин (ред.). Tagungsband Autonome Mobile Systeme 2005 (PDF) . Reihe Informatik aktuell. Springer Verlag. С. 157–163. Архивировано из оригинального (PDF) 11 февраля 2009 года . Проверено 10 июля 2008 .
  9. ^ Konolige, K .; Agrawal, M .; Боллес, RC; Cowan, C .; Fischler, M .; Герки, BP (2006). «Наружное картографирование и навигация с использованием стереозрения». Proc. Междунар. Symp. Об экспериментальной робототехнике (ISER) . Тракты Спрингера в продвинутой робототехнике. 39 : 179–190. DOI : 10.1007 / 978-3-540-77457-0_17 . ISBN 978-3-540-77456-3.
  10. ^ Олсон, CF; Matthies, L .; Schoppers, M .; Маймон, MW (2002). «Навигация на вездеходе с использованием стереодвижений эго» (PDF) . Робототехника и автономные системы . 43 (4): 215–229. DOI : 10.1016 / s0921-8890 (03) 00004-6 . Проверено 6 июня 2010 .
  11. ^ Cheng, Y .; Маймон, МВт; Маттис, Л. (2006). "Визуальная одометрия марсоходов". Журнал IEEE Robotics and Automation Magazine . 13 (2): 54–62. CiteSeerX 10.1.1.297.4693 . DOI : 10.1109 / MRA.2006.1638016 . S2CID 15149330 .  
  12. ^ Энгель, Якоб; Шёпс, Томас; Кремерс, Дэниел (2014). "LSD-SLAM: крупномасштабный прямой монокуляр SLAM" (PDF) . Во Флоте D .; Пайдла Т .; Schiele B .; Туйтелаарс Т. (ред.). Компьютерное зрение . Европейская конференция по компьютерному зрению 2014. Конспект лекций по информатике. 8690 . DOI : 10.1007 / 978-3-319-10605-2_54 .
  13. ^ Энгель, Якоб; Штурм, Юрген; Кремерс, Дэниел (2013). «Полуплотная визуальная одометрия для монокулярной камеры» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) . CiteSeerX 10.1.1.402.6918 . DOI : 10.1109 / ICCV.2013.183 .  
  14. Перейти ↑ Zaman, M. (2007). «Относительная локализация с высокой точностью с помощью одной камеры». Робототехника и автоматизация, 2007. (ICRA 2007). Ход работы. 2007 Международная конференция IEEE по . DOI : 10.1109 / ROBOT.2007.364078 .
  15. Перейти ↑ Zaman, M. (2007). «Относительная локализация высокого разрешения с использованием двух камер». Журнал робототехники и автономных систем (JRAS) . 55 (9): 685–692. DOI : 10.1016 / j.robot.2007.05.008 .
  16. ^ a b c Irani, M .; Rousso, B .; Пелег С. (июнь 1994 г.). «Восстановление эго-движения с помощью стабилизации изображения» (PDF) . Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов : 21–23 . Проверено 7 июня 2010 года .
  17. ^ Burger, W .; Бхану Б. (ноябрь 1990 г.). «Оценка трехмерного движения по последовательности перспективных изображений» . IEEE Transactions по анализу шаблонов и машинному анализу . 12 (11): 1040–1058. DOI : 10.1109 / 34.61704 . S2CID 206418830 . 
  18. ^ Shakernia, O .; Vidal, R .; Шанкар, С. (2003). "Всенаправленная оценка эгомоции из потока обратной проекции" (PDF) . Конференция по компьютерному зрению и распознаванию образов. Мастерская . 7 : 82. CiteSeerX 10.1.1.5.8127 . DOI : 10,1109 / CVPRW.2003.10074 . S2CID 5494756 . Проверено 7 июня 2010 года .   
  19. ^ Тиан, Т .; Tomasi, C .; Хигер, Д. (1996). «Сравнение подходов к вычислению эмоций» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов : 315. Архивировано из оригинала (PDF) 8 августа 2008 года . Проверено 7 июня 2010 года .
  20. ^ a b Milella, A .; Сигварт, Р. (январь 2006 г.). «Стерео-оценка эго-движения с использованием отслеживания пикселей и итеративной ближайшей точки» (PDF) . Международная конференция IEEE по системам компьютерного зрения : 21. Архивировано из оригинала (PDF) 17 сентября 2010 года . Проверено 7 июня 2010 года .
  21. ^ Олсон, CF; Matthies, L .; Schoppers, M .; Маймонеб М.В. (июнь 2003 г.). «Навигация на вездеходе с использованием стереодвижений эго» (PDF) . Робототехника и автономные системы . 43 (9): 215–229. DOI : 10.1016 / s0921-8890 (03) 00004-6 . Проверено 7 июня 2010 года .
  22. ^ Судин Динеш, Котешвара Рао, К.; Унникришнан, М.; Бринда, В.; Lalithambika, VR; Декане, М.В. " Улучшения в алгоритме визуальной одометрии для планетных исследовательских вездеходов ". Международная конференция IEEE по новым тенденциям в области связи, управления, обработки сигналов и вычислительных приложений (C2SPCA), 2013 г.