Оценка позы в 3D

Оценка 3D-позы - это процесс прогнозирования преобразования объекта из заданной пользователем эталонной позы с учетом изображения или 3D-сканирования . Он возникает в компьютерном зрении или робототехнике, где позу или преобразование объекта можно использовать для выравнивания моделей автоматизированного проектирования , идентификации, захвата или манипулирования объектом.

"> Файл: Без маркеров-Человеческое-отслеживание-Использование-Иерархический-Множественный-Рой-Кооперативный-Рой-частиц-pone.0127833.s002.ogvВоспроизвести медиа
Оценка Позы в захвате движения системы

Можно оценить трехмерное вращение и перемещение трехмерного объекта по одной двумерной фотографии, если известна приблизительная трехмерная модель объекта и известны соответствующие точки на двумерном изображении. Распространенный метод решения этой проблемы недавно появился [ когда? ] было «ПОЛОЖЕНИЕ» [1], где трехмерная поза оценивается непосредственно из точек трехмерной модели и точек двухмерного изображения и итеративно исправляет ошибки, пока не будет получена хорошая оценка из одного изображения. [2] Большинство реализаций POSIT работают только с некопланарными точками (другими словами, он не будет работать с плоскими объектами или плоскостями). [3]

Другой подход состоит в том, чтобы зарегистрировать 3D- модель CAD поверх фотографии известного объекта путем оптимизации подходящей меры расстояния с учетом параметров позы. [4] [5] Измерение расстояния вычисляется между объектом на фотографии и проекцией 3D- модели САПР в заданной позе. В зависимости от используемой позы возможна перспективная или ортогональная проекция . Этот подход подходит для приложений, в которых доступна трехмерная CAD-модель известного объекта (или категории объектов).

Имея двумерное изображение объекта и камеру, откалиброванную по мировой системе координат, также можно найти позу, которая задает трехмерный объект в его системе координат объекта. [6] Это работает следующим образом.

Извлечение 3D из 2D

Начиная с 2D-изображения, извлекаются точки изображения, соответствующие углам изображения. Проекционные лучи от точек изображения восстанавливаются из 2D-точек, чтобы можно было определить 3D-точки, которые должны падать с восстановленными лучами.

Псевдокод

Алгоритм определения оценки позы основан на итеративном алгоритме ближайшей точки . Основная идея состоит в том, чтобы определить соответствия между элементами 2D-изображения и точками на кривой 3D-модели.

(а) Восстановите проекционные лучи из точек изображения(b) Оцените ближайшую точку каждого луча проекции к точке на трехмерном контуре.(c) Оцените позу контура с помощью этого набора соответствий(г) перейти (б)

Вышеупомянутый алгоритм не учитывает изображения, содержащие частично закрытый объект. Следующий алгоритм предполагает, что все контуры жестко связаны, то есть поза одного контура определяет позу другого контура.

(а) Восстановите проекционные лучи из точек изображения(b) Для каждого проекционного луча R: (c) Для каждого 3D-контура: (c1) Оценить ближайшую точку P1 луча R к точке на контуре (c2) если (n == 1) выбрать P1 в качестве фактического P для соответствия точка-линия (c3) иначе сравните P1 с P: если dist (P1, R) меньше dist (P, R), то выберите P1 как новый P(d) Используйте (P, R) как набор соответствий.(e) Оцените позу с этим набором соответствий.(f) Преобразование контуров, goto (b)

Существуют системы, которые используют базу данных объекта при разных поворотах и ​​перемещениях для сравнения входного изображения с целью оценки позы. Точность этих систем ограничена ситуациями, которые представлены в их базе данных изображений, однако цель состоит в том, чтобы распознать позу, а не определить ее. [7]

  • Posest , библиотека GPL C / C ++ для оценки позы 6DoF из 3D-2D соответствий.
  • diffgeom2pose , быстрый решатель Matlab для оценки положения 6DoF только на основе двух 3D-2D соответствий точек с направлениями (векторами) или точек на кривых (точки-касательные). Точки можно SIFT отнести к характерным направлениям.
  • МИНУС : пакет C ++ для (относительной) оценки позы трех представлений. Включает случаи трех соответствующих точек с линиями в этих точках (как в положениях и ориентациях объектов или точек кривой с касательными), а также для трех соответствующих точек и одной линии соответствия.

  1. ^ Хавьер Barandiaran (28 декабря 2017). «ПОЗИТНОЕ Учебное пособие» . OpenCV.
  2. ^ Дементон и Дэвис, 1995 (1995). «Поза объекта на основе модели в 25 строках кода» . Международный журнал компьютерного зрения . Kluwer Academic Publishers. 15 (1–2): 123–141. DOI : 10.1007 / BF01450852 . Проверено 29 мая 2010 .
  3. ^ Хавьер Барандиаран. «Учебник POSIT с OpenCV и OpenGL» . Архивировано из оригинального 20 июня 2010 года . Проверено 29 мая 2010 года .
  4. ^ Шримал Джаявардена, Маркус Хаттер и Натан Брюэр (2011). "Новая инвариантная к освещению потеря для оценки позы в трехмерном монокуляре". 2011 Международная конференция по вычислениям цифровых изображений: методы и приложения . С. 37–44. CiteSeerX  10.1.1.766.3931 . DOI : 10.1109 / DICTA.2011.15 . ISBN 978-1-4577-2006-2.
  5. ^ Сримал Джаявардена, Ди Янг и Маркус Хаттер (2011). «Сегментация изображений с помощью 3D-моделей». 2011 Международная конференция по вычислениям цифровых изображений: методы и приложения . С. 51–58. CiteSeerX  10.1.1.751.8774 . DOI : 10.1109 / DICTA.2011.17 . ISBN 978-1-4577-2006-2.
  6. ^ Бодо Розенхан. "Основы 2D-3D оценки позы" . Резюме онлайн . Проверено 9 июня 2008 .
  7. ^ Василис Афитсос. «Оценка трехмерной позы руки по загроможденному изображению» (PDF) . Технологии компьютерных наук Бостонского университета. Цитировать журнал требует |journal=( помощь )

  • Розенхан, Б. "Основы 2D-3D-оценки позы".
  • Розенхан, Б. "Оценка позы трехмерных контуров произвольной формы в конформной геометрии".
  • Атисос, В. "Оценка трехмерной позы руки на основе загроможденного изображения".

  • Estimación de una Postura 3D