Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Не путать со структурой движения (психофизика) .

Структура на основе движения ( SfM ) [1] - это метод построения изображений в фотограмметрическом диапазоне для оценки трехмерных структур из последовательностей двумерных изображений, которые могут быть связаны с локальными сигналами движения . Он изучается в области компьютерного зрения и визуального восприятия . В биологическом видении SfM относится к явлению, с помощью которого люди (и другие живые существа) могут восстанавливать трехмерную структуру из проецируемого двухмерного (сетчатого) поля движения движущегося объекта или сцены.

Принцип [ править ]

Цифровая модель поверхности Автострада обмена строительной площадки
Реальное фото x SfM с цветом текстуры x SfM с простым шейдером. Сделано с помощью графического интерфейса Python Photogrammetry Toolbox и визуализировано в Blender с помощью Cycles.
Трехмерная цифровая модель поверхности аэродрома Безмехова, извлеченная из данных, собранных во время 30- минутного полета БПЛА Pteryx

Люди воспринимают большой объем информации о трехмерной структуре окружающей среды, перемещаясь вокруг нее. Когда наблюдатель движется, объекты вокруг него перемещаются на разную величину в зависимости от их расстояния от наблюдателя. Это известно как параллакс движения , и эта информация о глубине может использоваться для создания точного трехмерного представления мира вокруг них. [2]

Поиск структуры по движению представляет проблему, аналогичную поиску структуры по стереовидению . В обоих случаях необходимо найти соответствие между изображениями и реконструкцией трехмерного объекта.

Чтобы найти соответствие между изображениями, такие функции, как угловые точки (края с градиентами в нескольких направлениях) отслеживаются от одного изображения к другому. Одним из наиболее широко используемых детекторов признаков является масштабно-инвариантное преобразование признаков (SIFT). В качестве признаков он использует максимумы пирамиды разности гауссиан (DOG). Первый шаг в SIFT - поиск доминирующего направления градиента. Чтобы сделать его инвариантным к вращению, дескриптор поворачивается, чтобы соответствовать этой ориентации. [3] Еще одна распространенная функция - детектор SURF ( ускоренные и надежные функции ). [4] В SURF DOG заменяется матрицей Гессе.детектор блобов. Кроме того, вместо оценки гистограмм градиента SURF вычисляет суммы компонентов градиента и суммы их абсолютных значений. [5] Использование интегральных изображений позволяет очень быстро обнаруживать особенности с высокой степенью обнаружения. [6] Следовательно, по сравнению с SIFT, SURF является более быстрым детектором признаков с недостатком меньшей точности в позициях признаков. [5] Еще одним типом функций, которые недавно стали практиковать для структуры из движения, являются общие кривые (например, локально кромка с градиентами в одном направлении), часть технологии, известной как бессмысленная SfM , [7] [8] полезная, когда точечные объекты недостаточный, распространенный в антропогенных средах. [9]

Затем будут сопоставлены признаки, обнаруженные на всех изображениях. Одним из алгоритмов сопоставления, который отслеживает элементы от одного изображения к другому, является трекер Лукаса – Канаде . [10]

Иногда некоторые из совпадающих функций совпадают неправильно. Вот почему совпадения также следует фильтровать. RANSAC (консенсус случайной выборки) - это алгоритм, который обычно используется для удаления выпадающих соответствий. В статье Фишлера и Боллеса RANSAC используется для решения проблемы определения местоположения (LDP), где цель состоит в том, чтобы определить точки в пространстве, которые проецируются на изображение в набор ориентиров с известными местоположениями. [11]

Затем траектории пространственных объектов во времени используются для восстановления их трехмерных положений и движения камеры. [12] Альтернативой являются так называемые прямые подходы, в которых геометрическая информация (трехмерная структура и движение камеры) напрямую оценивается по изображениям, без промежуточной абстракции до элементов или углов. [13]

Есть несколько подходов к построению структуры из движения. В инкрементальном SFM [14] позы камеры решаются и добавляются одна за другой в коллекцию. В глобальном SFM, [15] [16] позы всех камер решаются одновременно. В некотором роде промежуточный подход - это SFM вне ядра , где вычисляются несколько частичных реконструкций, которые затем интегрируются в глобальное решение.

Приложения [ править ]

Науки о Земле [ править ]

Структурная фотограмметрия движения с многовидовым стереозвуком позволяет получить гипермасштабные модели рельефа с использованием изображений, полученных с различных цифровых камер и, возможно, сети наземных контрольных точек. Этот метод не ограничен временной частотой и может предоставлять данные облака точек, сопоставимые по плотности и точности с данными, полученными при наземном и воздушном лазерном сканировании, за небольшую часть стоимости. [17] [18] [19] Структура от движения также полезна в удаленных или суровых условиях, где наземное лазерное сканирование ограничено портативностью оборудования, а воздушное лазерное сканирование ограничено неровностями местности, что приводит к потере данных и уменьшению ракурса изображения. Техника применялась во многих местах, таких как реки, [20] бесплодные земли, [21]песчаные береговые линии, [22] [23] зоны разломов, [24] оползни [25] и коралловые рифы. [26] SfM также успешно применялся для оценки большого объема скопления древесины [27] и пористости [28] в речных системах, а также для характеристики массивов горных пород путем определения некоторых свойств, таких как ориентация, стойкость, и т. д. разрывов. [29] [30]Может использоваться весь спектр цифровых фотоаппаратов, включая цифровые SLR, компактные цифровые фотоаппараты и даже смартфоны. Однако, как правило, более высокая точность данных достигается с помощью более дорогих камер, которые включают в себя объективы более высокого оптического качества. Таким образом, этот метод предлагает захватывающие возможности для описания топографии поверхности с беспрецедентной детализацией и, с использованием разновременных данных, для обнаружения изменений высоты, положения и объема, которые являются симптомами процессов на земной поверхности. Структура от движения может быть помещена в контекст других методов цифровой съемки.

Культурное наследие [ править ]

Культурное наследие присутствует везде. Его структурный контроль, документирование и сохранение - одна из основных обязанностей человечества ( ЮНЕСКО ). С этой точки зрения SfM используется для правильной оценки ситуаций, а также для планирования и технического обслуживания, а также затрат, контроля и восстановления. Поскольку часто существуют серьезные ограничения, связанные с доступностью площадки и невозможностью установки инвазивных геодезических столбов, которые не позволяли использовать традиционные процедуры съемки (например, тахеометры), SfM обеспечивает неинвазивный подход к конструкции без прямого взаимодействия между структурой и любым оператором. Использование является точным, поскольку необходимы только качественные соображения. Это достаточно быстро, чтобы отреагировать на насущные потребности управления памятником. [31]Первый рабочий этап - это точная подготовка к фотограмметрической съемке, при которой устанавливается соотношение между наилучшим расстоянием от объекта, фокусным расстоянием, расстоянием выборки от земли (GSD) и разрешением датчика. С этой информацией запрограммированные фотографические захваты должны производиться с вертикальным перекрытием не менее 60% (рисунок 02). [32]

См. Также [ править ]

  • 3D-реконструкция из нескольких изображений
  • Регулировка связки
  • Сравнение программного обеспечения для фотограмметрии
  • Компьютерное стереозрение
  • Эпиполярная геометрия
  • Кинетический эффект глубины
  • Перемещение матча
  • Поле движения
  • Параллакс движения
  • Полуглобальное соответствие
  • Одновременная локализация и отображение
  • Стереофотограмметрия
  • Факторизация Томаси – Канаде
  • Преобразование 2D в 3D

Дальнейшее чтение [ править ]

  • Джонатан Л. Кэрривик, Марк В. Смит, Дункан Дж. Куинси (2016). Структура движения в науках о Земле . Вили-Блэквелл. 208 страниц. ISBN  978-1-118-89584-9
  • Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении . Издательство Кембриджского университета. ISBN 978-0-521-54051-3.
  • Оливье Фогерас, Куанг-Туан Луонг и Теодор Пападопуло (2001). Геометрия множественных изображений . MIT Press. ISBN 978-0-262-06220-6.
  • Йи Ма; С. Шанкар Састри ; Яна Косецкая ; Стефано Соатто (ноябрь 2003 г.). Приглашение к трехмерному видению: от изображений к геометрическим моделям . Серия «Междисциплинарная прикладная математика», № 26. Springer-Verlag New York, LLC. ISBN 978-0-387-00893-6.

Ссылки [ править ]

  1. ^ С. Ульман (1979). «Интерпретация структуры из движения» (PDF) . Труды Лондонского королевского общества . 203 (1153): 405–426. Bibcode : 1979RSPSB.203..405U . DOI : 10,1098 / rspb.1979.0006 . ЛВП : 1721,1 / 6298 . PMID 34162 . S2CID 11995230 .   
  2. ^ Линда Г. Шапиро ; Джордж К. Стокман (2001). Компьютерное зрение . Прентис Холл. ISBN 978-0-13-030796-5.
  3. Перейти ↑ DG Lowe (2004). «Отличительные особенности изображения от масштабно-инвариантных ключевых точек». Международный журнал компьютерного зрения . 60 (2): 91–110. CiteSeerX 10.1.1.73.2924 . DOI : 10.1023 / B: visi.0000029664.99615.94 . S2CID 221242327 .  
  4. ^ Х. Бэй; Т. Туйтелаарс и Л. Ван Гул (2006). «Серфинг: расширенные возможности». 9-я Европейская конференция по компьютерному зрению .
  5. ^ a b К. Хэминг и Г. Петерс (2010). «Конвейер реконструкции структуры из движения - обзор с акцентом на короткие последовательности изображений» . Кибернетика . 46 (5): 926–937.
  6. ^ Альт, P .; Джонс, М. (2001). «Быстрое обнаружение объектов с помощью усиленного каскада простых функций» . Труды конференции компьютерного общества IEEE 2001 года по компьютерному зрению и распознаванию образов. CVPR 2001 . Кауаи, Гавайи, США: IEEE Comput. Soc. 1 : I – 511 – I-518. DOI : 10,1109 / CVPR.2001.990517 . ISBN 978-0-7695-1272-3. S2CID  2715202 .
  7. ^ Нурутдинова, Андрей; Фитцгиббон, Эндрю (2015). «На пути к бессмысленной структуре из движения: 3D-реконструкция и параметры камеры из общих 3D-кривых» (PDF) . Труды международной конференции IEEE по компьютерному зрению (ICCV 2015) : 2363–2371. DOI : 10.1109 / ICCV.2015.272 . ISBN  978-1-4673-8391-2. S2CID  9120123 .
  8. ^ Фаббри, Рикардо; Гиблин, Питер; Кимиа, Бенджамин (2012). «Оценка положения камеры с использованием дифференциальной геометрии кривой первого порядка» (PDF) . Конспект лекций по информатике (ECCV 2012) . Конспект лекций по информатике. 7575 : 231–244. DOI : 10.1007 / 978-3-642-33765-9_17 . ISBN  978-3-642-33764-2.
  9. ^ Apple, команда ARKIT (2018). «Понимание отслеживания и обнаружения ARKit» . WWDC .
  10. ^ BD Лукас и Т. Канаде. «Методика итеративного совмещения изображений с приложением к стереозрению». Ijcai81 .
  11. ^ MA Фишлер & RC Bolles (1981). «Консенсус случайной выборки: парадигма для подгонки модели с приложениями для анализа изображений и автоматизированной картографии». Commun. ACM . 24 (6): 381–395. DOI : 10.1145 / 358669.358692 . S2CID 972888 . 
  12. ^ Ф. Делларт; С. Зейтц; К. Торп и С. Трун (2000). «Строение из движения без переписки» (PDF) . Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов .
  13. ^ Энгель, Якоб; Шёпс, Томас; Кремерс, Дэниел (2014). "LSD-SLAM: крупномасштабный прямой монокуляр SLAM". Европейская конференция по компьютерному зрению (ECCV) 2014 (PDF) .
  14. ^ JL Schönberger & JM Frahm (2016). «Возвращение к структуре из движения» (PDF) . Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов .
  15. ^ С. Томаси & Т. Kanade (1992). «Форма и движение из потоков изображений при орфографии: метод факторизации». Международный журнал компьютерного зрения . 9 (2): 137–154. CiteSeerX 10.1.1.131.9807 . DOI : 10.1007 / BF00129684 . S2CID 2931825 .  
  16. ^ VM Govindu (2001). «Объединение ограничений с двумя ракурсами для оценки движения». Конференция компьютерного общества IEEE по компьютерному зрению и распознаванию образов . 2 : II-218 – II-225. DOI : 10,1109 / CVPR.2001.990963 . ISBN 0-7695-1272-0. S2CID  8252027 .
  17. ^ Вестоби, MJ; Brasington, J .; Glasser, NF; Хэмбри, MJ; Рейнольдс, JM (2012-12-15). « Фотограмметрия « Структура из движения »: недорогой и эффективный инструмент для приложений геолого-геофизических исследований» . Геоморфология . 179 : 300–314. Bibcode : 2012Geomo.179..300W . DOI : 10.1016 / j.geomorph.2012.08.021 .
  18. ^ Джеймс, MR; Робсон, С. (01.09.2012). «Прямая реконструкция трехмерных поверхностей и топографии с помощью камеры: приложение для определения точности и геолого-геофизических исследований» (PDF) . Журнал геофизических исследований: Поверхность Земли . 117 (F3): F03017. Bibcode : 2012JGRF..117.3017J . DOI : 10.1029 / 2011jf002289 . ISSN 2156-2202 .  
  19. ^ Фонстад, Марк А .; Дитрих, Джеймс Т .; Курвиль, Бретань С .; Дженсен, Дженнифер Л .; Карбонно, Патрис Э. (30 марта 2013 г.). «Топографическая структура от движения: новая разработка в фотограмметрических измерениях» (PDF) . Процессы земной поверхности и формы рельефа . 38 (4): 421–430. Bibcode : 2013ESPL ... 38..421F . DOI : 10.1002 / esp.3366 . ISSN 1096-9837 .  
  20. ^ Javernick, L .; Brasington, J .; Карузо, Б. (2014). «Моделирование топографии мелких плетеных рек с помощью фотограмметрии структуры из движения». Геоморфология . 213 : 166–182. Bibcode : 2014Geomo.213..166J . DOI : 10.1016 / j.geomorph.2014.01.006 .
  21. ^ Смит, Марк Уильям; Верикат, Дамиа (30 сентября 2015 г.). «От экспериментальных участков к экспериментальным ландшафтам: топография, эрозия и отложения в субгумидных бесплодных землях по результатам фотограмметрии структуры из движения» (PDF) . Процессы земной поверхности и формы рельефа . 40 (12): 1656–1671. Bibcode : 2015ESPL ... 40.1656S . DOI : 10.1002 / esp.3747 . ISSN 1096-9837 .  
  22. ^ Гольдштейн, Эван Б; Оливер, Эмбер Р.; де Вриз, Эльсмари; Мур, Лаура Дж; Джасс, Тео (2015-10-22). «Требования к наземным контрольным точкам для топографии, основанной на движении, в прибрежной среде с пологим уклоном» . PeerJ PrePrints . DOI : 10,7287 / peerj.preprints.1444v1 . ISSN 2167-9843 . 
  23. ^ Манчини, Франческо; Дуббини, Марко; Гаттелли, Марио; Стекки, Франческо; Фаббри, Стефано; Габбианелли, Джованни (9 декабря 2013 г.). «Использование беспилотных летательных аппаратов (БПЛА) для восстановления топографии с высоким разрешением: структура с точки зрения движения в прибрежных средах» . Дистанционное зондирование . 5 (12): 6880–6898. Bibcode : 2013RemS .... 5.6880M . DOI : 10,3390 / rs5126880 .
  24. ^ Джонсон, Кендра; Ниссен, Эдвин; Сарипалли, Шрикантх; Эроусмит, Дж. Рамон; МакГэри, Патрик; Шарер, Кэтрин; Уильямс, Патрик; Блиснюк, Кимберли (01.10.2014). «Оперативное картирование топографии зоны ультратонких разломов со структурой от движения» . Геосфера . 10 (5): 969–986. Bibcode : 2014Geosp..10..969J . DOI : 10.1130 / GES01017.1 .
  25. ^ Дель Сольдато, М .; Riquelme, A .; Bianchini, S .; Tomàs, R .; Ди Мартире, Д .; De Vita, P .; Moretti, S .; Калькатерра, Д. (06.06.2018). «Интеграция данных из нескольких источников для исследования одного столетия эволюции оползня Аньоне (Молизе, южная Италия)» . Оползни . 15 (11): 2113–2128. DOI : 10.1007 / s10346-018-1015-Z . ISSN 1612-510X . 
  26. ^ Брайсон, Митч; Дуче, Стефани; Харрис, Дэн; Вебстер, Джоди М .; Томпсон, Алиша; Вила-Консехо, Ана; Уильямс, Стефан Б. (2016). «Геоморфические изменения коралловой гальки, измеренные с помощью аэрофотосъемки воздушного змея». Геоморфология . 270 : 1–8. Bibcode : 2016Geomo.270 .... 1B . DOI : 10.1016 / j.geomorph.2016.06.018 .
  27. ^ Spreitzer, Габриэль; Танниклифф, Джон; Фридрих, Хайде (2019-12-01). «Использование фотограмметрии структуры по движению для оценки скоплений большой древесины (LW) в поле». Геоморфология . 346 : 106851. Bibcode : 2019Geomo.34606851S . DOI : 10.1016 / j.geomorph.2019.106851 .
  28. ^ Spreitzer, Габриэль; Танниклифф, Джон; Фридрих, Хайде (2020). «Трехмерное картирование и оценка накопления крупной древесины (LW) с использованием структуры из фотограмметрии движения в лаборатории». Журнал гидрологии . 581 : 124430. Bibcode : 2020JHyd..58124430S . DOI : 10.1016 / j.jhydrol.2019.124430 .
  29. ^ Riquelme, A .; Кано, М .; Tomás, R .; Абеллан, А. (01.01.2017). «Идентификация наборов разрывов откосов горных пород с помощью лазерного сканера и фотограмметрических облаков точек: сравнительный анализ» . Разработка процедур . 191 : 838–845. DOI : 10.1016 / j.proeng.2017.05.251 . ISSN 1877-7058 . 
  30. ^ Жорда Бордехор, Луис; Рикельме, Адриан; Кано, Мигель; Томас, Роберто (01.09.2017). «Сравнение ручного и дистанционного сбора данных о неоднородности поля, используемых при оценке кинематической устойчивости обрушившихся откосов горных пород» (PDF) . Международный журнал механики горных пород и горных наук . 97 : 24–32. DOI : 10.1016 / j.ijrmms.2017.06.004 . ЛВП : 10045/67528 . ISSN 1365-1609 .  
  31. ^ Guidi. ГРАММ.; Бералдин, JA; Атзени, К. Высокоточное 3D-моделирование культурного наследия: оцифровка Донателло. IEEE Trans. Процесс изображения. 2004, 13, 370–380
  32. ↑ Kraus, K., 2007. Фотограмметрия: геометрия по изображению и лазерному сканированию. Вальтер де Грюйтер, 459 стр. ISBN 978-3-11-019007-6