3D-реконструкция из нескольких изображений

Было высказано предположение , что 2D в 3D преобразование В объединен в эту статью. ( Обсудить ) Предлагается с сентября 2020 года.

Фактическая точность этой статьи может быть нарушена из-за устаревшей информации . Обновите эту статью, чтобы отразить недавние события или новую доступную информацию. ( Октябрь 2019 г. )

3D селфи в 1:20 масштабе , напечатанной Shapeways с использованием гипсовой основе печати, созданный Мадуродам миниатюрный парк с 2D - снимков , сделанных на его Fantasitron фото будке.

3D-модели создаются из 2D-изображений, сделанных в 3D-фотобудке Fantasitron в Мадуродаме.

Создание и реконструкция 3D-форм из одно- или многовидовых карт глубины или силуэтов ^[1]

Трехмерная реконструкция из нескольких изображений - это создание трехмерных моделей из набора изображений. Это процесс, обратный получению 2D-изображений из 3D-сцен.

Суть изображения - это проекция 3D-сцены на 2D-плоскость, во время которой теряется глубина. 3D-точка, соответствующая определенной точке изображения, должна находиться на линии прямой видимости. По одному изображению невозможно определить, какая точка на этой линии соответствует точке изображения. Если доступны два изображения, то положение трехмерной точки можно найти как пересечение двух проекционных лучей. Этот процесс называется триангуляцией . Ключом к этому процессу являются отношения между несколькими видами, которые передают информацию о том, что соответствующие наборы точек должны содержать некоторую структуру и что эта структура связана с позами и калибровкой камеры.

В последние десятилетия существует значительный спрос на 3D-контент для компьютерной графики , виртуальной реальности и коммуникации, что вызывает изменение акцента на требованиях. Многие существующие системы для построения 3D-моделей построены на специализированном оборудовании (например, стереосистемах), что приводит к высокой стоимости, которая не может удовлетворить потребности его новых приложений. Этот пробел стимулирует использование средств цифровой обработки изображений (например, фотоаппарата). Ранний метод был предложен Томази и Канаде. ^[2] Они использовали подход аффинной факторизации для извлечения 3D из последовательностей изображений. Однако предположение об орфографической проекции является существенным ограничением этой системы.

Обработка [ править ]

Визуальная оболочка может быть восстановлена из нескольких силуэтов объекта. ^[3]

Задача преобразования нескольких 2D-изображений в 3D-модель состоит из ряда этапов обработки:

Калибровка камеры состоит из внутренних и внешних параметров, без которых на определенном уровне не может работать никакая система алгоритмов. Пунктирная линия между калибровкой и определением глубины означает, что калибровка камеры обычно требуется для определения глубины.

Определение глубины является наиболее сложной частью всего процесса, поскольку вычисляет трехмерный компонент, отсутствующий в любом заданном изображении - глубину. Проблема соответствия, заключающаяся в нахождении совпадений между двумя изображениями, чтобы затем можно было триангулировать положение совпадающих элементов в трехмерном пространстве, является здесь ключевой проблемой.

Когда у вас есть несколько карт глубины, вы должны объединить их, чтобы создать окончательную сетку путем вычисления глубины и проецирования из камеры - регистрация . Калибровка камеры будет использоваться для определения того, где можно объединить множество сеток, созданных картами глубины, для создания более крупной, предоставляющей более одного вида для наблюдения.

На этапе применения материала у вас есть полная трехмерная сетка, которая может быть конечной целью, но обычно вы захотите применить к сетке цвет из исходных фотографий. Это может варьироваться от случайного проецирования изображений на сетку, через подходы комбинирования текстур для сверхвысокого разрешения и, наконец, до сегментирования сетки по материалам, таким как зеркальные и диффузные свойства.

Математическое описание реконструкции [ править ]

Дана группа трехмерных точек, просматриваемых N камерами с матрицами , определяется как однородные координаты проекции точки на камеру. Задача реконструкции может быть изменена на: по заданной группе пиксельных координат найти соответствующий набор матриц камеры и структуру сцены так , чтобы${\ Displaystyle \ {P ^ {я} \} _ {я = 1 \ ldots N}}$${\ displaystyle m_ {j} ^ {i} \ simeq P ^ {i} w_ {j}}$${\ displaystyle j ^ {th}}$${\displaystyle i^{th}}$${\displaystyle \{m_{j}^{i}\}}$${\displaystyle \{P^{i}\}}$${\displaystyle \{w_{j}\}}$

${\displaystyle m_{j}^{i}\simeq P^{i}w_{j}}$ (1)

Как правило, без дополнительных ограничений мы получим проективную реконструкцию. ^{[4] [5]} Если и удовлетворяют условию (1), и будет удовлетворять (1) с любым 4 × 4 невырожденной матрицы T .${\displaystyle \{P^{i}\}}$${\displaystyle \{w_{j}\}}$${\displaystyle \{P^{i}T\}}$${\displaystyle \{T^{-1}w_{j}\}}$

Проективная реконструкция может быть рассчитана только по соответствию точек без какой- либо априорной информации.

Автокалибровка [ править ]

При автокалибровке или самокалибровке сначала восстанавливаются движение камеры и параметры с использованием жесткости. Тогда структура может быть легко рассчитана. Два метода реализации этой идеи представлены следующим образом:

Уравнения Круппы [ править ]

Имея минимум три смещения, мы можем получить внутренние параметры камеры, используя систему полиномиальных уравнений Круппы ^[6], которые получены из геометрической интерпретации ограничения жесткости. ^{[7] [8]}

Матрица неизвестна в уравнениях Круппы и называется матрицей коэффициентов Круппы. С помощью K и методом факторизации Холецкого можно легко получить внутренние параметры:${\displaystyle K=AA^{\top }}$

${\displaystyle K={\begin{bmatrix}k_{1}&k_{2}&k_{3}\\k_{2}&k_{4}&k_{5}\\k_{3}&k_{5}&1\\\end{bmatrix}}}$

Недавно Хартли ^[9] предложил более простую форму. Запишем как , где${\displaystyle F}$${\displaystyle F=DUV^{\top }}$

Затем уравнения Круппы переписываются (вывод можно найти в ^[9] )

Мендонса и Чиполла [ править ]

Этот метод основан на использовании ограничения жесткости. Разработайте функцию стоимости, которая рассматривает внутренние параметры как аргументы, а фундаментальные матрицы как параметры. определяется как фундаментальная матрица и как матрицы внутренних параметров.${\displaystyle {F}_{ij}}$${\displaystyle {A}_{i}}$${\displaystyle {A}_{j}}$

Стратификация [ править ]

Недавно были предложены новые методы, основанные на концепции стратификации . ^[10] Начиная с проективной структуры, которая может быть вычислена только из соответствий, модернизируйте эту проективную реконструкцию до евклидовой реконструкции, используя все доступные ограничения. С помощью этой идеи проблема может быть разделена на несколько частей: в зависимости от количества имеющихся ограничений она может быть проанализирована на другом уровне: проективном, аффинном или евклидовом.

Стратификация трехмерной геометрии [ править ]

Обычно мир воспринимается как трехмерное евклидово пространство . В некоторых случаях невозможно использовать полную евклидову структуру трехмерного пространства. Самая простая из них - проективная, затем - аффинная геометрия, образующая промежуточные слои, и, наконец, евклидова геометрия. Понятие стратификации тесно связано с серией преобразований геометрических объектов: в проективном слое - это серия проективных преобразований ( гомография ), в аффинном слое - серия аффинных преобразований , а в евклидовом слое - серия проективных преобразований. Евклидовы преобразования.

Предположим, что фиксированная сцена захвачена двумя или более перспективными камерами и соответствия между видимыми точками на разных изображениях уже заданы. Однако на практике сопоставление - важный и чрезвычайно сложный вопрос компьютерного зрения. Здесь мы предполагаем, что трехмерные точки наблюдаются камерами с проекционными матрицами. Ни положение точки, ни проекция камеры неизвестны. Только проекции этого точка в изображении известны.${\displaystyle n}$${\displaystyle A_{i}}$${\displaystyle m}$${\displaystyle P_{j},j=1,\ldots ,m.}$${\displaystyle a_{ij}}$${\displaystyle i^{th}}$${\displaystyle j^{th}}$

Проективная реконструкция [ править ]

Простой подсчет показывает, что у нас есть независимые измерения и только неизвестные, поэтому предполагается, что проблема решается с помощью достаточного количества точек и изображений. Уравнения в однородных координатах можно представить:${\displaystyle 2nm}$${\displaystyle 11m+3n}$

${\displaystyle a_{ij}\sim P_{j}A_{i}\qquad i=1,\ldots n,~~j=1,\ldots m}$ (2)

Таким образом, мы можем применить неособое преобразование 4 × 4 H к проекциям → и мировым точкам → . Следовательно, без дополнительных ограничений, реконструкция - это всего лишь неизвестная проективная деформация трехмерного мира.${\displaystyle P_{j}}$${\displaystyle P_{j}H^{-1}}$${\displaystyle A_{i}}$${\displaystyle HA_{i}}$

Аффинная реконструкция [ править ]

См. Аффинное пространство для получения более подробной информации о вычислении местоположения плоскости на бесконечности . ${\displaystyle {\Pi }_{\infty }}$Самый простой способ - использовать предыдущие знания, например информацию о том, что линии в сцене параллельны или что точка находится на одной трети между двумя другими.

Мы также можем использовать предыдущие ограничения на движение камеры. Анализируя разные изображения одной и той же точки, можно получить линию по направлению движения. Пересечение нескольких прямых - это бесконечно удаленная точка в направлении движения и одно ограничение на аффинную структуру.

Евклидова реконструкция [ править ]

Сопоставляя проективную реконструкцию с той, которая удовлетворяет группе избыточных евклидовых ограничений, мы можем найти проективное преобразование H в уравнении (2). Уравнения сильно нелинейны, и требуется хорошее начальное предположение для структуры. Этого можно добиться, приняв линейную проекцию - параллельную проекцию, которая также позволяет легко реконструировать с помощью SVD-декомпозиции. ^[2]

Алгебраическая и геометрическая ошибка [ править ]

Неизбежно, что измеренные данные (например, изображение или положение мировой точки) содержат шум, и этот шум исходит от многих источников. Чтобы уменьшить влияние шума, мы обычно используем больше уравнений, чем необходимо, и решаем их методом наименьших квадратов .

Например, в типичной постановке задачи нулевого пространства Ax = 0 (как в алгоритме DLT) квадрат невязки || Ax || минимизируется методом наименьших квадратов.

В общем, если || Ax || может рассматриваться как расстояние между геометрическими объектами (точками, линиями, плоскостями и т. д.), тогда то, что минимизируется, является геометрической ошибкой , в противном случае (когда ошибка не имеет хорошей геометрической интерпретации) это называется алгебраической ошибкой .

Поэтому, по сравнению с алгебраической ошибкой, мы предпочитаем минимизировать геометрическую ошибку по перечисленным причинам:

1. Минимизируемое количество имеет значение.
2. Решение более стабильное.
3. Решение постоянно относительно евклидовых преобразований.

Все линейные алгоритмы (DLT и другие), которые мы видели до сих пор, минимизируют алгебраическую ошибку. На самом деле нет никакого оправдания минимизации алгебраической ошибки, кроме простоты реализации, поскольку это приводит к линейной задаче. Минимизация геометрической ошибки часто является нелинейной задачей, которая допускает только итерационные решения и требует отправной точки.

Обычно линейное решение, основанное на алгебраических невязках, служит отправной точкой для нелинейной минимизации геометрической функции стоимости, которая обеспечивает окончательную «полировку» решения. ^[11]

Медицинские приложения [ править ]

Двухмерное изображение имеет проблемы, связанные с наложением анатомии друг на друга, и при этом не выявляются отклонения. Трехмерное изображение можно использовать как в диагностических, так и в терапевтических целях.

3-D модели используются для планирования операции, морфометрических исследований и имеют большую надежность в ортопедии.

Постановка проблемы и основные сведения [ править ]

Для восстановления трехмерных изображений из двухмерных изображений, снятых камерой под разными углами. Медицинские методы визуализации , такие как компьютерная томография и МРТ, дороги, и, хотя компьютерная томография точна, они могут вызывать высокие дозы облучения, что является риском для пациентов с определенными заболеваниями. Методы, основанные на МРТ, неточны. Поскольку во время МРТ мы подвергаемся воздействию мощных магнитных полей, этот метод не подходит для пациентов с ферромагнитными металлическими имплантатами. Оба метода можно применять только в положении лежа, когда меняется общая структура кости. Итак, мы обсуждаем следующие методы, которые можно выполнять стоя и требующие низкой дозы облучения.

Хотя эти методы представляют собой трехмерное изображение, интересующая область ограничивается срезом; данные собираются для формирования временной последовательности.

Техника на основе стереофонических соответствий [ править ]

Этот метод прост и реализуется путем определения точек вручную на многоканальных рентгенограммах. Первый шаг - выделить соответствующие точки на двух рентгеновских снимках. Второй шаг - восстановить изображение в трех измерениях с помощью таких алгоритмов, как дискретное линейное преобразование (DLT). ^[12] Реконструкция возможна только при наличии соответствующих стерео точек (SCP). Качество результатов зависит от количества SCP, чем больше SCP, тем лучше результаты ^[13], но он медленный и неточный. От навыков оператора зависит качество изображения. Методы на основе SCP не подходят для костных структур без видимых краев. Как правило, методы на основе SCP используются как часть процесса, включающего другие методы. ^[14]

Метод контуров, не относящихся к стерео (NCSS) [ править ]

Этот метод использует рентгеновские изображения для 3D-реконструкции и для разработки 3D-моделей с низкими дозами излучения в положениях, несущих нагрузку.

В алгоритме NSCC предварительным шагом является расчет начального решения. Сначала определяются анатомические области от универсального объекта. Во-вторых, выполняется ручная идентификация 2D контуров на рентгенограммах. Из каждой рентгенограммы строятся двухмерные контуры с использованием трехмерного объекта начального решения. Трехмерные контуры исходной поверхности объекта проецируются на соответствующую рентгенограмму. ^[14] Двухмерная ассоциация, выполняемая между этими двумя заданными точками, основана на расстояниях от точки к точке и производных контуров, обеспечивающих соответствие между двумерными контурами и трехмерными контурами. Следующим шагом является оптимизация исходного решения. Наконец, деформация оптимизированного решения выполняется путем применения алгоритма Кригинга к оптимизированному решению. ^[15] Наконец, повторяя последний шаг до тех пор, пока расстояние между двумя заданными точками не превысит заданное значение точности, будет получен реконструированный объект.

Преимущество этого метода в том, что он может использоваться для костных структур непрерывной формы, а также сокращает вмешательство человека, но требует много времени.

Техника рендеринга поверхности [ править ]

Рендеринг поверхностей визуализирует 3D-объект как набор поверхностей, называемых изоповерхностями. На каждой поверхности есть точки с одинаковой интенсивностью (называемые изо-величиной). Этот метод обычно применяется к высококонтрастным данным и помогает проиллюстрировать разделенные структуры; например, череп может быть создан из срезов головы, а система кровеносных сосудов - из срезов тела. Два основных метода:

• Реконструкция на основе контуров: Изоконтуры прикрепляются друг к другу, образуя изоповерхности. ^[16]

• Реконструкция на основе вокселей: воксели с одинаковым значением интенсивности используются для формирования изоповерхностей. Популярными алгоритмами являются марширующие кубы, марширующие тетраэдры и разделительные кубы. ^[16]

В других методах используются статистические модели форм, параметризация или гибриды двух

См. Также [ править ]

• Оценка позы в 3D
• 3D реконструкция
• 3D фотография
• Преобразование 2D в 3D
• Сбор 3D-данных и реконструкция объекта
• Эпиполярная геометрия
• Резекция камеры
• Компьютерное стереозрение
• Структура из движения
• Стереофотограмметрия
• Сравнение программного обеспечения для фотограмметрии
• Визуальный корпус
• Синтез человеческого образа

Ссылки [ править ]

Дальнейшее чтение [ править ]

• Ясутака Фурукава и Карлос Эрнандес (2015) Multi-View Stereo: A Tutorial [1]
• Флинн, Джон и др. « Deepstereo: учимся предсказывать новые взгляды на изображения мира» . Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2016 г.

Внешние ссылки [ править ]

Найдите 3D-реконструкцию из нескольких изображений в Викисловаре, бесплатном словаре.

• 3D-реконструкция из нескольких изображений - обсуждает методы извлечения 3D-моделей из простых изображений.
• Визуальное 3D-моделирование из изображений и видео - технический отчет описывает теорию, практику и приемы 3D-реконструкции из изображений и видео.
• Синтез 3D- форм с помощью моделирования многовидовых карт глубины и силуэтов с помощью глубоких генеративных сетей - создавайте и реконструируйте 3D-формы с помощью моделирования многовидовых карт глубины или силуэтов.