Структурированного свет 3D сканер является сканирование 3D - устройством для измерения трехмерной формы объекта с использованием проецируемого света шаблонов и камерой системы. [1]
Принцип
Проецирование узкой полосы света на поверхность трехмерной формы создает линию освещения, которая кажется искаженной с других точек зрения, чем у проектора, и может использоваться для геометрической реконструкции формы поверхности (светового участка).
Более быстрый и универсальный метод - это проецирование рисунков, состоящих из множества полос одновременно, или произвольных полос, поскольку это позволяет одновременно получать множество образцов. Если смотреть с разных точек зрения, узор кажется геометрически искаженным из-за формы поверхности объекта.
Хотя возможны многие другие варианты проецирования структурированного света , широко используются узоры из параллельных полос. На рисунке показана геометрическая деформация одиночной полосы, спроецированной на простую трехмерную поверхность. Смещение полос позволяет точно получить трехмерные координаты любых деталей на поверхности объекта.
Генерация световых узоров
Были установлены два основных метода создания полосового рисунка: лазерная интерференция и проекция.
Метод лазерной интерференции работает с двумя широкими планарными фронтами лазерного луча. Их интерференция приводит к образованию регулярных, равноотстоящих линий. Изменяя угол между этими лучами, можно получить рисунок разного размера. Этот метод позволяет легко и точно создавать очень тонкие узоры с неограниченной глубиной резкости. Недостатками являются высокая стоимость реализации, трудности с обеспечением идеальной геометрии луча и типичные для лазера эффекты, такие как спекл-шум и возможное самоинтерференции с частями луча, отраженными от объектов. Обычно нет средств модуляции отдельных полос, таких как коды Грея.
Метод проецирования использует некогерентный свет и в основном работает как видеопроектор . Шаблоны обычно создаются путем прохождения света через цифровой пространственный модулятор света , обычно на основе одной из трех наиболее распространенных в настоящее время технологий цифрового проецирования: пропускающего жидкого кристалла , отражающего жидкого кристалла на кремнии (LCOS) или цифровой обработки света (DLP; движущееся микрозеркало ) модуляторы, которые имеют различные сравнительные преимущества и недостатки для этого приложения. Однако можно было и использовать другие методы проецирования.
Узоры, генерируемые проекторами цифровых дисплеев, имеют небольшие неоднородности из-за границ пикселей на дисплеях. Однако достаточно малыми границами можно практически пренебречь, так как они сглаживаются малейшей расфокусировкой.
Типичный измерительный агрегат состоит из одного проектора и как минимум одной камеры. Для многих приложений используются две камеры на противоположных сторонах проектора.
Невидимый (или незаметный ) структурированный свет использует структурированный свет, не мешая другим задачам компьютерного зрения, для которых проецируемый узор может сбивать с толку. Примеры методов включают использование инфракрасного света или чрезвычайно высокой частоты кадров, чередующихся между двумя совершенно противоположными узорами. [2]
Калибровка
Геометрические искажения оптики и перспективы должны быть компенсированы калибровкой измерительного оборудования с использованием специальных калибровочных шаблонов и поверхностей. Математическая модель используется для описания свойств изображения проектора и камер. По существу, основанная на простых геометрических свойствах камеры-обскуры , модель также должна учитывать геометрические искажения и оптические аберрации линз проектора и камеры. Параметры камеры, а также ее ориентацию в пространстве можно определить серией калибровочных измерений с использованием фотограмметрической регулировки пучка .
Анализ узоров в полоску
Наблюдаемые полосы содержат несколько признаков глубины. Смещение любой отдельной полосы можно напрямую преобразовать в трехмерные координаты. Для этого необходимо идентифицировать отдельную полосу, что может быть выполнено, например, путем отслеживания или подсчета полос (метод распознавания образов). Другой распространенный метод проецирует чередующиеся узоры полос, в результате чего двоичные последовательности кода Грея идентифицируют количество каждой отдельной полосы, попадающей на объект. Важный признак глубины также возникает из-за различной ширины полос вдоль поверхности объекта. Ширина полосы является функцией крутизны участка поверхности, то есть первой производной высоты. Частота и фаза полосы доставляют аналогичные сигналы и могут быть проанализированы с помощью преобразования Фурье . Наконец, с той же целью недавно обсуждалось вейвлет-преобразование .
Во многих практических реализациях серии измерений, сочетающих распознавание образов, коды Грея и преобразование Фурье, получают для полного и однозначного восстановления форм.
Был продемонстрирован другой метод, также относящийся к области проекции полос, использующий глубину резкости камеры. [3]
Также возможно использовать проецируемые шаблоны в первую очередь как средство вставки структуры в сцены, по сути, для фотограмметрического получения.
Точность и дальность
Оптическое разрешение методов проецирования полос зависит от ширины используемых полос и их оптического качества. Он также ограничен длиной волны света.
Сильное уменьшение ширины полосы оказывается неэффективным из-за ограничений по глубине резкости, разрешению камеры и разрешению дисплея. Таким образом, метод фазового сдвига получил широкое распространение: по крайней мере, 3, обычно около 10 экспозиций делаются со слегка смещенными полосами. Первые теоретические выводы этого метода основывались на полосах с модуляцией интенсивности в форме синусоиды, но методы работают и с «прямоугольными» модулированными полосами, которые также поступают с ЖК-дисплеев или дисплеев DLP. Посредством фазового сдвига может быть разрешена детализация поверхности, например, 1/10 шага полосы.
Таким образом, современная профилометрия с оптическими полосами позволяет получать детализацию с разрешением вплоть до длины волны света, на практике менее 1 микрометра или, с более крупными полосами, до прибл. 1/10 ширины полосы. Что касается точности уровня, интерполяция по нескольким пикселям полученного изображения камеры может дать надежное разрешение по высоте, а также точность вплоть до 1/50 пикселя.
Объекты сколь угодно большого размера можно измерять с помощью соответственно больших полос и расстановок. Документировано практическое применение с объектами размером несколько метров.
Типичные показатели точности:
- Плоскостность поверхности шириной 2 фута (0,61 м) до 10 микрометров (0,00039 дюйма).
- Форма камеры сгорания двигателя до 2 микрометров (7,9 × 10 -5 дюймов ) (высота), что дает точность измерения объема в 10 раз лучше, чем при объемном дозировании.
- Форма объекта от 2 дюймов (51 мм) до 1 микрометра (3,9 × 10 -5 дюймов )
- Радиус лезвия, например, от 10 микрометров (0,00039 дюйма) до ± 0,4 мкм
Поскольку этот метод позволяет измерять формы только с одной точки зрения, необходимо комбинировать полные трехмерные формы на основе разных измерений под разными углами. Это может быть достигнуто путем прикрепления маркеров к объекту и последующего объединения перспектив путем сопоставления этих маркеров. Процесс можно автоматизировать, установив объект на моторизованный поворотный стол или устройство позиционирования с ЧПУ . Маркеры также могут быть нанесены на устройство позиционирования, а не на сам объект.
Собранные трехмерные данные могут использоваться для извлечения данных и моделей САПР (автоматизированного проектирования) из существующих компонентов ( обратный инжиниринг ), вручную сформированных образцов или скульптур, природных объектов или артефактов.
Вызовы
Как и во всех оптических методах, возникают проблемы с отражающими или прозрачными поверхностями. Отражения заставляют свет отражаться либо от камеры, либо прямо в ее оптику. В обоих случаях динамический диапазон камеры может быть превышен. Прозрачные или полупрозрачные поверхности также вызывают большие затруднения. В этих случаях покрытие поверхностей тонким непрозрачным лаком только для измерения является обычной практикой. В недавно появившемся методе обработки сильно отражающих и зеркальных объектов вставляется одномерный рассеиватель между источником света (например, проектором) и сканируемым объектом. [4] Для работы с идеально прозрачными и зеркальными объектами были предложены альтернативные оптические методы. [5]
Двойные отражения и взаимные отражения могут привести к наложению полосового рисунка нежелательным светом, что полностью исключает возможность правильного обнаружения. Поэтому с отражающими полостями и вогнутыми предметами трудно обращаться. Также трудно обращаться с полупрозрачными материалами, такими как кожа, мрамор, воск, растения и человеческие ткани из-за явления подповерхностного рассеяния. В последнее время в сообществе компьютерного зрения были предприняты попытки справиться с такими оптически сложными сценами путем изменения схемы освещения. [6] Эти методы показали многообещающие результаты 3D-сканирования традиционно сложных объектов, таких как сильно зеркальные металлические вогнутости и полупрозрачные восковые свечи. [7]
Скорость
Несмотря на то, что в большинстве вариантов структурированного освещения для каждого изображения необходимо создавать несколько шаблонов, высокоскоростные реализации доступны для ряда приложений, например:
- Встроенный прецизионный контроль компонентов в процессе производства.
- Приложения для здравоохранения, такие как живое измерение формы человеческого тела или микроструктуры человеческой кожи.
Были предложены приложения для кинофильмов, например получение данных пространственной сцены для трехмерного телевидения.
Приложения
- Промышленные оптические метрологические системы (ATOS) от GOM GmbH используют технологию структурированного света для достижения высокой точности и масштабируемости измерений. Эти системы обладают функцией самоконтроля состояния калибровки, точности преобразования, изменений окружающей среды и перемещения деталей для обеспечения высококачественных данных измерений. [8]
- Google Project Tango SLAM ( одновременная локализация и отображение ) с использованием технологий глубины, включая структурированный свет, время полета и стерео. Time of Flight требует использования инфракрасного (ИК) проектора и ИК-датчика; Стерео нет.
- Технология PrimeSense , использовавшаяся в ранней версии Microsoft Kinect , использовала шаблон проецируемых инфракрасных точек для создания плотного трехмерного изображения. (Позже Microsoft Kinect перешел на использование времяпролетной камеры вместо структурированного света.)
- Затылочный
- Датчик структуры использует образец проецируемых инфракрасных точек, откалиброванных для минимизации искажений для создания плотного трехмерного изображения.
- Structure Core использует стереокамеру, которая сопоставляется со случайным набором проецируемых инфракрасных точек для создания плотного трехмерного изображения.
- Камера Intel RealSense проецирует серию инфракрасных изображений для получения трехмерной структуры.
- Система Face ID работает путем проецирования более 30 000 инфракрасных точек на лицо и создания трехмерной карты лица.
- Датчик VicoVR использует набор инфракрасных точек для отслеживания скелета.
- Chiaro Technologies использует единый разработанный шаблон инфракрасных точек, называемый символическим светом, для потоковой передачи трехмерных облаков точек для промышленных приложений.
- Сделано для измерения моды розничной торговли
- 3D- Автоматизированный оптический контроль
- Прецизионное измерение формы для производственного контроля (например, лопатки турбины)
- Обратный инжиниринг (получение точных данных САПР из существующих объектов)
- Измерение объема (например, объема камеры сгорания в двигателях)
- Классификация шлифовальных материалов и инструментов
- Прецизионное измерение структуры шлифованных поверхностей
- Определение радиуса лезвий режущего инструмента
- Прецизионное измерение планарности
- Документирование объектов культурного наследия
- Захват среды для игр с дополненной реальностью
- Измерение поверхности кожи для косметики и медицины
- Измерение формы тела
- Судебно-медицинские проверки
- Структура и шероховатость дорожного покрытия
- Измерение морщин на ткани и коже
- Структурированная осветительная микроскопия
- Измерение топографии солнечных элементов [9]
- Система трехмерного зрения позволяет использовать робота DHL для электронного исполнения заказов [10]
Программное обеспечение
- 3DUNDERWORLD SLS - ОТКРЫТЫЙ ИСТОЧНИК [11]
- Сделай сам 3D-сканер на основе структурированного света и стереозрения на языке Python [12]
- SLStudio - структурированный свет в реальном времени с открытым исходным кодом [13]
Смотрите также
- Карта глубины
- Лазерный тепловизор с динамическим диапазоном
- Лидар
- Визуализация дальности
- Kinect
- Времяпролетная камера
- Световой столик - это приборная установка, предназначенная в первую очередь для захвата отражательной способности, но она также применяется в виртуальной кинематографии для получения геометрии и текстуры целей аналогично 3D-сканеру со структурированным светом.
Рекомендации
- ^ Борко Furht (2008). Энциклопедия мультимедиа (2-е изд.). Springer. п. 222. ISBN. 978-0-387-74724-8.
- ^ Фофи, Дэвид; Т. Слива; Ю. Вуазен (январь 2004 г.). «Сравнительный обзор невидимого структурированного света» (PDF) . Электронная визуализация SPIE - Применение машинного зрения в промышленном контроле XII . Сан-Хосе, США. С. 90–97.
- ^ "Tiefenscannende Streifenprojektion (DSFP) mit 3D-Kalibrierung" . Штутгартский университет (на немецком языке). Архивировано из оригинала 9 апреля 2013 года .
- ^ Shree К. Найяр и Мохит Гупта, диффузный Структурированные свет, Proc. Международная конференция IEEE по компьютерной фотографии, 2012 г.
- ^ Эрон Стегер и Кириакос Н. Кутулакос (2008). "Теория преломляющей и зеркальной трехмерной формы путем триангуляции светового пути" . Int. J. Компьютерное зрение, т. 76, нет. 1.
- ^ Мохит Гупта, Амит Агравал, Ашок Вирарагхаван и Шриниваса Г. Нарасимхан (2011). «Измерение формы при наличии взаимных отражений, подповерхностного рассеяния и расфокусировки» . Proc. CVPR.CS1 maint: несколько имен: список авторов ( ссылка )
- ^ Мохит Гупта; Шри К. Наяр (2012). «Микрофазовый сдвиг» . Proc. CVPR.
- ^ «АТОС - Промышленная технология 3D сканирования» . GOM GmbH . Проверено 9 июля 2018 .
- ^ WJ Walecki, F Szondy и MM Hilali, «Быстрая поточная метрология топографии поверхности, позволяющая рассчитывать напряжения для производства солнечных элементов с производительностью, превышающей 2000 пластин в час», 2008 г. Измер. Sci. Technol. 19 025302 (6PP) DOI : 10,1088 / 0957-0233 / 19/2/025302
- ^ https://www.therobotreport.com/3d-vision-dhl-fulfillment-robot/
- ^ Кириакос Хераклеус и Хараламбос Пуллис (2014). «3DUNDERWORLD-SLS: система сканирования структурированного света с открытым исходным кодом для быстрого получения геометрических данных». arXiv : 1406.6595 [ cs.CV ].
- ^ Хесам Х. (2015). «Сделай сам 3D-сканер на основе структурированного света и стереозрения на языке Python» .
- ^ Дж. Вильм; и другие. (2014). «SLStudio: среда с открытым исходным кодом для структурированного освещения в реальном времени». DOI : 10.1109 / IPTA.2014.7002001 .
Источники
- Фехтелер, П., Эйсерт, П., Рураинский, Дж.: 3D-сканирование лица с быстрым и высоким разрешением . ICIP 2007
- Фехтелер П., Эйсерт П.: Адаптивная цветовая классификация для структурированных световых систем Proc. CVPR 2008
- Лю Кай, Ван Юнчан, Лау Даниэль Л., Хао Ци, Хассебрук Лоуренс Г. (2010). «Двухчастотная схема для высокоскоростного трехмерного измерения формы» (PDF) . Оптика Экспресс . 18 (5): 5229–5244. Bibcode : 2010OExpr..18.5229L . DOI : 10.1364 / oe.18.005229 . PMID 20389536 . Архивировано из оригинального (PDF) 13 мая 2011 года.CS1 maint: несколько имен: список авторов ( ссылка )
- Кай Лю, Юнчан Ван, Даниэль Л. Лау, Ци Хао, Лоуренс Г. Хассебрук: Гамма-модель и ее анализ для профилометрии фазовых измерений . J. Opt. Soc. Являюсь. А, 27: 553-562, 2010 г.
- Юнчан Ван, Кай Лю, Даниэль Л. Лау, Ци Хао, Лоуренс Г. Хассебрук: Стратегия максимального отношения сигнал / шум для методов фазового сдвига в структурированном световом освещении , J. Opt. Soc. Являюсь. А, 27 (9), стр. 1962–1971, 2010 г.
- Пэн Т., Гупта С.К. (2007). «Модель и алгоритмы построения облака точек с использованием цифровых проекционных шаблонов» (PDF) . Журнал вычислительной техники и информатики в инженерии . 7 (4): 372–381. CiteSeerX 10.1.1.127.3674 . DOI : 10.1115 / 1.2798115 .
- Хоф, К., Хоперманн, Х .: Сравнение реплик и измерений микротопографии кожи человека in vivo Университет Федеральных вооруженных сил, Гамбург
- Франковски, Г., Чен, М., Хут, Т .: Измерение трехмерной формы в реальном времени с помощью цифровой проекции полосы от Texas Instruments Micromirror Devices (DMD) Proc. SPIE-Vol. 3958 (2000), стр. 90–106.
- Франковски, Г., Чен, М., Хут, Т .: Оптическое измерение трехмерных координат и объема камеры сгорания головок цилиндров двигателя Proc. "Бахрома 2001", стр. 593–598.
- К. Дже, С. Ли и Р.-Х. Схема перестановки цветных полос Park для быстрой визуализации в диапазоне структурированного света . Optics Communications, том 285, выпуск 9, стр. 2320-2331, 1 мая 2012 г.
- К. Дже, С. Ли и Р.-Х. Парк. Высококонтрастный узор из цветных полос для быстрой визуализации в диапазоне структурированного света . Компьютерное зрение - ECCV 2004, LNCS 3021, стр. 95–107, Springer-Verlag Berlin Heidelberg, 10 мая 2004 г.
- Елена Стойкова, Яна Харизанова, Вентеслав Сайнов: Профилометрия проекции паттернов для измерения трехмерных координат динамических сцен. В: Трехмерное телевидение, Springer, 2008 г., ISBN 978-3-540-72531-2
- Song Zhang, Peisen Huang: 3D-измерение формы с высоким разрешением в реальном времени (докторская диссертация, Stony Brook Univ., 2005)
- Тао Пэн: алгоритмы и модели для трехмерного измерения формы с использованием цифровых проекций полос (докторская диссертация, Мэрилендский университет, США, 2007)
- W. Wilke: Segmentierung und Approximation großer Punktwolken (Диссертация Univ. Darmstadt, 2000)
- Г. Виора: Optische 3D-Messtechnik Präzise Gestaltvermessung mit einem erweiterten Streifenprojektionsverfahren (диссертация Univ. Heidelberg, 2001)
- Клаус Кёрнер, Ульрих Дросте: Университет Штутгарта Tiefenscannende Streifenprojektion (DSFP) (дополнительные ссылки на английском языке на сайте)
- Р. Морано, К. Озтюрк, Р. Конн, С. Дубин, С. Циц, Дж. Ниссано, «Структурированный свет с использованием псевдослучайных кодов», IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (3) (1998) 322–327
дальнейшее чтение
- Fringe 2005, 5-й международный семинар по автоматической обработке рисунков бахромы Берлин: Springer, 2006. ISBN 3-540-26037-4ISBN 978-3-540-26037-0