Из Википедии, бесплатной энциклопедии
  (Перенаправлено с сшитого изображения )
Перейти к навигации Перейти к поиску

Сшивание изображений или сшивание фотографий - это процесс объединения нескольких фотографических изображений с перекрывающимися полями обзора для создания сегментированной панорамы или изображения с высоким разрешением. Обычно выполняемые с использованием компьютерного программного обеспечения , большинство подходов к сшиванию изображений требует почти точного перекрытия между изображениями и идентичных экспозиций для получения бесшовных результатов [1] [2], хотя некоторые алгоритмы сшивания фактически выигрывают от разно экспонированных изображений, выполняя высокодинамичные - дальность изображения в областях перекрытия. [3] [4] Некоторые цифровые камеры могут сшивать свои фотографии внутри.

Приложения [ править ]

Сшивание изображений широко используется в современных приложениях, например в следующих:

Остров Алькатрас , показанный на панораме, созданной сшивкой изображений

Процесс [ править ]

Процесс сшивания изображений можно разделить на три основных компонента: совмещение изображений , калибровка и смешение .

Алгоритмы сшивания изображений [ править ]

Этот образец изображения показывает геометрическое совмещение и линии стыка при создании панорамы.

Чтобы оценить выравнивание изображения, необходимы алгоритмы для определения соответствующей математической модели, связывающей пиксельные координаты в одном изображении с пиксельными координатами в другом. Для оценки этих параметров можно использовать алгоритмы, сочетающие прямые сравнения пикселей с пикселями с градиентным спуском (и другими методами оптимизации).

В каждом изображении можно найти отличительные черты, а затем эффективно сопоставить их, чтобы быстро установить соответствия между парами изображений. Когда в панораме существует несколько изображений, были разработаны методы для вычисления глобального согласованного набора выравниваний и для эффективного обнаружения, какие изображения перекрывают друг друга.

Необходима окончательная композитная поверхность, на которой можно деформировать или проективно преобразовать и разместить все выровненные изображения, а также алгоритмы для плавного смешивания перекрывающихся изображений, даже при наличии параллакса, искажения линз, движения сцены и различий в экспозиции.

Проблемы сшивания изображений [ править ]

Поскольку нельзя гарантировать идентичность освещения в двух видах, сшивание двух изображений может создать видимый шов. Другой причиной швов может быть изменение фона между двумя изображениями для одного и того же непрерывного переднего плана. Другими серьезными проблемами, которые необходимо решить, являются наличие параллакса , искажения объектива , движения сцены и различий в экспозиции . В неидеальном случае из реальной жизни интенсивность варьируется по всей сцене, а также контраст и интенсивность по кадрам. Кроме того, для создания визуально приятной композиции необходимо учитывать соотношение сторон панорамного изображения .

Для панорамного сшивания идеальный набор изображений будет иметь разумную степень перекрытия (не менее 15–30%), чтобы преодолеть искажение линзы, и иметь достаточно обнаруживаемых функций. Набор изображений будет иметь одинаковую экспозицию между кадрами, чтобы минимизировать вероятность образования швов.

Обнаружение ключевых точек [ править ]

Обнаружение признаков необходимо для автоматического поиска соответствий между изображениями. Надежные соответствия требуются, чтобы оценить необходимое преобразование для выравнивания изображения с изображением, на которое оно создается. Углы, капли, углы Харриса и различия углов Харриса являются хорошими характеристиками, поскольку они повторяемы и различимы.

Один из первых операторов для обнаружения точек интереса был разработан Хансом П. Моравеком в 1977 году для его исследования, связанного с автоматической навигацией робота в кластерной среде. Моравек также определил концепцию «точек интереса» на изображении и пришел к выводу, что эти точки интереса можно использовать для поиска совпадающих областей на разных изображениях. Оператор Moravec считается детектором углов, потому что он определяет точки интереса как точки, где есть большие вариации интенсивности во всех направлениях. Это часто бывает на углах. Однако Моравек не был заинтересован в поиске углов, а только в отдельных областях изображения, которые можно было использовать для регистрации последовательных кадров изображения.

Харрис и Стивенс усовершенствовали детектор углов Моравека, непосредственно рассматривая разницу угловой оценки по направлению. Они нуждались в этом как на этапе обработки для создания интерпретаций среды робота на основе последовательностей изображений. Как и Moravec, им нужен был метод сопоставления соответствующих точек в последовательных кадрах изображения, но их интересовало отслеживание углов и краев между кадрами.

SIFT и SURF - недавние алгоритмы обнаружения ключевых точек или точек интереса, но следует отметить, что они запатентованы и их коммерческое использование ограничено. Как только функция была обнаружена, можно применить метод дескриптора, такой как дескриптор SIFT, для последующего сопоставления с ними.

Регистрация [ править ]

Регистрация изображений включает в себя сопоставление функций [7] в наборе изображений или использование методов прямого выравнивания для поиска совмещений изображений, которые минимизируют сумму абсолютных различий между перекрывающимися пикселями. [8] При использовании методов прямого совмещения можно сначала откалибровать изображения, чтобы получить лучшие результаты. Кроме того, пользователи могут ввести приблизительную модель панорамы, чтобы помочь стадии сопоставления признаков, так что, например, только соседние изображения ищутся на предмет соответствия. Поскольку существует меньшая группа признаков для сопоставления, результат поиска более точен, а сравнение выполняется быстрее.

Для оценки надежной модели на основе данных используется общий метод, известный как RANSAC . Название RANSAC это аббревиатура для « RAN дом SA mple C onsensus». Это итерационный метод для надежной оценки параметров для соответствия математическим моделям из наборов наблюдаемых точек данных, которые могут содержать выбросы. Алгоритм является недетерминированным в том смысле, что он дает разумный результат только с определенной вероятностью, причем эта вероятность увеличивается по мере выполнения большего количества итераций. Вероятностный метод означает, что при каждом запуске алгоритма будут получены разные результаты.

Алгоритм RANSAC нашел множество применений в компьютерном зрении, включая одновременное решение проблемы соответствия и оценку фундаментальной матрицы, относящейся к паре стереокамер. Основное предположение метода состоит в том, что данные состоят из «выбросов», т. Е. Данных, распределение которых может быть объяснено с помощью некоторой математической модели, и «выбросов», которые представляют собой данные, которые не соответствуют модели. Выбросы считаются точками, вызванными шумом, ошибочными измерениями или просто неверными данными.

Для задачи оценки гомографии RANSAC работает, пытаясь подогнать несколько моделей с использованием некоторых пар точек, а затем проверяя, смогли ли модели связать большинство точек. Лучшая модель - гомография, которая дает наибольшее количество правильных совпадений - затем выбирается в качестве ответа на проблему; таким образом, если отношение количества выбросов к точкам данных очень низкое, RANSAC выводит достойную модель, соответствующую данным.

Калибровка [ править ]

Калибровки изображения цели , чтобы минимизировать разницу между идеальным моделями объективов и комбинации камеры-линзы , которые были использованы, оптические дефекты , такие как искажения , экспозиции различия между изображениями, виньетирование , [9] отклик камеры и хроматические аберрации . Если для регистрации изображений использовались методы обнаружения признаков, а абсолютные положения объектов были записаны и сохранены, программное обеспечение сшивки может использовать данные для геометрической оптимизации изображений в дополнение к размещению изображений на паносфере. Panotools и различные производные программы используют этот метод.

Выравнивание [ править ]

Выравнивание может потребоваться для преобразования изображения в соответствии с точкой обзора изображения, с которым оно создается. Проще говоря, выравнивание - это изменение системы координат, так что она принимает новую систему координат, которая выводит изображение, соответствующее требуемой точке обзора. Типы преобразований, через которые может пройти изображение, - это чистое преобразование, чистое вращение, преобразование подобия, которое включает в себя перевод, поворот и масштабирование изображения, которое необходимо преобразовать, аффинное или проективное преобразование.

Проективное преобразование - это самое дальнее преобразование, которое может преобразовать изображение (в наборе двумерных плоских преобразований), где только видимые элементы, которые сохраняются в преобразованном изображении, являются прямыми линиями, тогда как параллелизм сохраняется в аффинном преобразовании.

Проективное преобразование математически можно описать как

х '= Н х ,

где x - точки в старой системе координат, x '- соответствующие точки в преобразованном изображении, а H - матрица гомографии .

Выражая точки x и x 'с помощью внутренних характеристик камеры (K и K'), а также ее вращения и перевода [R t] в реальные координаты X и X ', мы получаем

x = K [R t] X и x '= K' [R 't'] X ' .

Используя два приведенных выше уравнения и соотношение гомографии между x 'и x, мы можем вывести

H = K ' R' R −1 K −1

Матрица гомографии H имеет 8 параметров или степеней свободы. Гомографию можно вычислить с помощью прямого линейного преобразования и разложения по сингулярным значениям с помощью

А h = 0 ,

где A - матрица, построенная с использованием координат соответствий, а h - одномерный вектор из 9 элементов измененной матрицы гомографии. Чтобы добраться до h, мы можем просто применить SVD: A = U S V T And h = V (столбец, соответствующий наименьшему сингулярному вектору). Это верно, поскольку h лежит в нулевом пространстве A. Поскольку у нас 8 степеней свободы, алгоритм требует как минимум четырех точечных соответствий. В случае, когда RANSAC используется для оценки гомографии и доступны множественные соответствия, правильная матрица гомографии - это матрица с максимальным количеством вставок.

Создание [ править ]

Композиция - это процесс, при котором исправленные изображения выравниваются таким образом, что они выглядят как один снимок сцены. Композиция может выполняться автоматически, поскольку теперь алгоритм знает, какие соответствия перекрываются.

Смешивание [ править ]

Смешивание изображений включает в себя выполнение корректировок, вычисленных на этапе калибровки, в сочетании с повторным отображением изображений на выходную проекцию. Цвета между изображениями регулируются, чтобы компенсировать разницу в экспозиции. Если возможно, выполняется слияние с расширенным динамическим диапазоном вместе с компенсацией движения и устранением волн-спутников. Изображения совмещаются, и выполняется корректировка линии шва, чтобы минимизировать видимость швов между изображениями.

Шов можно уменьшить простой регулировкой усиления. Эта компенсация сводит к минимуму разницу в интенсивности перекрывающихся пикселей. Алгоритм смешивания изображений придает больший вес пикселям около центра изображения. Лучше всего сравнивают изображения с компенсацией усиления и смешанные изображения. IJCV 2007. Выпрямление - еще один метод исправления изображения. Мэтью Браун и Дэвид Г. Лоу в своей статье «Автоматическое сшивание панорамных изображений с использованием неизменных элементов» описывают методы выпрямления, которые применяют глобальное вращение, так что вектор u является вертикальным (в кадре рендеринга), что эффективно устраняет эффект волнистости из выходных панорам.

Даже после компенсации усиления некоторые края изображения все еще видны из-за ряда немоделированных эффектов, таких как виньетирование (интенсивность уменьшается по направлению к краю изображения), эффекты параллакса из-за нежелательного движения оптического центра, ошибки неправильной регистрации из-за неправильное моделирование камеры, радиальные искажения и так далее. По этим причинам они предлагают стратегию смешивания, называемую многополосным смешиванием.

Проекционные макеты [ править ]

Сравнение искажений вблизи полюсов паносферы различных цилиндрических форматов.

Для сегментов изображения, которые были взяты из одной и той же точки пространства, сшитые изображения могут быть расположены с использованием одной из различных проекций карты .

Прямолинейный [ править ]

Прямолинейная проекция , при которой сшитое изображение просматривается на двухмерной плоскости, пересекающей паносферу в одной точке. Линии, которые на самом деле прямые, отображаются как прямые независимо от их направления на изображении. Широкий обзор - около 120 ° или около того - начинает демонстрировать сильные искажения около границ изображения. Одним из случаев прямолинейной проекции является использование граней куба с кубическим отображением для просмотра панорамы. Панорама нанесена на шесть квадратов, каждая грань куба показывает область панорамы 90 на 90 градусов.

Цилиндрический [ править ]

Цилиндрическая проекция , где сшитое изображение показывает горизонтальное поле зрения 360 ° и ограниченное вертикальное поле зрения. Панорамы в этой проекции предназначены для просмотра так, как будто изображение свернуто в цилиндр и рассматривается изнутри. При просмотре на 2D-плоскости горизонтальные линии выглядят изогнутыми, а вертикальные линии остаются прямыми. [10] Вертикальное искажение быстро увеличивается по мере приближения к вершине паносферы. Существуют различные другие цилиндрические форматы, такие как цилиндрические формы Меркатора и Миллера, которые имеют меньшие искажения вблизи полюсов паносферы.

Сферический [ править ]

Сферическая проекция или равнопрямоугольная проекция - что, строго говоря, другая цилиндрическая проекция - где сшитое изображение показывает поле обзора 360 ° по горизонтали и 180 ° по вертикали, то есть всю сферу. Панорамы в этой проекции предназначены для просмотра так, как если бы изображение было свернуто в сферу и рассматривалось изнутри. При просмотре на 2D-плоскости горизонтальные линии выглядят изогнутыми, как в цилиндрической проекции, а вертикальные линии остаются вертикальными. [10]

Паннини [ править ]

Поскольку панорама в основном представляет собой карту сферы, при желании можно использовать и другие картографические проекции от картографов . Кроме того, существуют специализированные проекции, которые могут иметь более эстетичные преимущества перед обычными картографическими проекциями, такими как проекция Паннини Хугина [11], названная в честь итальянского художника ведутизма Джованни Паоло Паннини [12], или проекция ведутизма PTgui. [13] Различные проекции могут быть объединены в одно изображение для точной настройки окончательного вида выходного изображения. [14]

Стереографический [ править ]

Стереографическую проекцию или проекцию « рыбий глаз» можно использовать для создания небольшой панорамы планеты , направив виртуальную камеру прямо вниз и установив достаточно большое поле зрения , чтобы показать всю землю и некоторые области над ней; направление виртуальной камеры вверх создает эффект туннеля. Соответствие стереографической проекции может дать более визуально приятный результат, чем проекция «рыбий глаз» равной площади, как описано в статье о стереографической проекции.

Артефакты [ править ]

Артефакты из-за движения объекта

Ошибки
при стыковке изображения Нажмите, чтобы просмотреть сшитое изображение целиком

Использование изображений, снятых не из одного и того же места (на шарнире вокруг входного зрачка камеры) [15], может привести к ошибкам параллакса в конечном продукте. Когда захваченная сцена демонстрирует быстрое или динамическое движение, могут возникать артефакты в результате разницы во времени между сегментами изображения. «Слепое шитье» с помощью методов выравнивания на основе элементов (см. Автоматическое шитье).), в отличие от ручного выбора и сшивания, может вызвать недостатки в сборке панорамы. Один из способов избежать проблемы искажения параллакса - сделать ваши изображения для сшивания с помощью широкоформатной камеры и держать ее неподвижной во время экспозиции. Если ваш объектив не двигается, у ваших изображений не будет проблем с параллаксом. На рынке есть много сдвижных адаптеров, которые позволяют перемещать устройство захвата (будь то зеркальная камера или среднеформатный цифровой захват обратно) без какого-либо движения самой камеры. Одним из таких адаптеров является Flex Adapter от Phase One . Чтобы выйти за рамки простой линейной строчки на одной оси, обычно горизонтальной, как на изображении Алькатраса в верхней части этой страницы, есть переходная пластина MultiStitch.который позволяет пользователю создавать изображения, которые точно перекрываются как в плоскостях X, так и в Y, создавая изображения 2 на 2 для сшивания. Еще одно фотографическое преимущество сшивания с использованием широкоформатной камеры заключается в том, что устройство захвата остается в плоскости для каждой экспозиции, а дефекты вращения и цилиндрические искажения устраняются.

Программное обеспечение [ править ]

См. Также: Сравнение программ для сшивания фотографий

Специальные программы включают Autostitch , Hugin , Ptgui , Panorama Tools , Microsoft Research Image Composite Editor и CleVR Stitcher . Многие другие программы также могут сшивать несколько изображений; популярный пример является Adobe Systems ' Photoshop , который включает в себя инструмент , известный как Photomerge и, в последних версиях, новой Auto-Blend , . Другие программы, такие как VideoStitch, позволяют сшивать видео, а Vahana VRпозволяет сшивать видео в реальном времени. Модуль Image Stitching для программного обеспечения микроскопа QuickPHOTO позволяет интерактивно сшивать вместе несколько полей зрения с микроскопа, используя изображение с камеры в режиме реального времени. Его также можно использовать для ручного сшивания целых образцов для микроскопии.

См. Также [ править ]

  • Панорамная фотография ActionShot
  • Анаглиф 3D
  • Автошивка
  • Производная работа
  • Мозаика цифровых изображений
  • Мозаика документа
  • Панография
  • Панорамная фотография
  • VR-фотография (интерактивные панорамы)

Ссылки [ править ]

  1. ^ Манн, Стив; Пикард, Р. У. (13–16 ноября 1994 г.). «Виртуальные мехи: создание качественных кадров из видео» (PDF) . Труды Первой международной конференции IEEE по обработке изображений . Международная конференция IEEE. Остин, Техас : IEEE .
  2. ^ Уорд, Грег (2006). «Скрытие швов в панорамах с высоким динамическим диапазоном». Труды 3-го симпозиума по прикладному восприятию в графике и визуализации . Международная конференция ACM. 153 . ACM . DOI : 10.1145 / 1140491.1140527 . ISBN 1-59593-429-4.
  3. ^ Стив Манн . «Составление нескольких изображений одной и той же сцены», Труды 46-й Ежегодной конференции по науке и технологиям в области визуализации, 9–14 мая, Кембридж, Массачусетс, 1993 г.
  4. ^ С. Манн, К. Мандерс и Дж. Фунг, " Уравнение ограничения изменения пространства света (LCCE) с практическим применением для оценки проективности + преобразования усиления между несколькими изображениями одного и того же предмета ", Международная конференция IEEE по акустике, выступление , and Signal Processing, 6–10 апреля 2003 г., стр. III - 481-4, том 3
  5. ^ Ханнуксела, Яри и др. « Документируйте мозаику изображений с помощью мобильных телефонов ». 14-я Международная конференция по анализу и обработке изображений (ICIAP 2007). IEEE, 2007.
  6. ^ Breszcz, M .; Брекон, Т.П. (август 2015 г.). «Построение и визуализация в реальном времени видеомозаики без смещения на основе неограниченного движения камеры» (PDF) . ИЭПП Дж. Инжиниринг . ИЭПП. 2015 (16): 229–240. DOI : 10,1049 / joe.2015.0016 . breszcz15мозаика.
  7. ^ Szeliski, Ричард (2005). «Выравнивание и сшивание изображений» (PDF) . Проверено 1 июня 2008 . Cite journal requires |journal= (help)
  8. ^ С. Суен; Э. Лам; К. Вонг (2007). «Фотографическое сшивание с оптимизированным подбором объектов и цветов на основе производных изображений» . Оптика Экспресс . 15 (12): 7689–7696. Bibcode : 2007OExpr..15.7689S . DOI : 10,1364 / OE.15.007689 . PMID 19547097 . 
  9. ^ д'Анджело, Пабло (2007). «Радиометрическая центровка и калибровка виньетирования» (PDF) .
  10. ^ a b Уэллс, Сара; и другие. (2007). «Руководство IATH по лучшим методам цифровой панорамной фотографии» . Проверено 1 июня 2008 . Cite journal requires |journal= (help)
  11. ^ Hugin.sourceforge.net , руководство hugin: Панини
  12. ^ Groups.google.com , список рассылки hugin-ptx, 29 декабря 2008 г.
  13. ^ PTgui: Проекции
  14. ^ Tawbaware.com , Проекции PTAssembler: Hybrid
  15. ^ Литтлфилд, Рик (2006-02-06). "Теория точки" без параллакса "в панорамной фотографии" (PDF) . вер. 1.0 . Проверено 1 июня 2008 . Cite journal requires |journal= (help)

Внешние ссылки [ править ]

  • СМИ, связанные с вышивкой, на Викискладе?