Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Сшивание изображений или сшивание фотографий - это процесс объединения нескольких фотографических изображений с перекрывающимися полями обзора для создания сегментированной панорамы или изображения с высоким разрешением. Обычно выполняемые с помощью компьютерного программного обеспечения , большинство подходов к сшиванию изображений требует почти точного перекрытия между изображениями и идентичных экспозиций для получения бесшовных результатов [1] [2], хотя некоторые алгоритмы сшивания фактически выигрывают от разно экспонированных изображений, выполняя высокодинамичные - дальность изображения в областях перекрытия. [3] [4] Некоторые цифровые камеры могут сшивать свои фотографии внутри.

Приложения [ править ]

Сшивание изображений широко используется в современных приложениях, например:

Остров Алькатрас , показанный на панораме, созданной сшиванием изображений

Процесс [ править ]

Процесс сшивания изображений можно разделить на три основных компонента: совмещение изображений , калибровка и смешение .

Алгоритмы сшивания изображений [ править ]

Этот образец изображения показывает геометрическое совмещение и линии стыка при создании панорамы.

Чтобы оценить выравнивание изображения, необходимы алгоритмы для определения соответствующей математической модели, связывающей пиксельные координаты в одном изображении с пиксельными координатами в другом. Для оценки этих параметров могут использоваться алгоритмы, сочетающие прямые сравнения пикселей с пикселями с градиентным спуском (и другими методами оптимизации).

В каждом изображении можно найти отличительные черты, а затем эффективно сопоставить их, чтобы быстро установить соответствия между парами изображений. Когда в панораме существует несколько изображений, были разработаны методы для вычисления глобального согласованного набора выравниваний и для эффективного обнаружения, какие изображения перекрывают друг друга.

Необходима окончательная композитная поверхность, на которой можно деформировать или проективно преобразовать и разместить все выровненные изображения, а также алгоритмы для плавного смешивания перекрывающихся изображений, даже при наличии параллакса, искажения объектива, движения сцены и различий в экспозиции.

Проблемы сшивания изображений [ править ]

Поскольку нельзя гарантировать идентичность освещения в двух видах, сшивание двух изображений может создать видимый шов. Другой причиной швов может быть изменение фона между двумя изображениями для одного и того же непрерывного переднего плана. Другими серьезными проблемами, которые необходимо решить, являются наличие параллакса , искажения объектива , движения сцены и различий в экспозиции . В неидеальном случае из реальной жизни интенсивность варьируется по всей сцене, а также контраст и интенсивность по кадрам. Кроме того, для создания визуально приятной композиции необходимо учитывать соотношение сторон панорамного изображения .

Для панорамного сшивания идеальный набор изображений будет иметь разумную степень перекрытия (не менее 15–30%), чтобы преодолеть искажение объектива, и иметь достаточно обнаруживаемых функций. Набор изображений будет иметь одинаковую экспозицию между кадрами, чтобы минимизировать вероятность образования швов.

Обнаружение ключевых точек [ править ]

Обнаружение признаков необходимо для автоматического поиска соответствий между изображениями . Надежные соответствия требуются, чтобы оценить необходимое преобразование для выравнивания изображения с изображением, на которое оно создается. Углы, пятна, углы Харриса и различия углов Харриса являются хорошими характеристиками, поскольку они повторяемы и различимы.

Один из первых операторов для обнаружения точек интереса был разработан Хансом П. Моравеком в 1977 году для его исследования, связанного с автоматической навигацией робота в кластерной среде. Моравек также определил концепцию «достопримечательностей» на изображении и пришел к выводу, что эти точки интереса можно использовать для поиска совпадающих областей на разных изображениях. Оператор Moravec считается детектором углов, поскольку он определяет точки интереса как точки, в которых наблюдаются большие колебания интенсивности во всех направлениях. Это часто бывает на углах. Однако Моравек не интересовался поиском углов, а только отдельными областями на изображении, которые можно было бы использовать для регистрации последовательных кадров изображения.

Харрис и Стивенс усовершенствовали детектор углов Моравека, непосредственно рассматривая разницу угловой оценки по направлению. Они нуждались в этом как на этапе обработки, чтобы построить интерпретацию среды робота на основе последовательностей изображений. Как и Moravec, им нужен был метод сопоставления соответствующих точек в последовательных кадрах изображения, но их интересовало отслеживание углов и краев между кадрами.

SIFT и SURF - недавние алгоритмы обнаружения ключевых точек или точек интереса, но следует отметить, что они запатентованы и их коммерческое использование ограничено. Как только функция была обнаружена, можно применить метод дескриптора, такой как дескриптор SIFT, для последующего сопоставления с ними.

Регистрация [ править ]

Регистрация изображения включает в себя сопоставление функций [7] в наборе изображений или использование методов прямого выравнивания для поиска совмещений изображений, которые минимизируют сумму абсолютных различий между перекрывающимися пикселями. [8] При использовании методов прямого совмещения можно сначала откалибровать изображения, чтобы получить лучшие результаты. Кроме того, пользователи могут ввести приблизительную модель панорамы, чтобы помочь на этапе сопоставления характеристик, так что, например, только соседние изображения будут искать совпадающие элементы. Поскольку имеется меньшая группа признаков для сопоставления, результат поиска более точен, а выполнение сравнения выполняется быстрее.

Для оценки надежной модели на основе данных используется общий метод, известный как RANSAC . Название RANSAC это аббревиатура для « RAN дом SA mple C onsensus». Это итерационный метод для надежной оценки параметров для соответствия математическим моделям из наборов наблюдаемых точек данных, которые могут содержать выбросы. Алгоритм не является детерминированным в том смысле, что он дает разумный результат только с определенной вероятностью, причем эта вероятность увеличивается по мере выполнения большего количества итераций. Вероятностный метод означает, что при каждом запуске алгоритма будут получены разные результаты.

Алгоритм RANSAC нашел множество применений в компьютерном зрении, включая одновременное решение задачи соответствия и оценку фундаментальной матрицы, относящейся к паре стереокамер. Основное предположение метода состоит в том, что данные состоят из «выбросов», т. Е. Данных, распределение которых можно объяснить с помощью некоторой математической модели, и «выбросов», которые представляют собой данные, не соответствующие модели. Выбросы считаются точками, вызванными шумом, ошибочными измерениями или просто неверными данными.

Для задачи оценки гомографии RANSAC работает, пытаясь подогнать несколько моделей с использованием некоторых пар точек, а затем проверяя, смогли ли модели связать большинство точек. Лучшая модель - гомография, которая дает наибольшее количество правильных совпадений, - затем выбирается в качестве решения проблемы; таким образом, если отношение количества выбросов к точкам данных очень низкое, RANSAC выводит достойную модель, соответствующую данным.

Калибровка [ править ]

Калибровки изображения цели , чтобы минимизировать разницу между идеальным моделями объективов и комбинации камеры-линзы , которые были использованы, оптические дефекты , такие как искажения , экспозиции различия между изображениями, виньетирование , [9] отклик камеры и хроматические аберрации . Если для регистрации изображений использовались методы обнаружения признаков, а абсолютные положения объектов были записаны и сохранены, программное обеспечение сшивания может использовать данные для геометрической оптимизации изображений в дополнение к размещению изображений на паносфере. Panotools и различные производные программы используют этот метод.

Выравнивание [ править ]

Выравнивание может потребоваться для преобразования изображения в соответствии с точкой обзора изображения, с которым оно создается. Проще говоря, выравнивание - это изменение системы координат, в результате чего она принимает новую систему координат, которая выводит изображение, соответствующее требуемой точке обзора. Типы преобразований, через которые может проходить изображение, - это чистое преобразование, чистое вращение, преобразование подобия, которое включает в себя перевод, поворот и масштабирование изображения, которое необходимо преобразовать, аффинное или проективное преобразование.

Проективное преобразование - это самое дальнее преобразование, которое может преобразовать изображение (в наборе двумерных плоских преобразований), где только видимые элементы, которые сохраняются в преобразованном изображении, являются прямыми линиями, тогда как параллелизм сохраняется в аффинном преобразовании.

Математически проективное преобразование можно описать как

х '= Н х ,

где x - точки в старой системе координат, x '- соответствующие точки в преобразованном изображении, а H - матрица гомографии .

Выражая точки x и x 'с помощью внутренних характеристик камеры (K и K'), а также ее вращения и перевода [R t] в реальные координаты X и X ', мы получаем

x = K [R t] X и x '= K' [R 't'] X ' .

Используя два приведенных выше уравнения и соотношение гомографии между x 'и x, мы можем вывести

H = K ' R' R −1 K −1

Матрица гомографии H имеет 8 параметров или степеней свободы. Гомографию можно вычислить с помощью прямого линейного преобразования и разложения по сингулярным значениям с помощью

А h = 0 ,

где A - матрица, построенная с использованием координат соответствий, а h - одномерный вектор из 9 элементов измененной матрицы гомографии. Чтобы добраться до h, мы можем просто применить SVD: A = U S V T And h = V (столбец, соответствующий наименьшему сингулярному вектору). Это верно, поскольку h лежит в нулевом пространстве A. Поскольку у нас 8 степеней свободы, алгоритм требует как минимум четырех точечных соответствий. В случае, когда RANSAC используется для оценки гомографии и доступны множественные соответствия, правильная матрица гомографии - это матрица с максимальным количеством вставок.

Составление [ править ]

Композиция - это процесс, при котором исправленные изображения выравниваются таким образом, что они выглядят как один снимок сцены. Композиция может выполняться автоматически, поскольку теперь алгоритм знает, какие соответствия перекрываются.

Смешивание [ править ]

Смешивание изображений включает выполнение корректировок, вычисленных на этапе калибровки, в сочетании с переназначением изображений на выходную проекцию. Цвета между изображениями регулируются, чтобы компенсировать разницу в экспозиции. Если возможно, выполняется слияние с расширенным динамическим диапазоном вместе с компенсацией движения и устранением волн-спутников. Изображения объединяются, и выполняется корректировка линии шва, чтобы минимизировать видимость швов между изображениями.

Шов можно уменьшить простой регулировкой усиления. Эта компенсация сводит к минимуму разницу в интенсивности перекрывающихся пикселей. Алгоритм смешения изображений придает больший вес пикселям около центра изображения. Лучше всего сравнивают изображения с компенсацией усиления и смешанные многополосные изображения. IJCV 2007. Выпрямление - еще один метод исправления изображения. Мэтью Браун и Дэвид Г. Лоу в своей статье «Автоматическое сшивание панорамных изображений с использованием инвариантных элементов» описывают методы выпрямления, которые применяют глобальное вращение таким образом, чтобы вектор u был вертикальным (в кадре рендеринга), что эффективно удаляет эффект волнистости из выходных панорам.

Даже после компенсации усиления некоторые края изображения все еще видны из-за ряда немоделированных эффектов, таких как виньетирование (интенсивность уменьшается по направлению к краю изображения), эффекты параллакса из-за нежелательного движения оптического центра, ошибки неправильной регистрации из-за неправильное моделирование камеры, радиальные искажения и так далее. По этим причинам они предлагают стратегию смешивания, называемую многополосным смешиванием.

Проекционные макеты [ править ]

Сравнение искажений вблизи полюсов паносферы различных цилиндрических форматов.

Для сегментов изображения, которые были взяты из одной и той же точки пространства, сшитые изображения могут быть расположены с использованием одной из различных проекций карты .

Прямолинейный [ править ]

Прямолинейная проекция , при которой сшитое изображение рассматривается на двумерной плоскости, пересекающей паносферу в одной точке. Линии, которые на самом деле прямые, отображаются как прямые независимо от их направления на изображении. Широкий обзор - около 120 ° или около того - начинает демонстрировать сильные искажения около границ изображения. Одним из случаев прямолинейной проекции является использование граней куба с кубическим отображением для просмотра панорамы. Панорама нанесена на шесть квадратов, каждая грань куба показывает область панорамы 90 на 90 градусов.

Цилиндрический [ править ]

Цилиндрическая проекция , где сшитое изображение показывает горизонтальное поле обзора 360 ° и ограниченное вертикальное поле зрения. Панорамы в этой проекции предназначены для просмотра так, как будто изображение свернуто в цилиндр и рассматривается изнутри. При просмотре на 2D-плоскости горизонтальные линии выглядят изогнутыми, а вертикальные линии остаются прямыми. [10] Вертикальное искажение быстро увеличивается при приближении к вершине паносферы. Существуют различные другие цилиндрические форматы, такие как цилиндрические формы Меркатора и Миллера, которые имеют меньшие искажения вблизи полюсов паносферы.

Сферический [ править ]

Сферическая проекция или равнопрямоугольная проекция - что, строго говоря, является другой цилиндрической проекцией - где сшитое изображение показывает поле обзора 360 ° по горизонтали и 180 ° по вертикали, т.е. всю сферу. Панорамы в этой проекции предназначены для просмотра так, как если бы изображение было свернуто в сферу и рассматривалось изнутри. При просмотре на двухмерной плоскости горизонтальные линии выглядят изогнутыми, как в цилиндрической проекции, а вертикальные линии остаются вертикальными. [10]

Паннини [ править ]

Поскольку панорама в основном представляет собой карту сферы, при желании можно также использовать различные другие картографические проекции от картографов . Кроме того, существуют специализированные проекции, которые могут иметь более эстетичные преимущества перед обычными картографическими проекциями, такие как проекция Паннини Хугина [11], названная в честь итальянского художника ведутизма Джованни Паоло Паннини [12], или проекция ведутизма PTgui. [13] Различные проекции могут быть объединены в одно изображение для точной настройки окончательного вида выходного изображения. [14]

Стереографический [ править ]

Стереографическую проекцию или проекцию « рыбий глаз» можно использовать для формирования небольшой панорамы планеты , направив виртуальную камеру прямо вниз и установив достаточно большое поле зрения , чтобы показать всю землю и некоторые области над ней; направление виртуальной камеры вверх создает эффект туннеля. Соответствие стереографической проекции может дать более визуально приятный результат, чем проекция «рыбий глаз» равной площади, как описано в статье о стереографической проекции.

Артефакты [ править ]

Артефакты из-за движения объекта

Ошибки
при стыковке изображения Нажмите, чтобы просмотреть сшитое изображение целиком

Использование изображений, снятых не из одного и того же места (на шарнире вокруг входного зрачка камеры) [15], может привести к ошибкам параллакса в конечном продукте. Когда захваченная сцена демонстрирует быстрое движение или динамическое движение, артефакты могут возникать в результате разницы во времени между сегментами изображения. «Слепое шитье» с помощью методов выравнивания на основе элементов (см. Автошить), в отличие от ручного выбора и сшивания, может вызвать дефекты при сборке панорамы. Один из способов избежать проблемы искажения параллакса - это сделать ваши изображения для сшивания с помощью широкоформатной камеры и держать ее неподвижно во время экспозиции. Если ваш объектив не двигается, у ваших изображений не будет проблем с параллаксом. На рынке существует множество сдвижных адаптеров, которые позволяют перемещать устройство захвата (будь то зеркальная камера или среднеформатный цифровой захват обратно) без движения самой камеры. Одним из таких адаптеров является Flex Adapter от Phase One . Чтобы выйти за рамки простой линейной строчки на одной оси, обычно горизонтальной, как на изображении Алькатраса вверху этой страницы, есть переходная пластина MultiStitch.который позволяет пользователю создавать изображения, которые точно перекрываются как в плоскости X, так и в плоскости Y, создавая изображения 2 на 2 для сшивания. Еще одно фотографическое преимущество сшивания с использованием широкоформатной камеры заключается в том, что устройство захвата остается в плоскости для каждой экспозиции, а дефекты вращения и цилиндрические искажения устраняются.

Программное обеспечение [ править ]

См. Также: Сравнение программ для сшивания фотографий

Специальные программы включают Autostitch , Hugin , Ptgui , Panorama Tools , Microsoft Research Image Composite Editor и CleVR Stitcher . Многие другие программы также могут сшивать несколько изображений; популярный пример является Adobe Systems ' Photoshop , который включает в себя инструмент , известный как Photomerge и, в последних версиях, новой Auto-Blend , . Другие программы, такие как VideoStitch, позволяют сшивать видео, а Vahana VRпозволяет сшивать видео в реальном времени. Модуль Image Stitching для программного обеспечения микроскопа QuickPHOTO позволяет интерактивно сшивать вместе несколько полей зрения с микроскопа, используя изображение с камеры в реальном времени. Его также можно использовать для ручного сшивания целых образцов для микроскопии.

См. Также [ править ]

  • Панорамная фотография ActionShot
  • Анаглиф 3D
  • Автошивка
  • Производная работа
  • Мозаика цифровых изображений
  • Мозаика документа
  • Панография
  • Панорамная фотография
  • VR-фотография (интерактивные панорамы)

Ссылки [ править ]

  1. ^ Манн, Стив; Пикард, Р. У. (13–16 ноября 1994 г.). «Виртуальные мехи: создание качественных кадров из видео» (PDF) . Труды Первой международной конференции IEEE по обработке изображений . Международная конференция IEEE. Остин, Техас : IEEE .
  2. ^ Уорд, Грег (2006). «Скрытие швов в панорамах с высоким динамическим диапазоном». Материалы 3-го симпозиума по прикладному восприятию в графике и визуализации . Международная конференция ACM. 153 . ACM . DOI : 10.1145 / 1140491.1140527 . ISBN 1-59593-429-4.
  3. ^ Стив Манн . «Составление нескольких изображений одной и той же сцены», Труды 46-й ежегодной конференции по науке и технологиям в области визуализации, 9–14 мая, Кембридж, Массачусетс, 1993 г.
  4. ^ С. Манн, К. Мандерс и Дж. Фунг, " Уравнение ограничения изменения пространства света (LCCE) с практическим применением для оценки проективности + преобразования усиления между несколькими изображениями одного и того же предмета " Международная конференция IEEE по акустике, выступление , and Signal Processing, 6–10 апреля 2003 г., стр. III - 481-4 том 3
  5. ^ Hannuksela, Яри и др. « Документируйте мозаику изображений с помощью мобильных телефонов ». 14-я Международная конференция по анализу и обработке изображений (ICIAP 2007). IEEE, 2007.
  6. ^ Breszcz, M .; Брекон, Т.П. (август 2015 г.). «Построение и визуализация в реальном времени видеомозаики без смещения на основе неограниченного движения камеры» (PDF) . ИЭПП J. Engineering . ИЭПП. 2015 (16): 229–240. DOI : 10,1049 / joe.2015.0016 . breszcz15мозаика.
  7. ^ Szeliski, Ричард (2005). «Выравнивание и сшивание изображений» (PDF) . Проверено 1 июня 2008 . Cite journal requires |journal= (help)
  8. ^ С. Суен; Э. Лам; К. Вонг (2007). «Фотографическое сшивание с оптимизированным подбором объектов и цветов на основе производных изображений» . Оптика Экспресс . 15 (12): 7689–7696. Bibcode : 2007OExpr..15.7689S . дои : 10,1364 / OE.15.007689 . PMID 19547097 . 
  9. ↑ d'Angelo, Пабло (2007). «Радиометрическая центровка и калибровка виньетирования» (PDF) .
  10. ^ a b Уэллс, Сара; и другие. (2007). «Руководство IATH по лучшей практике цифровой панорамной фотографии» . Проверено 1 июня 2008 . Cite journal requires |journal= (help)
  11. ^ Hugin.sourceforge.net , руководство hugin: Панини
  12. ^ Groups.google.com , список рассылки hugin-ptx, 29 декабря 2008 г.
  13. ^ PTgui: Проекции
  14. ^ Tawbaware.com , Прогнозы PTAssembler: Hybrid
  15. ^ Литтлфилд, Рик (2006-02-06). "Теория точки" без параллакса "в панорамной фотографии" (PDF) . вер. 1.0 . Проверено 1 июня 2008 . Cite journal requires |journal= (help)

Внешние ссылки [ править ]

  • СМИ, связанные со сшиванием, на Викискладе?