Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Слияние изображений процесс определяется как сбор всю важную информацию из нескольких изображений, и их включение в меньшем количестве изображений, как правило , один. Это отдельное изображение более информативно и точно, чем любое отдельное исходное изображение, и оно содержит всю необходимую информацию. Цель объединения изображений - не только уменьшить объем данных, но и создать изображения, более подходящие и понятные для человеческого и машинного восприятия. [1] [2] В компьютерном зрении слияние мультисенсорных изображений - это процесс объединения релевантной информации из двух или более изображений в одно изображение. [3] Полученное изображение будет более информативным, чем любое из входных изображений. [4]

В приложениях дистанционного зондирования растущая доступность космических датчиков дает мотивацию для использования различных алгоритмов слияния изображений. Несколько ситуаций при обработке изображений требуют высокого пространственного и высокого спектрального разрешения в одном изображении. Большая часть доступного оборудования не способна убедительно предоставить такие данные. Методы слияния изображений позволяют интегрировать различные источники информации. Объединенное изображение может иметь дополнительные характеристики пространственного и спектрального разрешения. Однако стандартные методы объединения изображений могут искажать спектральную информацию многоспектральных данных во время объединения.

При спутниковой съемке доступны два типа изображений. Панхроматическая изображение , полученное с помощью спутников передается с разрешением максимально доступна и мультиспектральные данные передаются с разрешением более грубой. Обычно это в два-четыре раза меньше. На приемной станции панхроматическое изображение объединяется с мультиспектральными данными для передачи дополнительной информации.

Существует множество методов для совмещения изображений. Самым основным из них является метод фильтрации высоких частот . Более поздние методы основаны на дискретном вейвлет-преобразовании , банке однородных рациональных фильтров и пирамиде Лапласа .

Слияние мультифокусных изображений [ править ]

Слияние многофокусных изображений используется для сбора полезной и необходимой информации из входных изображений с разной глубиной фокуса, чтобы создать выходное изображение, которое в идеале содержит всю информацию из входных изображений. [2] [5] В сети визуальных датчиков (VSN) датчики - это камеры, которые записывают изображения и видеопоследовательности. Во многих приложениях VSN камера не может дать идеальную иллюстрацию, включающую все детали сцены. Это связано с ограниченной глубиной резкости оптических линз фотоаппаратов. [6]Таким образом, фокусируется и очищается только объект, расположенный в фокусном расстоянии камеры, а остальные части изображения размываются. VSN имеет возможность захватывать изображения с разной глубиной фокусировки в сцене с помощью нескольких камер. Из-за большого объема данных, генерируемых камерой по сравнению с другими датчиками, такими как датчики давления и температуры, а также некоторых ограничений, таких как ограниченная ширина полосы, потребление энергии и время обработки, важно обрабатывать локальные входные изображения, чтобы уменьшить объем передачи. данные. Вышеупомянутые причины подчеркивают необходимость объединения многофокусных изображений. Слияние многофокусных изображений - это процесс, который объединяет входные многофокусные изображения в одно изображение, включая всю важную информацию о входных изображениях, и это более точное объяснение сцены, чем каждое отдельное входное изображение.[2]

Почему слияние изображений [ править ]

Объединение данных с нескольких датчиков стало дисциплиной, которая требует более общих формальных решений для ряда случаев применения. В нескольких ситуациях при обработке изображений требуется как высокая пространственная, так и высокая спектральная информация в одном изображении. Это важно при дистанционном зондировании. Однако инструменты не могут предоставить такую ​​информацию ни по конструкции, ни из-за ограничений, связанных с наблюдениями. Одно из возможных решений - слияние данных .

Стандартные методы слияния изображений [ править ]

Методы слияния изображений можно в общих чертах разделить на две группы - слияние пространственной области и слияние области преобразования.

Методы слияния, такие как усреднение, метод Брови, анализ главных компонентов ( PCA ) и методы на основе IHS, подпадают под подходы пространственной области. Другим важным методом объединения в пространственной области является метод, основанный на фильтрации верхних частот. Здесь высокочастотные детали вводятся в версию изображений MS с повышенной частотой дискретизации. Недостатком подходов с пространственной областью является то, что они вызывают пространственное искажение слитного изображения. Спектральные искажения становятся негативным фактором, пока мы идем для дальнейшей обработки, например, проблемы классификации. Пространственное искажение может быть очень хорошо обработано подходами в частотной области к объединению изображений. Анализ с несколькими разрешениями стал очень полезным инструментом для анализа изображений дистанционного зондирования. Дискретного вейвлет - преобразованиястал очень полезным инструментом для слияния. Также существуют некоторые другие методы слияния, такие как на основе пирамиды Лапласа, на основе кривых преобразований и т. Д. Эти методы показывают лучшие характеристики пространственного и спектрального качества слитого изображения по сравнению с другими пространственными методами слияния.

Изображения, используемые при объединении изображений, уже должны быть зарегистрированы . Не совмещение является основным источником ошибок при слиянии изображений. Некоторые известные методы слияния изображений:

  • Техника фильтрации высоких частот
  • Объединение изображений на основе преобразования IHS
  • Слияние изображений на основе PCA
  • Слияние изображений с вейвлет-преобразованием
  • Парное согласование пространственной частоты

Объединение изображений дистанционного зондирования [ править ]

Объединение изображений в дистанционном зондировании имеет несколько областей применения. Важной областью является объединение изображений с разными разрешениями (обычно называемое пан-резкостью). На спутниковых снимках может быть два типа снимков.

  • Панхроматические изображения - изображение, собранное в широком визуальном диапазоне длин волн, но отображаемое в черно-белом режиме.
  • Мультиспектральные изображения - изображения, полученные оптическим путем в нескольких спектральных или длинноволновых интервалах. Каждое отдельное изображение обычно имеет одинаковую физическую площадь и масштаб, но в разном спектральном диапазоне.

SPOT спутник ПАН обеспечивает высокое разрешение (10м пиксель) панхроматические данные. В то время как спутник LANDSAT TM обеспечивает многоспектральные изображения низкого разрешения (30 м пикселей). Объединение изображений пытается объединить эти изображения и создать одно мультиспектральное изображение с высоким разрешением.

Стандартные методы объединения изображений основаны на преобразовании красный-зеленый-синий (RGB) в интенсивность-оттенок-насыщенность (IHS). Обычные шаги, выполняемые при слиянии спутниковых изображений, следующие:

  1. Измените размер мультиспектрального изображения с низким разрешением до того же размера, что и панхроматическое изображение.
  2. Преобразуйте полосы R, G и B мультиспектрального изображения в компоненты IHS.
  3. Измените панхроматическое изображение относительно мультиспектрального изображения. Обычно это выполняется путем сопоставления гистограммы панхроматического изображения с компонентом интенсивности мультиспектральных изображений в качестве эталона.
  4. Замените компонент интенсивности панхроматическим изображением и выполните обратное преобразование, чтобы получить мультиспектральное изображение с высоким разрешением.

Повышение резкости можно сделать с помощью Photoshop . [7] Доступны и другие приложения слияния изображений в дистанционном зондировании. [8]

Слияние медицинских изображений [ править ]

Слияние изображений стало обычным термином, используемым в медицинской диагностике и лечении. [9] Этот термин используется, когда несколько изображений пациента регистрируются и накладываются друг на друга или объединяются для предоставления дополнительной информации. Объединенные изображения могут быть созданы из нескольких изображений с помощью одного и того же метода визуализации [10] или путем объединения информации из нескольких методов [11], таких как магнитно-резонансное изображение (МРТ), компьютерная томография (КТ), позитронно-эмиссионная томография (ПЭТ), и однофотонная эмиссионная компьютерная томография (ОФЭКТ). В радиологии и радиационной онкологии, эти изображения служат разным целям. Например, изображения КТ чаще используются для установления различий в плотности тканей, в то время как изображения МРТ обычно используются для диагностики опухолей головного мозга.

Для точного диагноза рентгенологи должны интегрировать информацию из нескольких форматов изображений. Объединенные анатомически согласованные изображения особенно полезны при диагностике и лечении рака. С появлением этих новых технологий онкологи-радиологи могут в полной мере использовать лучевую терапию с модуляцией интенсивности ( IMRT ). Возможность наложения диагностических изображений на изображения для планирования облучения позволяет получить более точные объемы опухоли-мишени IMRT .

Показатели слияния изображений [ править ]

Сравнительный анализ методов слияния изображений показывает, что разные метрики поддерживают разные потребности пользователей, чувствительны к различным методам слияния изображений и должны быть адаптированы к приложению. Категории показателей слияния изображений основаны на особенностях теории информации [4] , структурном сходстве или человеческом восприятии. [12]

См. Также [ править ]

  • Слияние датчиков
  • Слияние данных

Ссылки [ править ]

  1. ^ Чжэн, Юйфэн; Блаш, Эрик; Лю, Чжэн (2018). Слияние и раскрашивание мультиспектральных изображений . SPIE Press. ISBN 9781510619067.
  2. ^ a b c М., Амин-Наджи; А., Агаголзаде (2018). «Слияние многофокусных изображений в области DCT с использованием дисперсии и энергии лапласиана и коэффициента корреляции для сетей визуальных датчиков». Журнал AI и Data Mining . 6 (2): 233–250. DOI : 10,22044 / jadm.2017.5169.1624 . ISSN 2322-5211 . 
  3. ^ Haghighat, MBA; Агаголзаде, А .; Сейедараби, Х. (2011). «Слияние мультифокусных изображений для сетей визуальных датчиков в области DCT». Компьютеры и электротехника . 37 (5): 789–797. DOI : 10.1016 / j.compeleceng.2011.04.016 .
  4. ^ a b Haghighat, MBA; Агаголзаде, А .; Сейедараби, Х. (2011). «Неопорный показатель слияния изображений, основанный на взаимной информации о характеристиках изображения». Компьютеры и электротехника . 37 (5): 744–756. DOI : 10.1016 / j.compeleceng.2011.07.012 .
  5. ^ Наджи, Массачусетс; Агаголзаде, А. (ноябрь 2015 г.). Слияние многофокусных изображений в DCT-области на основе коэффициента корреляции . 2015 2-я Международная конференция по наукоемкой инженерии и инновациям (KBEI) . С. 632–639. DOI : 10.1109 / KBEI.2015.7436118 . ISBN 978-1-4673-6506-2.
  6. ^ Наджи, Массачусетс; Агаголзаде, А. (ноябрь 2015 г.). Новый метод слияния многофокусных изображений, основанный на дисперсии в области DCT . 2015 2-я Международная конференция по наукоемкой инженерии и инновациям (KBEI) . С. 478–484. DOI : 10.1109 / KBEI.2015.7436092 . ISBN 978-1-4673-6506-2.
  7. ^ Пан-резкость в Photoshop
  8. ^ «Помимо панорамирования: слияние на уровне пикселей в приложениях дистанционного зондирования» (PDF) . Архивировано из оригинального (PDF) 01.09.2015 . Проверено 5 марта 2013 .
  9. ^ Джеймс, AP; Дашаратхи, Б. В. (2014). «Слияние медицинских изображений: обзор современного состояния». Информационный фьюжн . 19 : 4–19. arXiv : 1401.0166 . DOI : 10.1016 / j.inffus.2013.12.002 .
  10. ^ Гудинг, MJ; и другие. (2010). «Исследование слияния нескольких изображений 4-D эхокардиографии плода для улучшения качества изображения». Ультразвук в медицине и биологии . 36 (6): 957–66. DOI : 10.1016 / j.ultrasmedbio.2010.03.017 . PMID 20447758 . 
  11. ^ Maintz, JB; Фиргевер, Массачусетс (1998). «Обзор регистрации медицинских изображений». Анализ медицинских изображений . 2 (1): 1–36. CiteSeerX 10.1.1.46.4959 . DOI : 10.1016 / s1361-8415 (01) 80026-8 . PMID 10638851 .  
  12. ^ Лю, З .; Blasch, E .; Xue, Z .; Langaniere, R .; Ву В. (2012). «Объективная оценка алгоритмов слияния изображений с несколькими разрешениями для улучшения контекста в ночном видении: сравнительный обзор». IEEE Transactions по анализу шаблонов и машинному анализу . 34 (1): 94–109. DOI : 10.1109 / tpami.2011.109 . PMID 21576753 . 

Внешние ссылки [ править ]

  • http://www.math.hcmuns.edu.vn/~ptbao/LVTN/2003/cameras/a161001433035.pdf З. Ван, Д. Зиу, К. Арменакис, Д. Ли и К. Ли, «Сравнительный анализ. анализ методов слияния изображений », IEEE Trans. Geosci. Remote Sens., Т. 43, вып. 6. С. 81–84, июнь 2005 г.