Демозаика

Демозаики (также демозаики , demosaicking или debayering ) алгоритм является цифровой обработки изображения используется для восстановления полноцветного изображения из - за неполного вывода цветных образцов от датчика изображения накладывается с массивом цветных фильтров (CFA). Это также известно как интерполяция CFA или реконструкция цвета .

Большинство современных цифровых камер получают изображения с помощью одного датчика изображения, на который накладывается CFA, поэтому демозаика является частью конвейера обработки, необходимой для визуализации этих изображений в видимом формате.

Многие современные цифровые камеры могут сохранять изображения в формате RAW, что позволяет пользователю демонстрировать их с помощью программного обеспечения, а не встроенной прошивки камеры .

Цель [ править ]

Целью алгоритма демозаики является восстановление полноцветного изображения (то есть полного набора цветовых троек) из пространственно недодискретизированных цветовых каналов, выводимых из CFA. Алгоритм должен иметь следующие особенности:

Предотвращение появления артефактов ложных цветов, таких как хроматические псевдонимы , застежка-молния (резкие неестественные изменения интенсивности по ряду соседних пикселей) и фиолетовая окантовка
Максимальное сохранение разрешения изображения
Низкая вычислительная сложность для быстрой обработки или эффективной аппаратной реализации в камере
Возможность анализа для точного снижения шума

Массив цветных фильтров [ править ]

Расположение цветных фильтров Байера на массиве пикселей датчика изображения. Каждая ячейка размером два на два содержит два зеленых, один синий и один красный фильтр.

Массив цветных фильтров представляет собой мозаику цветных фильтров перед датчиком изображения. С коммерческой точки зрения наиболее часто используемой конфигурацией CFA является фильтр Байера, показанный здесь. Он имеет чередующиеся красный (R) и зеленый (G) фильтры для нечетных строк и чередующиеся зеленый (G) и синий (B) фильтры для четных строк. Зеленых фильтров в два раза больше, чем красных или синих, что обеспечивает более высокую чувствительность человеческого глаза к зеленому свету.

Поскольку субдискретизация цвета CFA по своей природе приводит к наложению спектров , на оптическом пути между датчиком изображения и объективом обычно помещают оптический фильтр сглаживания, чтобы уменьшить искажения ложных цветов (хроматические псевдонимы), вносимые интерполяцией. ^[1]

Поскольку каждый пиксель датчика находится за цветовым фильтром, на выходе получается массив значений пикселей, каждое из которых указывает исходную интенсивность одного из трех цветов фильтра. Таким образом, необходим алгоритм для оценки уровней цвета для каждого пикселя для всех компонентов цвета, а не для одного компонента.

Иллюстрация [ править ]

Чтобы восстановить полноцветное изображение из данных, собранных массивом цветовой фильтрации, необходима форма интерполяции для заполнения пробелов. Математика здесь подлежит индивидуальной реализации и называется демозаикингом.

В этом примере мы используем бикубическую интерполяцию Adobe Photoshop для моделирования схемы устройства фильтра Байера, такого как цифровая камера .

Изображение ниже имитирует выходной сигнал датчика изображения с фильтром Байера; каждый пиксель имеет только красный, зеленый или синий компонент. Соответствующее исходное изображение показано рядом с реконструкцией с демозаикой в конце этого раздела.


	Образцы фильтров Байера

красный	Зеленый	Синий

Цифровая камера обычно имеет средства для восстановления всего изображения RGB с использованием вышеуказанной информации. Полученное изображение может быть примерно таким:


Оригинал	Реконструирован

Восстановленное изображение обычно является точным в областях с однородным цветом, но имеет потерю разрешения (детали и резкость) и имеет артефакты по краям (например, края букв имеют видимые цветные полосы и некоторую шероховатость).

Алгоритмы [ править ]

Простая интерполяция [ править ]

Эти алгоритмы являются примерами многомерной интерполяции на однородной сетке с использованием относительно простых математических операций с соседними экземплярами одного и того же компонента цвета. Самый простой метод - это интерполяция ближайшего соседа, которая просто копирует соседний пиксель того же цветового канала. Он не подходит для любого приложения, где важно качество, но может быть полезен для создания превью при ограниченных вычислительных ресурсах. Другой простой метод - это билинейная интерполяция , при которой значение красного цвета не красного пикселя вычисляется как среднее значение двух или четырех соседних красных пикселей, и аналогично для синего и зеленого. Более сложные методы, которые независимо интерполируют в каждой цветовой плоскости, включают бикубическую интерполяцию., сплайн-интерполяция и передискретизация по Ланцошу .

Хотя с помощью этих методов можно получить хорошие результаты в областях однородного изображения, они подвержены серьезным артефактам демозаики в областях с краями и деталями при использовании с чистыми цветными CFA. ^[2] Однако линейная интерполяция может дать очень хорошие результаты в сочетании с пространственно-спектральным (панхроматическим) CFA. ^[3] Можно использовать простые модели формирования изображений для демозаики. В естественных изображениях в одном сегменте соотношение цветов должно сохраняться. Этот факт был использован в чувствительной к изображению интерполяции для демозаики.^[4]

Корреляция пикселей в изображении [ править ]

Более сложные алгоритмы демозаики используют пространственную и / или спектральную корреляцию пикселей в цветном изображении. ^[5] Пространственная корреляция - это тенденция пикселей принимать одинаковые значения цвета в небольшой однородной области изображения. Спектральная корреляция - это зависимость между значениями пикселей в разных цветовых плоскостях в небольшой области изображения.

Эти алгоритмы включают:

Интерполяция с переменным числом градиентов (VNG) ^[6] вычисляет градиенты около интересующего пикселя и использует более низкие градиенты (представляющие более гладкие и похожие части изображения) для оценки. Он используется в первых версиях dcraw и страдает от цветовых артефактов.
Pixel Grouping (PPG) ^[7] использует предположения о природных ландшафтах при оценке. У него меньше цветовых артефактов на естественных изображениях, чем у метода переменного числа градиентов; он был введен в dcraw из rel. 8.71 как «Узорчатая группировка пикселей».
Адаптивная направленность на однородность (AHD) в некотором роде является отраслевым стандартом. Интерполяция выбирает направление интерполяции, чтобы максимизировать показатель однородности, таким образом, как правило, минимизируют цветовые артефакты. ^[8] Это было реализовано в последних версиях dcraw. ^[9]
Минимизация псевдонимов и устранение застежек (AMaZE), разработанная Эмилем Дж. Мартинеком, медленная, но с отличной производительностью, особенно при захватах с низким уровнем шума. Реализации AMaZE можно найти в RawTherapee и darktable .

Видео со сверхвысоким разрешением / демозаика [ править ]

Было показано, что суперразрешение и демозаика - две стороны одной и той же проблемы, и их разумно рассматривать в едином контексте. ^[10] Обратите внимание, что обе эти проблемы решают проблему сглаживания. Поэтому, особенно в случае реконструкции видео (многокадрового), совместное использование сверхвысокого разрешения и демозаики обеспечивает оптимальное решение.

Компромиссы [ править ]

Некоторые методы могут дать лучшие результаты для естественных сцен, а некоторые, например, для печатных материалов. Это отражает неотъемлемую проблему оценки пикселей, которые точно не известны. Естественно, существует также повсеместный компромисс между скоростью и качеством оценки.

Использование в компьютерном программном обеспечении для обработки изображений [ править ]

Когда у человека есть доступ к необработанным данным изображения с цифровой камеры, он может использовать компьютерное программное обеспечение с множеством различных алгоритмов демозаики вместо того, чтобы ограничиваться алгоритмом, встроенным в камеру. Некоторые программы разработки, такие как RawTherapee , дают пользователю возможность выбрать, какой алгоритм следует использовать. Однако большинство программ написано для использования одного конкретного метода. Различия в рендеринге мельчайших деталей (и текстуры зерна), возникающие в результате выбора алгоритма демозаики, являются одними из основных различий между различными разработчиками raw; часто фотографы предпочитают конкретную программу по эстетическим причинам, связанным с этим эффектом.

Цветовые артефакты из-за демозаики предоставляют важные подсказки для выявления подделок фотографий. ^[11]

См. Также [ править ]

Фильтр Байера

Ссылки [ править ]

^ Адриан Дэвис; Фил Феннесси (2001). Цифровая обработка изображений для фотографов (Четвертое изд.). Focal Press. ISBN 978-0-240-51590-8.
^ Ланлан Чанг; Яп-Пэн Тан (2006). «Демозаика гибридного массива цветных фильтров для эффективного подавления артефактов» (PDF) . Журнал электронного изображения . 15 : 2. Bibcode : 2006JEI .... 15a3003C . DOI : 10.1117 / 1.2183325 . Архивировано из оригинального (PDF) 29 декабря 2009 года.
^ Keigo Hirakawa; Патрик Дж. Вульф. «Проектирование массива пространственно-спектральных цветовых фильтров для повышения точности изображения» (PDF) . Архивировано из оригинального (PDF) 20 июля 2011 года. Цитировать журнал требует |journal=( помощь )
^ Р. Киммел. Демозаика: восстановление изображения по образцам цветных ПЗС-матриц . IEEE Transactions on Image Processing, 8 (9): 1221–8, сентябрь 1999.
^ Ланлан Чанг; Яп-Пэн Тан (2006). «Демозаика гибридного массива цветных фильтров для эффективного подавления артефактов» (PDF) . Журнал электронного изображения . 15 : 013003. Bibcode : 2006JEI .... 15a3003C . DOI : 10.1117 / 1.2183325 . Архивировано из оригинального (PDF) 29 декабря 2009 года.
^ Тинг Чен. «Интерполяция с использованием переменного количества градиентов на основе пороговых значений» . Архивировано из оригинала на 2012-04-22.
↑ Чуан-кай Лин, Государственный университет Портленда (2004). «Группирование пикселей для демозаики массива цветных фильтров» . Архивировано из оригинала на 2016-09-23.
^ Kiego Hirakawa; Томас В. Паркс (2005). «Адаптивный алгоритм демозаики, направленный на однородность» (PDF) . IEEE Transactions по обработке изображений . 14 (3): 360. Bibcode : 2005ITIP ... 14..360H . DOI : 10.1109 / TIP.2004.838691 . S2CID 37217924 .
^ Декодирование необработанных цифровых фотографий в Linux. Архивировано 19октября2016 г. в Wayback Machine , Дэйв Коффин.
^ Сина Фарсиу; Майкл Элад; Пейман Миланфар (2006). «Многокадровая демозаика и сверхвысокое разрешение цветных изображений» (PDF) . IEEE Transactions по обработке изображений . 15 (1): 141–159. Bibcode : 2006ITIP ... 15..141F . CiteSeerX 10.1.1.132.7607 . DOI : 10.1109 / TIP.2005.860336 . PMID 16435545 . S2CID 2989394 .
^ Ичжэнь Хуан; Янцзин Лун (2008). «Распознавание демозаики с приложениями для аутентификации цифровых фотографий на основе модели квадратичной корреляции пикселей» (PDF) . Proc. Конференция IEEE по компьютерному зрению и распознаванию образов : 1–8. Архивировано из оригинального (PDF) 17 июня 2010 года.

Внешние ссылки [ править ]

HowStuffWorks : Как работают цифровые камеры, подробнее о захвате цвета , с алгоритмом демозаики в рабочей анимации
Интерполяция компонентов RGB в изображениях Bayer CFA , Эрик Дюбуа
Демозаика цвета с использованием дисперсии цветовых различий Кинг-Хон Чанг и Юк-Хи Чан
Демозаика гибридной матрицы цветных фильтров для эффективного подавления артефактов Ланлан Чанг и Яп-Пенг Тан
Демозаика изображений: систематическое исследование Синь Ли , Бахадир Гунтурк и Лэй Чжан
Демозаикинг: интерполяция массива цветных фильтров в однокристальных цифровых камерах , Б.К. Гунтурк, Дж. Глотцбах, Ю. Алтунбасак, Р. В. Шафер и Р. М. Мерзеро.
Дизайн массива пространственно-спектральных цветовых фильтров для повышения точности изображения , Кейго Хиракава и Патрик Дж. Вульф
Эффективный демозаики с мягким принятием решений с использованием направленной фильтрации и встроенного уточнения артефактов , Вен-Цун Хуанг, Вен-Ян Чен и Шен-Чуан Тай
Демозаикинг на основе сходства Антони Буадеса, Бартомеу Колля, Жан-Мишеля Мореля, Каталины Сберт, с исходным кодом и онлайн-демонстрацией
Список существующих методов демозаики
Интерактивный сайт, моделирующий данные Байера и различные алгоритмы демозаики, позволяющий настраивать изображения (мертвые)
Демозаикинг на основе геометрии Сирой Ферраданс, Марсело Бертамио и Висентом Казеллесом с исходным кодом и справочной статьей.
Полный список кодов демозаики и двоичных файлов, доступных в Интернете (мертв)

[1] Адриан Дэвис; Фил Феннесси (2001). Цифровая обработка изображений для фотографов (Четвертое изд.). Focal Press. ISBN 978-0-240-51590-8.

[2] Ланлан Чанг; Яп-Пэн Тан (2006). «Демозаика гибридного массива цветных фильтров для эффективного подавления артефактов» (PDF) . Журнал электронного изображения . 15 : 2. Bibcode : 2006JEI .... 15a3003C . DOI : 10.1117 / 1.2183325 . Архивировано из оригинального (PDF) 29 декабря 2009 года.

[3] Keigo Hirakawa; Патрик Дж. Вульф. «Проектирование массива пространственно-спектральных цветовых фильтров для повышения точности изображения» (PDF) . Архивировано из оригинального (PDF) 20 июля 2011 года. Цитировать журнал требует |journal=( помощь )

[4] Р. Киммел. Демозаика: восстановление изображения по образцам цветных ПЗС-матриц . IEEE Transactions on Image Processing, 8 (9): 1221–8, сентябрь 1999.

[5] Ланлан Чанг; Яп-Пэн Тан (2006). «Демозаика гибридного массива цветных фильтров для эффективного подавления артефактов» (PDF) . Журнал электронного изображения . 15 : 013003. Bibcode : 2006JEI .... 15a3003C . DOI : 10.1117 / 1.2183325 . Архивировано из оригинального (PDF) 29 декабря 2009 года.

[6] Тинг Чен. «Интерполяция с использованием переменного количества градиентов на основе пороговых значений» . Архивировано из оригинала на 2012-04-22.

[7] Чуан-кай Лин, Государственный университет Портленда (2004). «Группирование пикселей для демозаики массива цветных фильтров» . Архивировано из оригинала на 2016-09-23.

[8] Kiego Hirakawa; Томас В. Паркс (2005). «Адаптивный алгоритм демозаики, направленный на однородность» (PDF) . IEEE Transactions по обработке изображений . 14 (3): 360. Bibcode : 2005ITIP ... 14..360H . DOI : 10.1109 / TIP.2004.838691 . S2CID 37217924 .

[9] Декодирование необработанных цифровых фотографий в Linux. Архивировано 19октября2016 г. в Wayback Machine , Дэйв Коффин.

[10] Сина Фарсиу; Майкл Элад; Пейман Миланфар (2006). «Многокадровая демозаика и сверхвысокое разрешение цветных изображений» (PDF) . IEEE Transactions по обработке изображений . 15 (1): 141–159. Bibcode : 2006ITIP ... 15..141F . CiteSeerX 10.1.1.132.7607 . DOI : 10.1109 / TIP.2005.860336 . PMID 16435545 . S2CID 2989394 .

[11] Ичжэнь Хуан; Янцзин Лун (2008). «Распознавание демозаики с приложениями для аутентификации цифровых фотографий на основе модели квадратичной корреляции пикселей» (PDF) . Proc. Конференция IEEE по компьютерному зрению и распознаванию образов : 1–8. Архивировано из оригинального (PDF) 17 июня 2010 года.

[1]