Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Не путать с байесовским фильтром .
"RGBG" перенаправляется сюда. Для схемы субпиксельной матрицы, используемой в дисплеях электронных устройств, см PenTile RGBG .
«Матрица Байера» перенаправляется сюда. Для матрицы Байера, используемой в шаблонном дизеринге (также созданном Брайсом Байером), см. Упорядоченное дизеринг .
Расположение цветных фильтров Байера на массиве пикселей датчика изображения
Профиль / поперечное сечение датчика

Фильтр Байера мозаики является массивом цветовой фильтр (CFA) для размещения RGB цветных фильтров на квадратной сетке фотодатчиков. Особое расположение цветных фильтров используется в большинстве однокристальных цифровых датчиков изображения, используемых в цифровых камерах, видеокамерах и сканерах для создания цветного изображения. Шаблон фильтра составляет 50% зеленого, 25% красного и 25% синего, следовательно , также называется BGGR, RGBG , [1] [2] GRBG , [3] или RGGB . [4]

Он назван в честь своего изобретателя Брайса Байера из компании Eastman Kodak . Байер также известен своей рекурсивно определенной матрицей, используемой для упорядоченного дизеринга .

Альтернативы фильтру Байера включают в себя как различные модификации цветов и компоновки, так и совершенно разные технологии, такие как совмещенная выборка цвета , датчик Foveon X3 , дихроичные зеркала или прозрачная решетка дифракционных фильтров. [5]

Объяснение [ править ]

  1. Оригинальная сцена
  2. Выходной сигнал датчика размером 120 × 80 пикселей с фильтром Байера
  3. Цветовой код на выходе с использованием цветов фильтра Байера
  4. Восстановленное изображение после интерполяции отсутствующей информации о цвете
  5. Полная версия RGB с разрешением 120 × 80 пикселей для сравнения (например, при сканировании пленки, может появиться изображение Foveon или сдвиг пикселей )

Патент Брайса Байера (патент США № 3,971,065 [6] ) в 1976 году назвал зеленые фотодатчики чувствительными к яркости элементами, а красный и синий - чувствительными к цветности элементами . Он использовал в два раза больше зеленых элементов, чем красных или синих, чтобы имитировать физиологию человеческого глаза . Восприятие яркости сетчатки человека использует объединенные клетки колбочек M и L. при дневном зрении, которые наиболее чувствительны к зеленому свету. Эти элементы называются сенсорными элементами , сенсорами , пиксельными сенсорами или просто пикселями ; значения отсчетов, воспринимаемые ими, после интерполяции становятся изображениемпикселей . Когда Байер зарегистрировал свой патент, он также предложил использовать комбинацию голубого, пурпурного и желтого цветов , то есть еще один набор противоположных цветов. Такое расположение было непрактичным в то время, потому что необходимых красителей не существовало, но они используются в некоторых новых цифровых камерах. Большим преимуществом новых красителей CMY является то, что они обладают улучшенными характеристиками поглощения света; то есть их квантовая эффективность выше.

Сырья выход Байер-фильтра камер упоминается как шаблон Байера изображения. Поскольку каждый пиксель фильтруется для записи только одного из трех цветов, данные от каждого пикселя не могут полностью определять каждое из значений красного, зеленого и синего цветов отдельно. Чтобы получить полноцветное изображение, можно использовать различные алгоритмы демозаики для интерполяции набора полных значений красного, зеленого и синего цветов для каждого пикселя. Эти алгоритмы используют окружающие пиксели соответствующих цветов для оценки значений для конкретного пикселя.

Различные алгоритмы, требующие разной вычислительной мощности, приводят к получению конечных изображений разного качества. Это можно сделать в камере, создав изображение JPEG или TIFF , или вне камеры, используя необработанные данные непосредственно с датчика. Поскольку вычислительная мощность процессора камеры ограничена, многие фотографы предпочитают выполнять эти операции вручную на персональном компьютере. Чем дешевле камера, тем меньше возможностей повлиять на эти функции. В профессиональных фотоаппаратах функции коррекции изображения полностью отсутствуют, либо их можно отключить. Запись в Raw-формате дает возможность вручную выбрать демозаикуалгоритм и контроль параметров трансформации, который используется не только в потребительской фотографии, но и при решении различных технических и фотометрических задач. [7]

Демозаика [ править ]

Демозаика может выполняться разными способами. Простые методы интерполируют значение цвета пикселей одного цвета в окрестности. Например, после того, как чип подвергся воздействию изображения, можно прочитать каждый пиксель. Пиксель с зеленым фильтром обеспечивает точное измерение зеленой составляющей. Красный и синий компоненты для этого пикселя получены от соседей. Для зеленого пикселя два красных соседа могут быть интерполированы для получения красного значения, также два синих пикселя могут быть интерполированы для получения синего значения.

Этот простой подход хорошо работает в областях с постоянным цветом или плавными градиентами, но он может вызывать артефакты, такие как растекание цвета в областях, где есть резкие изменения цвета или яркости, особенно заметные вдоль острых краев изображения. Из-за этого другие методы демозаики пытаются идентифицировать высококонтрастные края и интерполировать только вдоль этих краев, но не поперек них.

Другие алгоритмы основаны на предположении, что цвет области изображения относительно постоянен даже при изменяющихся условиях освещения, так что цветовые каналы сильно коррелированы друг с другом. Следовательно, сначала интерполируется зеленый канал, затем красный, а затем синий канал, так что соотношение цветов красный-зеленый и сине-зеленый остается постоянным. Существуют и другие методы, которые делают различные предположения о содержимом изображения и, начиная с этой попытки, вычисляют недостающие значения цвета.

Артефакты [ править ]

Изображения с мелкомасштабными деталями, близкими к пределу разрешения цифрового датчика, могут быть проблемой для алгоритма демозаики, давая результат, не похожий на модель. Наиболее частым артефактом является муар , который может проявляться в виде повторяющихся узоров, цветовых артефактов или пикселей, расположенных в виде нереалистичного лабиринтного узора.

Артефакт ложного цвета [ править ]

Распространенный и неудачный артефакт интерполяции или демозаики Color Filter Array (CFA) - это то, что известно и рассматривается как ложное окрашивание. Обычно этот артефакт проявляется по краям, где резкие или неестественные изменения цвета происходят в результате неправильной интерпретации по краю, а не по краю. Существуют различные методы предотвращения и устранения этой ложной окраски. Плавная интерполяция перехода оттенков используется во время демозаики, чтобы предотвратить проявление ложных цветов на конечном изображении. Однако есть и другие алгоритмы, которые могут удалить ложные цвета после демозаики. Их преимущество заключается в удалении ложных артефактов окраски с изображения при использовании более надежного алгоритма демозаики для интерполяции красной и синей цветовых плоскостей.

Три изображения, изображающие артефакт демозаики в искусственных цветах.

Артефакт на молнии [ править ]

Артефакт застежки-молнии - еще один побочный эффект демозаики CFA, который также возникает в основном по краям и известен как эффект застежки-молнии. Проще говоря, застежка-молния - это еще одно название размытия краев, которое происходит при включении / выключении рисунка по краю. Этот эффект возникает, когда алгоритм демозаики усредняет значения пикселей по краю, особенно в красной и синей плоскостях, что приводит к характерному размытию. Как упоминалось ранее, лучшими методами предотвращения этого эффекта являются различные алгоритмы, которые интерполируют вдоль, а не по краям изображения. Интерполяция распознавания образов, адаптивная интерполяция цветовой плоскости и интерполяция с направленным взвешиванием - все они направлены на предотвращение образования молний путем интерполяции по краям, обнаруженным в изображении.

Три изображения, изображающие застегивающийся артефакт демозаики CFA

Однако даже с теоретически совершенным датчиком, который мог бы улавливать и различать все цвета на каждом фотосъекте, все равно мог появиться муар и другие артефакты. Это неизбежное следствие любой системы, которая производит выборку непрерывного сигнала в дискретных интервалах или местах. По этой причине большинство фотографических цифровых сенсоров включают в себя так называемый оптический фильтр нижних частот (OLPF) или фильтр сглаживания (AA) . Обычно это тонкий слой непосредственно перед датчиком, который эффективно размывает любые потенциально проблемные детали, разрешение которых меньше разрешения датчика.

Модификации [ править ]

Основная статья: Массив цветных фильтров
Три новых шаблона фильтров Kodak RGBW

Фильтр Байера почти универсален для бытовых цифровых фотоаппаратов. Альтернативы включают фильтр CYGM ( голубой , желтый , зеленый, пурпурный ) и фильтр RGBE (красный, зеленый, синий, изумрудный ), которые требуют аналогичной демозаики. Датчик Foveon Х3 (который красные слои, зеленый и синие датчикам вертикально , а не с использованием мозаики) и расположение три отдельных ПЗСА ( по одному для каждого цвета) не нужны демозаики.

"Панхроматические" клетки [ править ]

14 июня 2007 г. компания Eastman Kodak анонсировала альтернативу фильтру Байера: шаблон цветового фильтра, который увеличивает светочувствительность датчика изображения в цифровой камере за счет использования некоторых «панхроматических» ячеек, чувствительных ко всем длинам волн видимого диапазона. свет и собирать большее количество света, падающего на датчик. [8] Они представляют несколько паттернов, но ни один из них не содержит повторяющегося элемента такого размера, как блок 2 × 2 в паттерне Байера.

Более ранний шаблон фильтра RGBW

В другой патентной заявке США 2007 года, поданной Эдвардом Т. Чангом, заявлен датчик, в котором «цветной фильтр имеет структуру, состоящую из блоков пикселей 2 × 2, состоящих из одного красного, одного синего, одного зеленого и одного прозрачного пикселя» в предполагаемой конфигурации. включить инфракрасную чувствительность для повышения общей чувствительности. [9] Патент Kodak был подан раньше. [10]

Такие ячейки ранее использовались в датчиках « CMYW » (голубой, пурпурный, желтый и белый) [11] «RGBW» (красный, зеленый, синий, белый) [12] , но Kodak не сравнивал новый шаблон фильтра с их пока нет.

Массив цветных фильтров Fujifilm "EXR" [ править ]

Датчик EXR

Матрицы цветных фильтров Fujifilm EXR производятся как на ПЗС ( SuperCCD ), так и на КМОП(BSI CMOS). Как и в случае с SuperCCD, сам фильтр повернут на 45 градусов. В отличие от обычных фильтров Байера, всегда есть два соседних фотосайта, обнаруживающих один и тот же цвет. Основная причина этого типа массива заключается в том, чтобы способствовать «биннированию» пикселей, когда два соседних фотосайта могут быть объединены, что делает сам датчик более «чувствительным» к свету. Другая причина заключается в том, что датчик записывает две разные экспозиции, которые затем объединяются для получения изображения с большим динамическим диапазоном. Базовая схема имеет два канала считывания, которые берут информацию из чередующихся рядов датчика. В результате он может действовать как два чередующихся сенсора с разным временем выдержки для каждой половины фотосайтов.Половину фотосайтов можно намеренно недоэкспонировать, чтобы полностью захватить более светлые участки сцены. Эта сохраненная информация о яркости затем может быть смешана с выходным сигналом другой половины датчика, который регистрирует «полную» экспозицию, опять же с использованием близкого расстояния между одинаково окрашенными фотосайтами.

Фильтр Fujifilm "X-Trans" [ править ]

Основная статья: Датчик Fujifilm X-Trans
Повторяющаяся сетка 6 × 6, используемая в датчике x-trans

Датчик Fujifilm X-Trans CMOS, используемый во многих камерах Fujifilm серии X, как утверждается [13], обеспечивает лучшую устойчивость к цветовому муару, чем фильтр Байера, и поэтому они могут быть изготовлены без фильтра сглаживания. Это, в свою очередь, позволяет камерам, использующим датчик, достигать более высокого разрешения при том же количестве мегапикселей. Кроме того, заявлено, что новый дизайн снижает количество ложных цветов за счет наличия красных, синих и зеленых пикселей в каждой строке. Также говорят, что расположение этих пикселей обеспечивает зернистость, больше похожую на пленку.

Одним из основных недостатков является то, что для поддержки пользовательского шаблона может отсутствовать полная поддержка в стороннем программном обеспечении для обработки необработанных данных, таком как Adobe Photoshop Lightroom [14], где добавление улучшений заняло несколько лет. [15]

Квад Байер [ править ]

Sony представила массив цветных фильтров Quad Bayer, который впервые был представлен в Huawei P20 Pro, выпущенном 27 марта 2018 года. Quad Bayer похож на фильтр Байера, однако соседние пиксели 2x2 имеют одинаковый цвет, узор 4x4 включает 4x синий, 4x красный, и 8x зеленых. [16] Для более темных сцен обработка сигнала может объединять данные из каждой группы 2x2, по сути, как более крупный пиксель. Для более ярких сцен обработка сигнала может преобразовать Quad Bayer в обычный фильтр Байера для достижения более высокого разрешения. [17] Пиксели в Quad Bayer могут работать в режиме длительной интеграции и кратковременной интеграции для достижения однокадрового HDR, уменьшая проблемы наложения. [18] Quad Bayer также известен как Tetracell поSamsung и 4-элементный OmniVision . [17] [19]

26 марта 2019 года была анонсирована серия Huawei P30 с RYYB Quad Bayer с рисунком 4x4, включающим 4x синий, 4x красный и 8x желтый. [20]

Nonacell [ править ]

12 февраля 2020 года был анонсирован Samsung Galaxy S20 Ultra с поддержкой Nonacell CFA. Nonacell CFA похож на фильтр Байера, однако соседние пиксели 3x3 имеют одинаковый цвет, шаблон 6x6 включает 9x синий, 9x красный и 18x зеленый. [21]

См. Также [ править ]

  • Автохром Люмьер
  • Семейство матриц PenTile

Ссылки [ править ]

Титульная страница патента Брайса Байера 1976 года на мозаику с фильтром Байера, показывающая его терминологию чувствительных к яркости и цветочувствительных элементов
  • Патент США 3971065 , Брайс Э. Байер, «Массив цветных изображений», опубликован 20 июля 1976 г. в сети. 

Примечания [ править ]

  1. ^ Джефф Мэзер (2008). «Добавление L * в RGBG» . Архивировано 13 июля 2011 года . Проверено 18 февраля 2011 .
  2. ^ dpreview.com (2000). «Sony анонсирует 3 новые цифровые камеры» . Архивировано из оригинала на 2011-07-21.
  3. ^ Маргарет Браун (2004). Продвинутая цифровая фотография . Издательство СМИ. ISBN 0-9581888-5-8.
  4. ^ Томас Машка (2004). Digitale Kameratechnik: Technik digitaler Kameras in Theorie und Praxis . Springer. ISBN 3-540-40243-8. Архивировано 9 января 2019 года . Проверено 23 сентября 2016 .
  5. ^ Ван, Пэн; Менон, Раджеш (29 октября 2015 г.). «Получение цветных изображений сверхвысокой чувствительности с помощью прозрачной матрицы дифракционных фильтров и вычислительной оптики» . Optica . 2 (11): 933. Bibcode : 2015 Оптический ... 2..933W . DOI : 10.1364 / optica.2.000933 .
  6. ^ "Патент US3971065 - Массив цветных изображений - Патенты Google" . Архивировано 11 августа 2013 года . Проверено 23 апреля 2013 .
  7. ↑ Черемхин, П.А., Лесничий, В.В., Петров, Н.В. (2014). «Использование спектральных характеристик зеркальных фотоаппаратов с датчиками фильтра Байера» . Журнал физики: Серия конференций . 536 : 012021. дои : 10,1088 / 1742-6596 / 536/1/ 012021 .CS1 maint: несколько имен: список авторов ( ссылка )
  8. ^ Джон Комптон и Джон Гамильтон (2007-06-14). «Массив цветных фильтров 2.0» . Тысяча ботаников: блог Kodak . Архивировано из оригинала на 2007-07-20 . Проверено 25 февраля 2011 .
  9. ^ "Публикация патента США 20070145273" Высокочувствительная цветная инфракрасная камера " " . Архивировано из оригинала на 2017-02-22.
  10. ^ "Заявка на патент США 20070024879" Обработка цветных и панхроматических пикселей " " . Архивировано из оригинала на 2016-12-21.
  11. ^ LJ d'Luna; и другие. (1989). «Постпроцессор цифрового видеосигнала для датчиков цветного изображения». Труды конференции Custom Integrated Circuits Conference . 1989 : 24,2 / 1–24,2 / 4. DOI : 10.1109 / CICC.1989.56823 . S2CID 61954103 . Могут использоваться различные шаблоны CFA с различным расположением красного, зеленого и синего (RGB) или голубого, пурпурного, желтого и белого (CMYW) цветов. 
  12. ^ Заявкапатент Сугияма, Toshinobu, US 20050231618, "Image-устройство захвата" архивации 2017-02-22 в Wayback Machine , поданной 30 марта 2005
  13. ^ "Fujifilm X-Trans сенсорная технология" . Архивировано из оригинала на 2012-04-09 . Проверено 15 марта 2012 .
  14. ^ Диалло, Амаду. «Обработка сенсора Adobe Fujifilm X-Trans протестирована» . dpreview.com . Архивировано 21 октября 2016 года . Проверено 20 октября +2016 .
  15. ^ «Adobe улучшает обработку X-Trans в обновлении Lightroom CC: обещает еще больше» . Блог фотографии Томаса Фицджеральда. Архивировано 21 октября 2016 года . Проверено 20 октября +2016 .
  16. ^ "Sony выпускает многослойный CMOS-датчик изображения для смартфонов с самыми высокими в отрасли 48 эффективными мегапикселями" . Sony Global - штаб-квартира Sony в мире . Архивировано 5 сентября 2019 года . Проверено 16 августа 2019 .
  17. ^ Б «Как Tetracell обеспечивает кристально четкие фотографии днем и ночью | Samsung Semiconductor Global Website» . www.samsung.com . Архивировано 16 августа 2019 года . Проверено 16 августа 2019 .
  18. ^ "IMX294CJK | Sony Semiconductor Solutions" . Корпорация Sony Semiconductor Solutions . Архивировано 16 августа 2019 года . Проверено 16 августа 2019 .
  19. ^ "Выпуски продуктов | Новости и события | OmniVision" . www.ovt.com . Архивировано 16 августа 2019 года . Проверено 16 августа 2019 .
  20. ^ "Часть 4: Не-Bayer CFA, Фазовый автофокус (PDAF) | TechInsights" . techinsights.com . Архивировано 16 августа 2019 года . Проверено 16 августа 2019 .
  21. ^ "108Mp ISOCELL Bright HM1 от Samsung обеспечивает более яркие изображения сверхвысокого разрешения с помощью первой в отрасли технологии, не относящейся к сфере производства" . news.samsung.com . Архивировано 12 февраля 2020 года . Проверено 14 февраля 2020 .

Внешние ссылки [ править ]

  • Цветные и микрообъективы RGB "Bayer" , кремниевые изображения (проектирование, производство и маркетинг цифровых камер высокой четкости и решений для обработки изображений)
  • Библиотека обработки изображений eLynx , Большой набор исходного кода для обработки мозаики Байера под лицензией GPL.
  • Эффективная высококачественная демозаичная фильтрация Байера на графических процессорах
  • Глобальное компьютерное зрение
  • Обзор демозаики массива цветных фильтров (CFA) по шаблону Байера с новыми алгоритмами оценки качества
  • Датчики цифровых фотоаппаратов