Подвыборка цветности - это практика кодирования изображений путем реализации меньшего разрешения для информации цветности, чем для информации о яркости , с использованием преимущества более низкой остроты зрения человеческой зрительной системы для различий в цвете, чем для яркости. [1]
Он используется во многих схемах кодирования видео - как аналоговых, так и цифровых - а также в кодировании JPEG .
Цифровые сигналы часто сжимаются для уменьшения размера файла и экономии времени передачи. Поскольку человеческая зрительная система гораздо более чувствительна к изменениям яркости, чем цвета, видеосистему можно оптимизировать, выделив большую полосу пропускания компоненту яркости (обычно обозначаемому Y '), чем компонентам цветового различия Cb и Cr. В сжатых изображениях, например, для схемы 4: 2: 2 Y'CbCr требуется две трети полосы пропускания без субдискретизации "4: 4: 4" R'G'B ' . Это уменьшение приводит к почти отсутствию визуальных различий, воспринимаемых зрителем.
На нормальных расстояниях просмотра не возникает ощутимых потерь из-за выборки цветных деталей с более низкой частотой, то есть с более низким разрешением. В видеосистемах это достигается за счет использования компонентов цветового различия. Сигнал делится на компонент яркости (Y ') и два компонента цветового различия ( цветность ). Для получения значений цветности с пониженным разрешением можно использовать различные методы фильтрации . [2]
Яркость (Y ') отличается от яркости (Y) наличием гамма-коррекции в ее вычислении, поэтому здесь добавлен главный символ. Сигнал с гамма-коррекцией имеет то преимущество, что имитирует логарифмическую чувствительность человеческого зрения, с большим количеством уровней, предназначенных для более темных уровней, чем для более светлых. В результате он повсеместно используется в исходном трехцветном сигнале, на входе R'G'B '. Примеры таких цветовых пространств включают sRGB , TV Rec. 601 , Рек. 709 и Рек. 2020 ; концепция также обобщена для оптических передаточных функций в Рек. 2020 . [2] [3] [4]
Схема подвыборки обычно выражается в виде трехчастного отношения J : a : b (например, 4: 2: 2) или четырех частей, если присутствует альфа-канал (например, 4: 2: 2: 4), которые описывают количество выборки яркости и цветности в концептуальной области шириной J пикселей и высотой 2 пикселя. Части (в соответствующем порядке):
Это обозначение не действует для всех комбинаций и имеет исключения, например, 4: 1: 0 (где высота области составляет не 2 пикселя, а 4 пикселя, поэтому, если используется 8 бит на компонент, носитель будет 9 бит на пиксель) и 4: 2: 1.
4: 1: 1 | 4: 2: 0 | 4: 2: 2 | 4: 4: 4 | 4: 4: 0 | ||||||||||||||||||||||||||
Y'CrCb | ||||||||||||||||||||||||||||||
знак равно | знак равно | знак равно | знак равно | знак равно | ||||||||||||||||||||||||||
Y ' | ||||||||||||||||||||||||||||||
+ | + | + | + | + | ||||||||||||||||||||||||||
1 | 2 | 3 | 4 | J = 4 | 1 | 2 | 3 | 4 | J = 4 | 1 | 2 | 3 | 4 | J = 4 | 1 | 2 | 3 | 4 | J = 4 | 1 | 2 | 3 | 4 | J = 4 | ||||||
(Cr, Cb) | 1 | а = 1 | 1 | 2 | а = 2 | 1 | 2 | а = 2 | 1 | 2 | 3 | 4 | а = 4 | 1 | 2 | 3 | 4 | а = 4 | ||||||||||||
1 | б = 1 | б = 0 | 1 | 2 | b = 2 | 1 | 2 | 3 | 4 | б = 4 | б = 0 | |||||||||||||||||||
¼ горизонтальное разрешение, полное вертикальное разрешение | ½ разрешения по горизонтали, ½ разрешения по вертикали | ½ разрешения по горизонтали, полное разрешение по вертикали | полное горизонтальное разрешение, полное вертикальное разрешение | полное горизонтальное разрешение, ½ вертикального разрешения |
Приведенные примеры сопоставления носят чисто теоретический характер и предназначены для иллюстрации. Также обратите внимание, что диаграмма не указывает на фильтрацию цветности, которую следует применять, чтобы избежать наложения спектров .
Чтобы вычислить необходимый коэффициент пропускной способности относительно 4: 4: 4 (или 4: 4: 4: 4), нужно просуммировать все факторы и разделить результат на 12 (или 16, если присутствует альфа).
Каждый из трех компонентов Y'CbCr имеет одинаковую частоту дискретизации, поэтому субдискретизация цветности отсутствует. Эта схема иногда используется в высококачественных пленочных сканерах и в постпродакшне кинематографа.
Обратите внимание, что «4: 4: 4» может вместо этого ошибочно относиться к цветовому пространству R'G'B ' , которое неявно также не имеет какой-либо субдискретизации цветности (за исключением JPEG, R'G'B' может быть субдискретизирован). Такие форматы, как HDCAM SR, могут записывать 4: 4: 4 R'G'B 'через двухканальный HD-SDI .
Два компонента цветности дискретизируются с половиной горизонтальной частоты дискретизации яркости: горизонтальное разрешение цветности уменьшается вдвое. Это уменьшает полосу пропускания несжатого видеосигнала на одну треть.
Эта схема используется во многих высококачественных цифровых видеоформатах и интерфейсах:
Этот режим выборки не выражается в нотации J: a: b. «4: 2: 1» - устаревший термин из предыдущей схемы записи, и очень немногие программные или аппаратные кодеки используют его. Разрешение Cb по горизонтали вдвое меньше разрешения Cr (и четверть разрешения по горизонтали Y ).
При субдискретизации цветности 4: 1: 1 горизонтальное цветовое разрешение делится на четыре части, а ширина полосы уменьшается вдвое по сравнению с отсутствием субдискретизации цветности. Первоначально субдискретизация цветности 4: 1: 1 формата DV не считалась качеством вещания и была приемлемой только для бюджетных и потребительских приложений. [5] [6] Однако форматы на основе DV (некоторые из которых используют субдискретизацию цветности 4: 1: 1) профессионально используются при сборе электронных новостей и на серверах воспроизведения. DV также иногда использовался в художественных фильмах и в цифровой кинематографии .
В системе NTSC, если яркость дискретизируется на частоте 13,5 МГц, это означает, что каждый из сигналов Cr и Cb будет дискретизироваться на частоте 3,375 МГц, что соответствует максимальной полосе Найквиста 1,6875 МГц, тогда как традиционный «высококачественный аналоговый широковещательный» Кодер NTSC "будет иметь полосу Найквиста 1,5 МГц и 0,5 МГц для каналов I / Q. Однако в большинстве устройств, особенно в дешевых телевизорах и видеомагнитофонах VHS / Betamax, каналы цветности имеют полосу частот только 0,5 МГц для Cr и Cb (или, что эквивалентно, для I / Q). Таким образом, система DV на самом деле обеспечивает превосходную цветовую полосу по сравнению с лучшими композитными аналоговыми характеристиками для NTSC, несмотря на то, что она имеет только 1/4 полосы цветности «полного» цифрового сигнала.
Форматы, в которых используется субдискретизация цветности 4: 1: 1, включают:
В 4: 2: 0 горизонтальная дискретизация удваивается по сравнению с 4: 1: 1, но поскольку каналы Cb и Cr дискретизируются только на каждой альтернативной строке в этой схеме, разрешение по вертикали уменьшается вдвое. Таким образом, скорость передачи данных такая же. Это достаточно хорошо согласуется с системой кодирования цвета PAL , поскольку она имеет только половину разрешения цветности по вертикали, чем NTSC . Он также отлично подошел бы к SECAM.система кодирования цвета, поскольку, как и этот формат, 4: 2: 0 сохраняет и передает только один цветовой канал на строку (другой канал восстанавливается из предыдущей строки). Однако фактически было произведено небольшое количество оборудования, которое выводит аналоговый видеосигнал SECAM. В общем, на территориях SECAM либо используется дисплей с поддержкой PAL, либо транскодер для преобразования сигнала PAL в SECAM для отображения.
Различные варианты конфигураций цветности 4: 2: 0 находятся в:
Каждый Cb и Cr подвергаются подвыборке с коэффициентом 2 как по горизонтали, так и по вертикали.
Возможны три варианта схем 4: 2: 0 с разным расположением по горизонтали и вертикали. [9]
Большинство цифровых видеоформатов, соответствующих PAL, используют субдискретизацию цветности 4: 2: 0, за исключением DVCPRO25, в котором используется субдискретизация цветности 4: 1: 1. Обе схемы 4: 1: 1 и 4: 2: 0 сокращают полосу пропускания вдвое по сравнению с отсутствием субдискретизации цветности.
В случае чересстрочного материала субдискретизация цветности 4: 2: 0 может привести к артефактам движения, если она реализована таким же образом, как и для прогрессивного материала. Выборки яркости получаются из отдельных временных интервалов, а образцы цветности - из обоих временных интервалов. Именно эта разница может приводить к артефактам движения. Стандарт MPEG-2 допускает альтернативную схему чересстрочной выборки, где 4: 2: 0 применяется к каждому полю (а не к обоим полям одновременно). Это решает проблему артефактов движения, уменьшает разрешение цветности по вертикали вдвое и может вносить в изображение гребешковые артефакты.
Оригинал. На этом изображении показано одно поле. К движущемуся тексту применено размытие в движении.
4: 2: 0 прогрессивная дискретизация, применяемая к движущемуся материалу с чересстрочной разверткой . Обратите внимание, что цветность ведет и следует за движущимся текстом. На этом изображении показано одно поле.
4: 2: 0 чересстрочной выборки применяется к перемещению чересстрочного материала. На этом изображении показано одно поле.
Однако в чересстрочной схеме 4: 2: 0 вертикальное разрешение цветности уменьшается примерно вдвое, поскольку образцы цветности эффективно описывают область шириной 2 отсчета и высотой 4 отсчета вместо 2 × 2. Кроме того, пространственное смещение между обоими полями может привести к появлению гребенчатых артефактов цветности.
Исходное неподвижное изображение.
К неподвижному изображению применяется прогрессивная дискретизация 4: 2: 0 . Показаны оба поля.
К неподвижному изображению применяется чересстрочная выборка 4: 2: 0 . Показаны оба поля.
Если чересстрочный материал должен быть де-чересстрочным, гребенчатые артефакты цветности (из чересстрочной выборки 4: 2: 0) могут быть удалены путем размытия цветности по вертикали. [10]
Такое соотношение возможно, и некоторые кодеки его поддерживают, но широко не используется. Это соотношение использует половину вертикального и четверть горизонтального цветовых разрешений, при этом используется только одна восьмая пропускной способности максимального используемого цветового разрешения. Несжатое видео в этом формате с 8-битным квантованием использует 10 байтов для каждого макропикселя (что составляет 4 × 2 пикселя). Он имеет эквивалентную полосу цветности сигнала PAL I, декодированного с помощью декодера линии задержки, и все же намного превосходит NTSC.
Используется Sony в своих рекордерах HDCAM High Definition (не HDCAM SR). В горизонтальном измерении яркость дискретизируется по горизонтали на трех четвертях частоты дискретизации Full HD - 1440 отсчетов на строку вместо 1920. Цветность дискретизируется с 480 отсчетами на строку, что составляет треть частоты дискретизации яркости.
В вертикальном измерении и яркость, и цветность дискретизируются с частотой дискретизации Full HD (1080 отсчетов по вертикали).
Подвыборка цветности страдает от двух основных типов артефактов, вызывающих более заметное ухудшение, чем предполагалось, когда цвета меняются резко.
Гамма-скорректированные сигналы, такие как Y'CbCr, имеют проблемы, когда ошибки цветности "просачиваются" в яркость. В этих сигналах низкая цветность фактически делает цвет менее ярким, чем цвет с эквивалентной яркостью. В результате, когда насыщенный цвет смешивается с ненасыщенным или дополнительным цветом, на границе происходит потеря яркости. Это можно увидеть на примере между пурпурным и зеленым. [2] Чтобы получить набор субдискретизированных значений, который более похож на исходный, необходимо отменить гамма-коррекцию, выполнить вычисление и затем вернуться в пространство с гамма-коррекцией. Также возможны более эффективные аппроксимации, например, со средневзвешенным значением яркости или итеративно с помощью таблиц поиска в WebP и функции sjpeg "Sharp YUV". [11]
Еще один артефакт , который может произойти с цветностью прореживанием является то , что не посещающих гаммы цветов может происходить при реконструкции цветностью. Предположим, что изображение состоит из чередующихся красных и черных линий размером 1 пиксель, а субдискретизация не включает цветность для черных пикселей. Цветность красных пикселей будет реконструирована на черные пиксели, в результате чего новые пиксели будут иметь положительные красные и отрицательные зеленые и синие значения. Поскольку дисплеи не могут выводить отрицательный свет (отрицательного света не существует), эти отрицательные значения будут фактически обрезаны, и результирующее значение яркости будет слишком высоким. [2] Подобные артефакты возникают в менее искусственном примере градации около довольно резкой границы красный / черный.
Другие типы фильтрации во время субдискретизации также могут привести к выходу цветов за пределы гаммы.
Термин Y'UV относится к схеме кодирования аналогового ТВ (Рекомендация МСЭ-R BT.470), а Y'CbCr относится к схеме цифрового кодирования. [3] Одно различие между ними состоит в том, что масштабные коэффициенты для компонентов цветности (U, V, Cb и Cr) различаются. Однако термин YUV часто ошибочно используется для обозначения кодировки Y'CbCr. Следовательно, выражения типа «4: 2: 2 YUV» всегда относятся к 4: 2: 2 Y'CbCr, поскольку в аналоговой кодировке (например, YUV) просто не существует такой вещи, как 4: x: x. Форматы пикселей, используемые в Y'CbCr, также могут называться YUV, например yuv420p, yuvj420p и многие другие.
Аналогичным образом термин яркость и символ Y часто ошибочно используются для обозначения яркости, которая обозначается символом Y '. Обратите внимание, что яркость (Y ') видеоинженерии отклоняется от яркости (Y) науки о цвете (как определено CIE ). Яркость формируется как взвешенная сумма гамма-скорректированных (трехцветных) компонентов RGB. Яркость формируется как взвешенная сумма линейных (трехцветных) компонентов RGB.
На практике символ CIE Y часто неправильно используется для обозначения яркости. В 1993 году SMPTE приняла Инженерное руководство EG 28, разъясняющее эти два термина. Обратите внимание, что главный символ 'используется для обозначения гамма-коррекции.
Точно так же цветность видеоинженерии отличается от цветности науки о цвете. Цветность видеоинженерии формируется из взвешенных трехцветных компонентов (с гамма-коррекцией, OETF), а не из линейных компонентов. В практике видеотехники термины цветность , цветность и насыщенность часто используются взаимозаменяемо для обозначения цветности, но, как говорится в Рекомендации ITU-T Rec H.273, это не лучшая практика.
Субдискретизация цветности была разработана в 1950-х годах Алдой Бедфорд для разработки цветного телевидения компанией RCA , которая превратилась в стандарт NTSC ; Разделение яркости и цветности было разработано ранее, в 1938 году, Жоржем Валенси . Посредством исследований он показал, что человеческий глаз имеет высокое разрешение только для черного и белого, несколько меньше для «средних» цветов, таких как желтый и зеленый, и гораздо меньше для цветов на конце спектра, красного и синего. Использование этих знаний позволило RCA разработать систему, в которой они отбрасывали большую часть синего сигнала после того, как он исходит от камеры, сохраняя большую часть зеленого и только часть красного; это подвыборка цветности в YIQ цветовое пространство и примерно аналогичен субдискретизации 4: 2: 1 в том, что имеет уменьшающееся разрешение для яркости, желтого / зеленого и красного / синего цветов.