Артефакт сжатия

Артефакт сжатия (или артефакт ) заметное искажение массовой информации ( в том числе изображений , аудио и видео ) , вызванное применением сжатия с потерями . Lossy сжатие данных включает в себя отбрасывание некоторых данных в средствах массовых информации, так что он становится достаточно мало , чтобы быть сохранен в желаемом диске или передаются ( потоковом ) в пределах доступной полосы пропускания (известное как скорость передачи данных , или битрейт ). Если компрессор не может сохранить достаточно данных в сжатой версии, результатом будет потеря качества или появление артефактов. ВАлгоритм сжатия может быть недостаточно интеллектуальным, чтобы различать искажения, имеющие незначительную субъективную значимость, и искажения, нежелательные для пользователя.

Исходное изображение с хорошей цветопередачей
Потеря четкости краев и "размытости" тона при сильном сжатии JPEG.

Наиболее распространенными артефактами цифрового сжатия являются блоки DCT, вызванные алгоритмом сжатия с дискретным косинусным преобразованием (DCT), используемым во многих стандартах цифрового мультимедиа , таких как форматы видеофайлов JPEG , MP3 и MPEG . [1] [2] [3] Эти артефакты сжатия появляются при применении сильного сжатия [1] и часто встречаются на распространенных цифровых носителях, таких как DVD , распространенные компьютерные форматы файлов, такие как файлы JPEG, MP3 и MPEG, а также некоторые альтернативы. на компакт-диск , например в формате Sony MiniDisc . Несжатые носители (например, лазерные диски , аудио компакт-диски и файлы WAV ) или сжатые без потерь носители (такие как FLAC или PNG ) не страдают от артефактов сжатия.

Минимизация воспринимаемых артефактов - ключевая цель реализации алгоритма сжатия с потерями. Однако иногда артефакты преднамеренно создаются для художественных целей, в стиле, известном как глитч-арт [4] или датамошинг. [5]

С технической точки зрения артефакт сжатия - это особый класс ошибок данных, который обычно является следствием квантования при сжатии данных с потерями. Когда используется кодирование с преобразованием , оно обычно принимает форму одной из базовых функций пространства преобразования кодера.

Иллюстрация эффекта сжатия JPEG на слегка зашумленном изображении со смесью текста и пробелов. Текст - это снимок экрана из беседы в Википедии с добавленным шумом (интенсивность 10 в Paint.NET). Один кадр анимации был сохранен в формате JPEG (качество 90) и перезагружен. Затем оба кадра были увеличены в 4 раза (интерполяция ближайшего соседа).

При выполнении блочного кодирования с дискретным косинусным преобразованием (DCT) [1] для квантования , как в изображениях, сжатых в формате JPEG , могут появиться несколько типов артефактов.

  • Звон
  • Контуринг [ требуется уточнение ]
  • Постеризация
  • Шум лестницы ( наложение ) по изогнутым краям
  • Блочность в «загруженных» регионах (артефакты границы блока, иногда называемые макроблокированием, квилтингом или шахматной доской)

Другие алгоритмы с потерями, которые используют сопоставление с образцом для дедупликации похожих символов, склонны вносить трудно обнаруживаемые ошибки в печатный текст. Например, можно заменить цифры «6» и «8». Это наблюдалось с JBIG2 в некоторых копировальных аппаратах. [6] [7]

Артефакты границы блока

Артефакты блочного кодирования в изображении JPEG. Плоские блоки вызваны грубым квантованием. Видны разрывы на границах блока преобразования.

При низких скоростях передачи любая схема блочного кодирования с потерями вводит видимые артефакты в блоках пикселей и на границах блоков. Эти границы могут преобразовывать границы блока, границы блока предсказания или и то, и другое, и могут совпадать с границами макроблока . Термин « макроблокирование» обычно используется независимо от причины артефакта. Другие названия включают мозаику , [8] мозаику, пикселизацию, квилтинг и шахматную доску.

Блочные артефакты являются результатом самого принципа кодирования с блочным преобразованием . Преобразование (например, дискретное косинусное преобразование) применяется к блоку пикселей, и для достижения сжатия с потерями коэффициенты преобразования каждого блока квантуются . Чем ниже скорость передачи в битах, тем грубее представлены коэффициенты и тем больше коэффициентов квантуются до нуля. Статистически, изображения имеют более низко- частоту , чем содержание высокочастотного, так что содержание низкочастотного , что остается после квантования, который приводит к размыто, блокам с низким разрешением. В самом крайнем случае сохраняется только DC-коэффициент, то есть коэффициент, который представляет средний цвет блока, а блок преобразования имеет только один цвет после восстановления.

Поскольку этот процесс квантования применяется индивидуально в каждом блоке, соседние блоки квантуют коэффициенты по-разному. Это приводит к разрывам на границах блоков. Они наиболее заметны на плоских участках, где мало деталей, чтобы замаскировать эффект.

Уменьшение артефактов изображения

Были предложены различные подходы для уменьшения эффектов сжатия изображения, но для использования стандартизированных методов сжатия / распаковки и сохранения преимуществ сжатия (например, более низких затрат на передачу и хранение) многие из этих методов ориентированы на «постобработку», т. Е. , обработка изображений при получении или просмотре. Не было показано, что во всех случаях методы постобработки улучшают качество изображения; следовательно, ни один из них не получил широкого признания, хотя некоторые были реализованы и используются в проприетарных системах. Например, многие программы для редактирования фотографий имеют собственные встроенные алгоритмы уменьшения артефактов JPEG. В бытовом оборудовании эту постобработку часто называют «шумоподавлением MPEG». [9]

Граничные артефакты в JPEG можно превратить в более приятные «зерна», похожие на те, что на фотопленках с высоким ISO. Вместо простого умножения квантованных коэффициентов на шаг квантования Q, относящийся к 2D-частоте, интеллектуальный шум в форме случайного числа в интервале [- Q / 2; Q / 2] может быть добавлен к деквантованному коэффициенту. Этот метод может быть добавлен как неотъемлемая часть декомпрессоров JPEG, работающих с триллионами существующих и будущих изображений JPEG. По сути, это не метод «постобработки». [10]

Проблема звонков может быть уменьшена во время кодирования путем превышения значений DCT, зажимая кольца. [11]

Постеризация обычно происходит только при низком качестве, когда значениям постоянного тока придается слишком мало значения. Помогает настройка таблицы квантования. [12]

Пример изображения с артефактами из-за ошибки передачи

Когда используется прогнозирование движения, как в MPEG-1 , MPEG-2 или MPEG-4 , артефакты сжатия, как правило, остаются на нескольких поколениях декомпрессированных кадров и перемещаются вместе с оптическим потоком изображения, что частично приводит к специфическому эффекту. между эффектом рисования и «грязью», которая движется вместе с объектами в сцене.

Ошибки данных в сжатом битовом потоке, возможно, из-за ошибок передачи, могут привести к ошибкам, подобным большим ошибкам квантования, или могут полностью нарушить синтаксический анализ потока данных на короткое время, что приведет к "разрыву" изображения. . Когда в битовом потоке произошли грубые ошибки, декодеры продолжают применять обновления к поврежденному изображению в течение короткого интервала, создавая эффект «фантомного изображения», до получения следующего независимо сжатого кадра. В кодировании изображений MPEG они известны как « I-кадры », где «I» означает «внутренний». Пока не поступит следующий I-кадр, декодер может выполнять маскирование ошибок .

Артефакты границы блока компенсации движения

Разрывы границ блоков могут возникать на краях блоков предсказания компенсации движения . При сжатии видео с компенсацией движения текущее изображение прогнозируется путем сдвига блоков (макроблоков, разделов или единиц прогнозирования) пикселей из ранее декодированных кадров. Если два соседних блока используют разные векторы движения, на границе между блоками будет разрыв.

Москитный шум

Артефакты сжатия видео включают в себя совокупные результаты сжатия составляющих неподвижных изображений, например, звон или другие искажения краев в последовательных неподвижных изображениях появляются последовательно в виде мерцающего размытия точек по краям, называемого москитным шумом , поскольку они напоминают комаров, роящихся вокруг объекта. [13] [14] Так называемый «москитный шум» возникает из-за блочного алгоритма сжатия с дискретным косинусным преобразованием (DCT), используемого в большинстве стандартов кодирования видео , таких как форматы MPEG . [3]

Уменьшение видео артефактов

Артефакты на границах блоков можно уменьшить, применив фильтр удаления блочности . Как и при кодировании неподвижных изображений, можно применить фильтр удаления блочности к выходному сигналу декодера в качестве постобработки.

При кодировании видео с предсказанием движения с замкнутым циклом предсказания кодер использует выходной сигнал декодера в качестве эталона предсказания, на основании которого предсказываются будущие кадры. С этой целью кодер концептуально интегрирует декодер. Если этот «декодер» выполняет удаление блочности, изображение с удаленной блочностью затем используется в качестве опорного изображения для компенсации движения, что повышает эффективность кодирования, предотвращая распространение блочных артефактов по кадрам. Это называется внутриконтурным фильтром удаления блочности. Стандарты, которые определяют фильтр удаления блочности в цикле, включают VC-1 , H.263 Annex J, H.264 / AVC и H.265 / HEVC .

Сжатие звука с потерями обычно работает с психоакустической моделью - моделью человеческого слухового восприятия. Аудиоформаты с потерями обычно включают использование преобразования временной / частотной области, такого как модифицированное дискретное косинусное преобразование . В психоакустической модели используются эффекты маскировки, такие как частотная маскировка и временная маскировка, так что звуки, которые должны быть незаметными, не записываются. Например, как правило, люди не способны воспринимать тихий тон, воспроизводимый одновременно с аналогичным, но более громким звуком. Метод сжатия с потерями может определить этот тихий тон и попытаться удалить его. Кроме того, шумы квантования можно «спрятать» там, где они будут замаскированы более заметными звуками. При низком уровне сжатия используется консервативная психомодель с небольшими размерами блоков.

Когда психоакустическая модель неточна, когда размер блока преобразования ограничен или когда используется агрессивное сжатие, это может привести к артефактам сжатия. Артефакты сжатия в сжатом аудио обычно проявляются как звон, пре-эхо , «птичьи артефакты», выпадения, дребезжание, трели, металлический звон, ощущение под водой, шипение или «зернистость».

Примером артефактов сжатия в аудио является аплодисменты в относительно сильно сжатом аудиофайле (например, MP3 96 кбит / с). В общем, музыкальные тона имеют повторяющиеся формы волны и более предсказуемые изменения громкости, тогда как аплодисменты по сути случайны, поэтому их сложно сжать. Сильно сжатый трек аплодисментов может иметь «металлический звон» и другие артефакты сжатия.

"> Воспроизвести медиа
Видео глюк-арт

Артефакты сжатия могут намеренно использоваться в качестве визуального стиля, иногда известного как глитч-арт . Роза Менкман глюк художественная марка «ы использование артефактов сжатия , [15] в частности, дискретные косинусное преобразование блоков (блоки) ДКП можно найти в большинстве цифровых средств массовой информации сжатия данных форматов , такие как JPEG цифровых изображения и MP3 цифрового аудио . [2] В неподвижных изображениях примером является Jpegs немецкого фотографа Томаса Руффа , который использует преднамеренные артефакты JPEG в качестве основы стиля изображения. [16] [17]

В видеоискусстве один из используемых методов - это шифрование данных , когда два видео чередуются, поэтому промежуточные кадры интерполируются из двух отдельных источников. Другой метод включает простое перекодирование из одного видеоформата с потерями в другой, что позволяет использовать разницу в том, как отдельные видеокодеки обрабатывают информацию о движении и цвете. [18] Техника была впервые использована художниками Бертраном Планесом в сотрудничестве с Кристианом Жакменом в 2006 году с DivXPrime, [19] Свеном Кенигом, Такеши Мурата , Жаком Перконте и Полом Б. Дэвисом в сотрудничестве с Паперрадом , а в последнее время использовалась Дэвидом Орейли и в музыкальных клипах для Chairlift и Набиля Элдеркина в музыкальном видео « Welcome to Heartbreak » для Канье Уэста . [20] [21]

Существует также жанр интернет-мемов, в которых часто бессмысленные изображения намеренно сильно сжимаются, иногда многократно для создания комедийного эффекта. Изображения, созданные с помощью этой техники, часто называют «жареными во фритюре». [22]

  • Артефакт (ошибка)
  • Отправка данных
  • Цифровой артефакт
  • Потеря поколения
  • JPEG
  • JPEG 2000
  • Сжатие с потерями
  • Шумовая печать
  • Звенящие артефакты
  • Прозрачность (сжатие данных)

  1. ^ a b c Katsaggelos, Aggelos K .; Бабаджан, С. Дерин; Чун-Джен, Цай (2009). «Глава 15 - Итеративное восстановление образа». Основное руководство по обработке изображений . Академическая пресса . С. 349–383. ISBN 9780123744579.
  2. ^ а б Алихани Дарья (1 апреля 2015 г.). «За гранью разрешения: глюк-арт Розы Менкман» . POSTmatter . Проверено 19 октября 2019 .
  3. ^ а б «Москитный шум» . Журнал ПК . Проверено 19 октября 2019 .
  4. ^ Гир, Дункан (13 декабря 2011 г.). «Глитч-арт, созданный с помощью 'databending ' » . Проводной . Проверено 23 декабря 2011 года .
  5. ^ Бейкер-Смит, Бен (28 апреля 2009 г.). «Датамошинг - красота глюка» . Bitsynthesis.com. Архивировано из оригинального 16 ноября 2010 года . Проверено 28 апреля 2009 года .
  6. ^ «Сканеры / копировальные аппараты Xerox изменяют номера в отсканированных документах случайным образом» . 2 августа 2013 . Проверено 4 августа 2013 года .
  7. ^ «Запутавшиеся копиры Xerox переписывают документы, - считает эксперт» . BBC News . 6 августа 2013 . Проверено 6 августа 2013 года .
  8. ^ Уоткинсон, Джон (2004). Справочник MPEG Джона Уоткинсона . ISBN 9780240805788.
  9. ^ «Журнал ПК, Определение блокировки артефактов» .
  10. ^ Хадсон, Грэм; Леже, Ален; Нисс, Биргер; Себастьен, Иштван; Ваабен, Йорген (31 августа 2018 г.). «Стандарт JPEG.1 25 лет: прошлые, настоящие и будущие причины успеха» . Журнал электронного изображения . 27 (4): 1. DOI : 10,1117 / 1.JEI.27.4.040901 . S2CID  52164892 .
  11. ^ Рихтер, Томас (сентябрь 2016 г.). «JPEG на СТЕРОИДАХ: Общие методы оптимизации для сжатия изображений JPEG». Международная конференция IEEE по обработке изображений (ICIP), 2016 г .: 61–65. DOI : 10,1109 / ICIP.2016.7532319 . ISBN 978-1-4673-9961-6. S2CID  14922251 . Выложите резюме .
  12. ^ "корнельский / jpeg-компрессор" . 16 ноября 2020.
  13. ^ Ле Динь, Фук-Вт; Патри, Жак. «Артефакты сжатия видео и шумоподавление MPEG» . Встроенный . Проверено 19 февраля +2016 .
  14. ^ « 3.9 шум комара: форма искажения занятости краев, иногда связанная с движением, характеризующаяся движущимися артефактами и / или пятнистыми шумами, наложенными на объекты (напоминающие комара, летающего вокруг головы и плеч человека)». Рек. МСЭ-Т. P.930 (08/96) Принципы эталонной системы искажений для видео.
  15. ^ Менкман, Роза (октябрь 2011 г.). Момент глюка (гм) (PDF) . Институт сетевых культур. ISBN 978-90-816021-6-7. Проверено 19 октября 2019 .
  16. ^ jpegs , Томас Рафф , Aperture , 31 мая 2009 г., 132 стр., ISBN  978-1-59711-093-8
  17. ^ Обзор: JPEGs Томас Рафф , по Йорг Colberg , 17 апреля 2009
  18. ^ Anoniem zei (19 февраля 2009 г.). «От артефакта сжатия к фильтру» . Rosa-menkman.blogspot.com . Проверено 23 декабря 2011 года .
  19. ^ Жакмен, Кристиан (2008). "Le bug dans l'oeuvre DivXPrime de Bertrand Planes: Invention et mutation. In, Ivan Toulouse and Daniel Danétis, editors, Eurêka: Le moment de l'invention, un dialog entre art et science, L'Harmattan, Paris" (PDF ) . С. 245–256 . Проверено 5 ноября 2012 года .
  20. ^ Pixel Bleed , Джон Майкл Болинг. Корневище . 25 февраля 2009 г.
  21. ^ Родригес, Джейсон (18 февраля 2009 г.). «Канье Уэст выкладывает новое видео на свой веб-сайт - Новости MTV» . Mtv.com . Проверено 23 декабря 2011 года .
  22. ^ https://www.vice.com/en/article/zmm885/how-to-deep-fry-a-meme

  • DivXPrime Первые известные эксперименты программного обеспечения для обмена данными с видео от Bertrand Planes и Christian Jacquemin (на основе алгоритма Xvid)
  • Тизер короткометражного фильма «Рождение Соника» режиссера Жерома Бланке, эффект смещения данных Дэвида Оливари, продюсера [Metronomic]. Полный фильм: "Соник рождение"
  • datamosher Программа для обмена видеоданными под лицензией GPL.
  • Пример сильных артефактов сжатия видео .
  • JPEG Tutor , интерактивный апплет, позволяющий исследовать эффекты изменения матрицы квантования.
  • Удаление и снятие блокировки с JPEG: программное обеспечение Matlab и плагин Photoshop