Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
JPEG с высокой степенью сжатия (низкого качества)

В области информационных технологий , сжатие с потерями , или необратимым сжатием является классом данных , кодирующих методов , которые используют неточные приближения и частичные данные отбрасывания для представления контента. Эти методы используются для уменьшения размера данных для хранения, обработки и передачи контента. Различные версии фотографии кошки справа показывают, как более высокие степени приближения создают более грубые изображения по мере удаления большего количества деталей. Это противоположно сжатию данных без потерь (обратимое сжатие данных), которое не ухудшает данные. Объем сокращения данных, возможный при использовании сжатия с потерями, намного выше, чем при использовании методов без потерь.

Хорошо продуманная технология сжатия с потерями часто значительно уменьшает размер файла до того, как конечный пользователь заметит ухудшение качества. Даже если это заметно для пользователя, может быть желательно дальнейшее сокращение объема данных (например, для связи в реальном времени, для уменьшения времени передачи или для уменьшения потребности в хранении). Наиболее широко используемым алгоритмом сжатия с потерями является дискретное косинусное преобразование (DCT), впервые опубликованное Насиром Ахмедом , Т. Натараджаном и К.Р. Рао в 1974 году. Недавно появилось новое семейство функций синусоидально-гиперболического преобразования, которые имеют сопоставимые свойства и производительность с DCT были предложены для сжатия с потерями. [1]

Сжатие с потерями чаще всего используется для сжатия мультимедийных данных ( аудио , видео и изображений ), особенно в таких приложениях, как потоковая передача мультимедиа и интернет-телефония . Напротив, сжатие без потерь обычно требуется для текстовых файлов и файлов данных, таких как банковские записи и текстовые статьи. Может быть полезно создать главный файл без потерь, который затем можно использовать для создания дополнительных копий из. Это позволяет избежать создания новых сжатых копий исходного файла с потерями, что приведет к дополнительным артефактам и дальнейшей ненужной потере информации .

Типы [ править ]

Можно сжимать многие типы цифровых данных таким образом, чтобы уменьшить размер компьютерного файла, необходимый для его хранения, или полосу пропускания, необходимую для его передачи, без потери полной информации, содержащейся в исходном файле. Например, изображение преобразуется в цифровой файл, рассматривая его как массив точек и задавая цвет и яркость каждой точки. Если изображение содержит область того же цвета, его можно сжать без потерь, сказав «200 красных точек» вместо «красная точка, красная точка, ... (еще 197 раз) ..., красная точка».

Исходные данные содержат определенный объем информации, и существует нижний предел размера файла, который может содержать всю информацию. Базовая теория информации гласит, что существует абсолютный предел уменьшения размера этих данных. Когда данные сжимаются, их энтропия увеличивается и не может увеличиваться бесконечно. В качестве интуитивно понятного примера большинство людей знают, что сжатый файл ZIP меньше исходного файла, но многократное сжатие одного и того же файла не приведет к уменьшению размера до нуля. Большинство алгоритмов сжатия могут распознать, когда дальнейшее сжатие было бы бессмысленным и фактически увеличило бы размер данных.

Во многих случаях файлы или потоки данных содержат больше информации, чем требуется для конкретной цели. Например, изображение может иметь больше деталей, чем может различить глаз при воспроизведении с максимальным заданным размером; аналогично аудиофайлу не требуется много мелких деталей во время очень громкого отрывка. Разработка методов сжатия с потерями, максимально приближенных к человеческому восприятию, является сложной задачей. Иногда идеальным является файл, который обеспечивает точно такое же восприятие, как оригинал, с удалением как можно большего количества цифровой информации; в других случаях ощутимая потеря качества считается допустимым компромиссом для уменьшения объема данных.

Термины «необратимый» и «обратимый» предпочтительнее, чем «с потерями» и «без потерь» соответственно для некоторых приложений, таких как сжатие медицинских изображений, чтобы избежать негативных последствий «потери». Тип и размер потерь могут повлиять на полезность изображений. Артефакты или нежелательные эффекты сжатия могут быть четко различимы, но результат по-прежнему полезен для предполагаемой цели. Либо изображения, сжатые с потерями, могут быть « без визуальных потерь », либо в случае медицинских изображений может применяться так называемое диагностически приемлемое необратимое сжатие (DAIC) [2] .

Преобразовать кодирование [ править ]

Некоторые формы сжатия с потерями можно рассматривать как применение кодирования с преобразованием , который представляет собой тип сжатия данных используются для цифровых изображений , цифровых звуковых сигналов и цифрового видео . Преобразование обычно используется для обеспечения лучшего (более целенаправленного) квантования . Знание приложения используется для выбора информации, которую следует отбросить, тем самым снижая его пропускную способность . Оставшуюся информацию затем можно сжать различными способами. Когда вывод декодируется, результат может не совпадать с исходным вводом, но ожидается, что он будет достаточно близким для целей приложения.

Наиболее распространенной формой сжатия с потерями является метод кодирования с преобразованием, дискретное косинусное преобразование (DCT) [3], который впервые был опубликован Насиром Ахмедом , Т. Натараджаном и К. Р. Рао в 1974 году. [4] DCT является наиболее широко используемым. форма сжатия с потерями для популярных форматов сжатия изображений (например, JPEG ) [5], стандартов кодирования видео (таких как MPEG и H.264 / AVC ) и форматов сжатия звука (например, MP3 и AAC ).

В случае аудиоданных популярной формой кодирования с преобразованием является перцепционное кодирование , которое преобразует необработанные данные в область, которая более точно отражает информационное содержание. Например, вместо того, чтобы выражать звуковой файл как уровни амплитуды во времени, можно выразить его как частотный спектр во времени, что более точно соответствует восприятию звука человеком. Хотя сокращение данных (сжатие с потерями или без потерь) является основной целью кодирования с преобразованием, оно также позволяет достичь других целей: можно более точно представить данные для исходного объема [6] - например, в принципе, если один начинается с аналогового или цифрового мастера высокого разрешения , MP3файл заданного размера должен обеспечивать лучшее представление, чем необработанный несжатый звук в файлах WAV или AIFF того же размера. Это связано с тем, что несжатый звук может уменьшить размер файла только за счет снижения битрейта или глубины, тогда как сжатие аудио может уменьшить размер при сохранении битрейта и глубины. Это сжатие приводит к избирательной потере наименее важных данных, а не к потере данных по всем направлениям. Кроме того, кодирование с преобразованием может обеспечить лучшую область для манипулирования или иного редактирования данных - например, эквализация звука наиболее естественно выражается в частотной области (например, усиление басов), а не в необработанной временной области.

С этой точки зрения перцептивное кодирование, по сути, не связано с отбрасыванием данных, а скорее с их лучшим представлением . Другое использование для обратной совместимости и изящным деградации : в цветном телевидении, кодирующий цвет с помощью яркости - цветности области преобразования (например, YUV ) означает , что черно-белые наборы отображения яркости, игнорируя при этом информацию о цвете. Другой пример - субдискретизация цветности : использование цветовых пространств, таких как YIQ , используемых в NTSC., позволяют уменьшить разрешение компонентов в соответствии с человеческим восприятием - люди имеют самое высокое разрешение для черно-белого (яркости), более низкое разрешение для цветов среднего спектра, таких как желтый и зеленый, и самое низкое для красного и синего - таким образом NTSC отображает примерно 350 пикселей яркости на строку сканирования , 150 пикселей желтого и зеленого и 50 пикселей синего и красного, которые пропорциональны чувствительности человека к каждому компоненту.

Потеря информации [ править ]

Форматы сжатия с потерями страдают от потери поколения : многократное сжатие и распаковка файла приведет к постепенной потере качества. Это контрастирует со сжатием данных без потерь , когда данные не будут потеряны при использовании такой процедуры. Теоретико-информационные основы сжатия данных с потерями обеспечиваются теорией искажения скорости . Подобно использованию вероятности в теории оптимального кодирования, теория искажения скорости в значительной степени опирается на байесовские оценки и теорию принятия решений для моделирования искажений восприятия и даже эстетических суждений.

Существуют две основные схемы сжатия с потерями:

  • В кодеках преобразования с потерями образцы изображения или звука берутся, нарезаются на небольшие сегменты, преобразуются в новое базовое пространство и квантуются . Затем полученные квантованные значения кодируются энтропией .
  • В кодеках с предсказанием с потерями предыдущие и / или последующие декодированные данные используются для предсказания текущей звуковой выборки или кадра изображения. Ошибка между предсказанными данными и реальными данными вместе с любой дополнительной информацией, необходимой для воспроизведения предсказания, затем квантуется и кодируется.

В некоторых системах эти два метода комбинируются, при этом кодеки преобразования используются для сжатия сигналов ошибок, генерируемых на этапе прогнозирования.

Сравнение [ править ]

Преимущество методов с потерями перед методами без потерь заключается в том, что в некоторых случаях метод с потерями может создавать сжатый файл гораздо меньшего размера, чем любой метод без потерь, при этом удовлетворяя требованиям приложения. Методы с потерями чаще всего используются для сжатия звука, изображений или видео. Это связано с тем, что эти типы данных предназначены для интерпретации человеком, когда разум может легко «заполнить пробелы» или увидеть прошлые очень незначительные ошибки или несоответствия - в идеале сжатие с потерями прозрачно (незаметно), что можно проверить с помощью теста ABX . Файлы данных, использующие сжатие с потерями, меньше по размеру и, следовательно, дешевле хранить и передавать через Интернет, что является важным соображением для потоковых видеоуслуг, таких какNetflix и сервисы потокового аудио, такие как Spotify .

Эмоциональные эффекты [ править ]

Исследование, проведенное Audio Engineering Library, показало, что форматы сжатия с потерями с более низким битрейтом (112 кбит / с), такие как MP3, оказывают определенное влияние на тембральные и эмоциональные характеристики, как правило, усиливают отрицательные эмоциональные качества и ослабляют положительные. [7] Исследование также отметило, что труба - инструмент, наиболее подверженный компрессии, а рог - меньше всего.

Прозрачность [ править ]

Когда пользователь получает файл, сжатый с потерями (например, для сокращения времени загрузки), полученный файл может сильно отличаться от оригинала на битовом уровне, при этом не различаясь для человеческого уха или глаза для большинства практических целей. Многие методы сжатия сосредоточены на особенностях физиологии человека , принимая во внимание, например, то, что человеческий глаз может видеть свет только определенных длин волн. Психоакустическая модель описывает , как звук может быть с высокой степенью сжатия без ухудшения качества воспринимаемого. Дефекты, вызванные сжатием с потерями, которые заметны человеческому глазу или уху, известны как артефакты сжатия .

Степень сжатия [ править ]

Степень сжатия (то есть размер сжатого файла по сравнению с размером несжатого файла) видеокодеков с потерями почти всегда намного выше, чем у эквивалентов аудио и неподвижных изображений.

  • Видео можно сильно сжать (например, 100: 1) с небольшой видимой потерей качества.
  • Аудио часто можно сжимать до 10: 1 с почти незаметной потерей качества.
  • Неподвижные изображения часто сжимаются с потерями до 10: 1, как и в случае со звуком, но потеря качества более заметна, особенно при ближайшем рассмотрении.

Транскодирование и редактирование [ править ]

Важное предостережение относительно сжатия с потерями (формально транскодирования) заключается в том, что редактирование файлов, сжатых с потерями, приводит к потере цифровой генерации из-за перекодирования. Этого можно избежать, создавая файлы с потерями только из оригиналов (без потерь) и редактируя только исходные файлы (копии), такие как изображения в формате необработанных изображений, а не в формате JPEG . Если данные, которые были сжаты с потерями, декодируются и сжимаются без потерь, размер результата может быть сопоставим с размером данных до сжатия с потерями, но уже потерянные данные не могут быть восстановлены. Решая использовать преобразование с потерями без сохранения оригинала, следует помнить, что преобразование формата может потребоваться в будущем для достижения совместимости с программным обеспечением или устройствами (смещение формата ) или избежать уплаты патентных отчислений за декодирование или распространение сжатых файлов.

Редактирование файлов с потерями [ править ]

Изменяя сжатые данные напрямую без декодирования и перекодирования, возможно редактирование файлов, сжатых с потерями, без ухудшения качества. Иногда также возможно редактирование, которое уменьшает размер файла, как если бы он был сжат в большей степени, но без больших потерь, чем это.

JPEG [ править ]

Основными программами для редактирования файлов JPEG без потерь являются jpegtranпроизводные exiftran(которые также сохраняют информацию Exif ) и Jpegcrop (обеспечивающие интерфейс Windows).

Это позволяет изображению быть

  • обрезанный
  • повернут, перевернут и плюхнут , или
  • преобразуется в оттенки серого (отбрасывая канал цветности ).

Пока ненужная информация уничтожается, качество оставшейся части не меняется.

Некоторые другие преобразования возможны до некоторой степени, например, объединение изображений с одинаковой кодировкой (составление бок о бок, как в сетке) или вставка изображений (например, логотипов) в существующие изображения (как через Jpegjoin ), так и масштабирование. [8]

Некоторые изменения могут быть внесены в сжатие без перекодирования:

  • оптимизация сжатия (для уменьшения размера без изменения декодированного изображения)
  • преобразование между прогрессивным и непрогрессивным кодированием.

Бесплатное программное обеспечение IrfanView, предназначенное только для Windows, имеет в своем JPG_TRANSFORM плагине несколько операций с JPEG без потерь .

Метаданные [ править ]

Метаданные, такие как теги ID3 , комментарии Vorbis или информация Exif, обычно могут быть изменены или удалены без изменения базовых данных.

Масштабируемость понижающей дискретизации / сжатого представления [ править ]

Может потребоваться субдискретизация или иное уменьшение разрешения представленного исходного сигнала и количества данных, используемых для его сжатого представления без повторного кодирования, как при отслаивании битрейта , но эта функция поддерживается не во всех конструкциях, поскольку не все кодеки кодируют данные в форме, позволяющей просто опустить менее важные детали. Некоторые хорошо известные проекты, которые имеют эту возможность, включают JPEG 2000 для неподвижных изображений и масштабируемое кодирование видео на основе H.264 / MPEG-4 AVC для видео. Такие схемы также были стандартизированы для старых проектов, таких как изображения JPEG с прогрессивным кодированием и MPEG-2 и MPEG-4 Part 2.видео, хотя эти предыдущие схемы имели ограниченный успех с точки зрения принятия в повседневное использование в реальном мире. Без этой способности, которая часто бывает на практике, для создания представления с более низким разрешением или более низкой точностью, чем заданное, нужно начинать с исходного исходного сигнала и кодировать или начинать со сжатого представления, а затем распаковывать и повторно -кодировать его ( транскодирование ), хотя последнее имеет тенденцию вызывать потерю цифрового поколения .

Другой подход состоит в том, чтобы кодировать исходный сигнал с несколькими разными битрейтами, а затем либо выбрать, какой из них использовать (например, при потоковой передаче через Интернет - как в « SureStream » RealNetworks - или предлагая различные загрузки, как в магазине Apple iTunes Store ), либо транслировать несколько, где используется лучшее, что было успешно получено, например, в различных реализациях иерархической модуляции . Подобные методы используются в MIP-картах , представлениях пирамид и более сложных масштабных пространствах.методы. Некоторые аудиоформаты включают комбинацию формата с потерями и коррекции без потерь, которые при объединении воспроизводят исходный сигнал; исправление можно удалить, оставив файл меньшего размера, сжатый с потерями. К таким форматам относятся MPEG-4 SLS (Scalable to Lossless), WavPack , OptimFROG DualStream и DTS-HD Master Audio в режиме без потерь (XLL) ).

Методы [ править ]

Графика [ править ]

Изображение [ править ]

  • Дискретное косинусное преобразование (DCT)
    • JPEG [9]
    • WebP (сжатие изображений RGB и RGBA с высокой плотностью без потерь или с потерями)
    • Высокоэффективный формат изображения (HEIF)
    • Лучшая переносимая графика (BPG) (сжатие без потерь или с потерями)
    • JPEG XR , преемник JPEG с поддержкой расширенного динамического диапазона , форматов пикселей с широкой гаммой (сжатие без потерь или с потерями)
  • Вейвлет-сжатие
    • JPEG 2000 , формат преемника JPEG, который использует вейвлеты (сжатие без потерь или с потерями)
    • DjVu
    • ICER , используемый марсоходами, связан с JPEG 2000 при использовании вейвлетов.
    • PGF , файл прогрессивной графики (сжатие без потерь или с потерями)
  • Декартово сжатие восприятия , также известное как CPC
  • Фрактальное сжатие
  • JBIG2 (сжатие без потерь или с потерями)
  • Сжатие текстур S3TC для оборудования 3D компьютерной графики

3D компьютерная графика [ править ]

  • glTF

Видео [ править ]

  • Дискретное косинусное преобразование (DCT)
    • H.261 [9]
    • Motion JPEG [9]
    • MPEG-1, часть 2 [10]
    • MPEG-2, часть 2 (H.262) [10]
    • MPEG-4, часть 2 ( H.263 ) [9]
    • Расширенное кодирование видео (AVC / H.264 / MPEG-4 AVC) [9] (также может быть без потерь, даже в определенных разделах видео)
    • Высокоэффективное кодирование видео (HEVC / H.265) [9]
    • Ogg Theora (отмечен отсутствием патентных ограничений)
    • ВК-1
  • Вейвлет-сжатие
    • Motion JPEG 2000
    • Дирак
  • Видеокодек Соренсон

Аудио [ править ]

Общие [ править ]

  • Модифицированное дискретное косинусное преобразование (MDCT)
    • Dolby Digital (AC-3)
    • Акустическое кодирование с адаптивным преобразованием (ATRAC)
    • MPEG Layer III (MP3) [11]
    • Расширенное кодирование звука ( аудио AAC / MP4 ) [12]
    • Vorbis
    • Windows Media Audio (WMA) (профили Standard и Pro с потерями. Также доступен WMA Lossless.)
    • LDAC [13] [14]
    • Opus (отличается отсутствием патентных ограничений, низкой задержкой и высоким качеством речи и звука в целом.)
  • Адаптивная дифференциальная импульсно-кодовая модуляция (ADPCM)
    • Мастер качества аутентифицирован (MQA)
  • MPEG-1 Audio Layer II (MP2)
  • Musepack (на основе Musicam)
  • aptX / aptX-HD [15]

Речь [ править ]

  • Кодирование с линейным предсказанием (LPC)
    • Адаптивное предиктивное кодирование (APC)
    • Линейное предсказание с кодовым возбуждением (CELP)
    • Линейное предсказание с алгебраическим кодом (ACELP)
    • Расслабленное линейное предсказание с кодовым возбуждением (RCELP)
    • CELP с малой задержкой (LD-CELP)
    • Адаптивная мультискорость (используется в GSM и 3GPP )
    • Codec2 (отмечен отсутствием патентных ограничений)
    • Speex (отмечен отсутствием патентных ограничений)
  • Модифицированное дискретное косинусное преобразование (MDCT)
    • AAC-LD
    • Преобразование с перекрытием с ограничением энергии (CELT)
    • Opus (в основном для приложений реального времени)

Другие данные [ править ]

Исследователи (полусерьезно) выполняли сжатие текста с потерями, используя тезаурус для замены коротких слов на длинные, или методы генеративного текста [16], хотя они иногда попадают в родственную категорию преобразования данных с потерями .

Понижение разрешения [ править ]

Общий вид сжатия с потерями - это понижение разрешения изображения, например, при масштабировании изображения , особенно при децимации . Можно также удалить части изображения с меньшей «нижней информацией», например, путем нарезания швов . Многие преобразования мультимедиа, такие как размытие по Гауссу , необратимы, как и сжатие с потерями: исходный сигнал не может быть восстановлен из преобразованного сигнала. Однако, как правило, они будут иметь тот же размер, что и оригинал, и не являются формой сжатия. Понижение разрешения имеет практическое применение, поскольку аппарат NASA New Horizons передал эскизы изображений.о его встрече с Плутоном-Хароном, прежде чем он отправил изображения с более высоким разрешением. Еще одно решение для медленных подключений - использование чересстрочной развертки изображений, которая постепенно определяет изображение. Таким образом, частичной передачи достаточно для предварительного просмотра окончательного изображения в версии с более низким разрешением, без создания масштабированной и полной версии. [ необходима цитата ]

См. Также [ править ]

  • Сжатие данных
  • Сжатие без потерь
  • Артефакт сжатия
  • Теория скорости – искажения
  • Список кодеков
  • Ленна
  • Масштабирование изображения
  • Резьба по шву
  • Транскодирование

Заметки [ править ]

  1. ^ Abedi, M .; Вс, В .; Чжэн, З. (июль 2019 г.). «Синусоидально-гиперболическое семейство преобразований с потенциальными приложениями при измерении сжатия». IEEE Transactions по обработке изображений . 28 (7): 3571–3583. DOI : 10.1109 / TIP.2019.2912355 . PMID  31071031 .
  2. ^ Европейское общество радиологов (2011). «Возможность использования необратимого сжатия изображений в радиологической визуализации. Документ с изложением позиции Европейского общества радиологов (ESR)» . Insights Imaging . 2 (2): 103–115. DOI : 10.1007 / s13244-011-0071-х . PMC 3259360 . PMID 22347940 .  
  3. ^ «Сжатие данных» . Британская энциклопедия . Проверено 13 августа 2019 .
  4. ^ Ахмед, Насир ; Натараджан, Т .; Рао, КР (январь 1974), "дискретного косинусного преобразования", IEEE Transactions на компьютерах , C-23 (1): 90-93, DOI : 10,1109 / TC.1974.223784
  5. ^ «T.81 - ЦИФРОВОЕ СЖАТИЕ И КОДИРОВАНИЕ НЕПРЕРЫВНЫХ ИЗОБРАЖЕНИЙ - ТРЕБОВАНИЯ И РЕКОМЕНДАЦИИ» (PDF) . CCITT. Сентябрь 1992 . Проверено 12 июля 2019 .
  6. ^ «Хотя одной из основных целей цифровых кодеров восприятия звука является сокращение объема данных, это не является необходимой характеристикой. Как мы увидим, перцепционное кодирование можно использовать для улучшения представления цифрового звука за счет расширенного распределения битов ». Маскирование и перцепционное кодирование , Виктор Ломбарди, noisebetweenstations.com
  7. ^ Svetlik, Джо (5 декабря 2016). «MP3 делают вас менее счастливыми, - говорится в исследовании» . Какой привет? . Какой привет? . Проверено 17 декабря 2018 года .
  8. ^ "Новые возможности jpegtran" . sylvana.net . Проверено 20 сентября 2019 .
  9. ^ a b c d e f Станкович, Радомир С .; Астола, Яакко Т. (2012). "Воспоминания о ранних работах в DCT: Интервью с К.Р. Рао" (PDF) . Отпечатки с первых дней информационных наук . 60 . Проверено 13 октября 2019 .
  10. ^ a b К. Р. Рао и Дж. Дж. Хван, Методы и стандарты кодирования изображений, видео и аудио , Прентис Холл, 1996; JPEG: Глава 8; H.261: Глава 9; MPEG-1: Глава 10; MPEG-2: Глава 11.
  11. ^ Гукерт, Джон (весна 2012 г.). «Использование БПФ и MDCT в сжатии аудио MP3» (PDF) . Университет Юты . Проверено 14 июля 2019 .
  12. ^ Бранденбург, Карлхайнц (1999). «Объяснение MP3 и AAC» (PDF) . Архивировано (PDF) из оригинала 13 февраля 2017 года.
  13. ^ Дарко, Джон Х. (2017-03-29). «Неудобная правда о Bluetooth-аудио» . ДАР__КО . Архивировано из оригинала на 2018-01-14 . Проверено 13 января 2018 .
  14. ^ Форд, Джез (2015-08-24). "Что такое Sony LDAC и как он это делает?" . AVHub . Проверено 13 января 2018 .
  15. ^ Форд, Еж (2016-11-22). "aptX HD - без потерь или с потерями?" . AVHub . Проверено 13 января 2018 .
  16. ^ IH WITTEN; и другие. «Семантические и генеративные модели сжатия текста с потерями» (PDF) . Компьютерный журнал . Проверено 13 октября 2007 .

Внешние ссылки [ править ]

  • Аудиоформаты с потерями , сравнение скорости и степени сжатия пяти аудиоформатов с потерями.
  • Основы сжатия данных , включая главы о сжатии с потерями изображений, аудио и видео.
  • Сжатие изображений PNG с потерями (исследование)

( Копия Wayback Machine )

  • Использование сжатия GIF / PNG с потерями для Интернета (статья)
  • JPG для архивирования , сравнение пригодности JPG и сжатия без потерь для архивов изображений