Структурное сходство

Похоже, что один из основных авторов этой статьи имеет тесную связь с ее предметом. Может потребоваться очистка для соответствия политике содержания Википедии, особенно с нейтральной точкой зрения . Пожалуйста, обсудите дальше на странице обсуждения . ( Март 2019 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Структурное сходство индекс мера ( SSIM ) представляет собой метод прогнозирования воспринимаемого качества цифрового телевидения и кинематографических изображений, а также других видов цифровых изображений и видео. SSIM используется для измерения сходства между двумя изображениями. Индекс SSIM - это полная справочная метрика ; другими словами, измерение или прогноз качества изображения основывается на исходном несжатом или свободном от искажений изображении в качестве эталона.

SSIM - это модель, основанная на восприятии, которая рассматривает деградацию изображения как воспринимаемое изменение структурной информации , а также включает важные явления восприятия, включая термины маскирования яркости и маскирования контраста. Отличие от других методов, таких как MSE или PSNR, заключается в том, что эти подходы оценивают абсолютные ошибки.. Структурная информация - это идея о том, что пиксели имеют сильную взаимозависимость, особенно когда они пространственно близки. Эти зависимости несут важную информацию о структуре объектов визуальной сцены. Маскирование яркости - это явление, при котором искажения изображения (в данном контексте) имеют тенденцию быть менее заметными в ярких областях, в то время как маскирование контраста - это явление, при котором искажения становятся менее заметными там, где есть значительная активность или «текстура» в изображении.

История [ править ]

Предшественник SSIM назывался Универсальный индекс качества (UQI), или индекс Ванга-Бовика , который был разработан Чжоу Ван и Алан Бовик в 2001 году. Благодаря их сотрудничеству с Хамидом Шейхом и Ээро Симончелли он превратился в текущую версию SSIM. , который был опубликован в апреле 2004 года в IEEE Transactions on Image Processing . ^[1] В дополнение к определению индекса качества SSIM, в документе представлен общий контекст для разработки и оценки показателей качества восприятия, включая связь с визуальной нейробиологией и восприятием человека, а также прямую проверку индекса по отношению к оценкам людей.

Базовая модель была разработана в Лаборатории инженерии изображений и видео (LIVE) Техасского университета в Остине и доработана совместно с Лабораторией компьютерного зрения (LCV) Нью-Йоркского университета . Дальнейшие варианты модели были разработаны в Лаборатории графических и визуальных вычислений Университета Ватерлоо и поступили на коммерческий рынок.

Впоследствии SSIM нашла широкое применение в сообществе обработки изображений. 2004 SSIM бумага была процитирована более 20 000 раз согласно Google Scholar , ^[2] , что делает его одним из самых цитируемых работ в области обработки изображений и видео инженерии. Он был удостоен награды IEEE Signal Processing Society за лучшую работу за 2009 год. ^[3] Он также получил награду IEEE Signal Processing Society Sustained Impact Award за 2016 год, что свидетельствует о том, что статья имела необычно высокое влияние в течение как минимум 10 лет после ее публикации.

Алгоритм [ править ]

Индекс SSIM рассчитывается для различных окон изображения. Мера между двумя окнами и общего размера N × N является: ^[4]${\ displaystyle x}$${\ displaystyle y}$

$${\ displaystyle {\ hbox {SSIM}} (x, y) = {\ frac {(2 \ mu _ {x} \ mu _ {y} + c_ {1}) (2 \ sigma _ {xy} + c_ {2})} {(\ mu _ {x} ^ {2} + \ mu _ {y} ^ {2} + c_ {1}) (\ sigma _ {x} ^ {2} + \ sigma _ { y} ^ {2} + c_ {2})}}}$$

с:

• ${\ displaystyle \ scriptstyle \ mu _ {x}}$средний по ;${\ displaystyle \ scriptstyle x}$
• ${\ displaystyle \ scriptstyle \ mu _ {y}}$средний по ;${\ displaystyle \ scriptstyle y}$
• ${\ displaystyle \ scriptstyle \ sigma _ {x} ^ {2}}$дисперсия по ;${\ displaystyle \ scriptstyle x}$
• ${\displaystyle \scriptstyle \sigma _{y}^{2}}$дисперсия по ;${\displaystyle \scriptstyle y}$
• ${\displaystyle \scriptstyle \sigma _{xy}}$ковариации из и ;${\displaystyle \scriptstyle x}$${\displaystyle \scriptstyle y}$
• ${\displaystyle \scriptstyle c_{1}=(k_{1}L)^{2}}$, две переменные для стабилизации деления со слабым знаменателем;${\displaystyle \scriptstyle c_{2}=(k_{2}L)^{2}}$
• ${\displaystyle \scriptstyle L}$динамический диапазон пиксельных значений (обычно это );${\displaystyle \scriptstyle 2^{\#bits\ per\ pixel}-1}$
• ${\displaystyle \scriptstyle k_{1}=0.01}$и по умолчанию.${\displaystyle \scriptstyle k_{2}=0.03}$

Компоненты формулы [ править ]

Формула SSIM основана на трех сравнительных измерениях между выборками и : яркости ( ), контрастности ( ) и структуры ( ). Отдельные функции сравнения: ^[4]${\displaystyle x}$${\displaystyle y}$${\displaystyle l}$${\displaystyle c}$${\displaystyle s}$

$${\displaystyle l(x,y)={\frac {2\mu _{x}\mu _{y}+c_{1}}{\mu _{x}^{2}+\mu _{y}^{2}+c_{1}}}}$$

$${\displaystyle c(x,y)={\frac {2\sigma _{x}\sigma _{y}+c_{2}}{\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2}}}}$$

$${\displaystyle s(x,y)={\frac {\sigma _{xy}+c_{3}}{\sigma _{x}\sigma _{y}+c_{3}}}}$$

с, в дополнение к приведенным выше определениям:

• ${\displaystyle c_{3}=c_{2}/2}$

Тогда SSIM представляет собой взвешенную комбинацию этих сравнительных показателей:

${\displaystyle {\text{SSIM}}(x,y)=\left[l(x,y)^{\alpha }\cdot c(x,y)^{\beta }\cdot s(x,y)^{\gamma }\right]}$

Установив веса на 1, формулу можно привести к форме, показанной выше.${\displaystyle \alpha ,\beta ,\gamma }$

Математические свойства [ править ]

SSIM удовлетворяет свойствам неотрицательности, тождественности неразличимых и симметрии, но не неравенству треугольника, и, следовательно, не является функцией расстояния . Однако при определенных условиях SSIM может быть преобразован в нормированную корневую меру MSE, которая является функцией расстояния. ^[5] Квадрат такой функции не является выпуклым, а является локально выпуклым и квазивыпуклым , ^[5] что делает SSIM приемлемой целью для оптимизации.

Применение формулы [ править ]

Для оценки качества изображения эта формула обычно применяется только к яркости , хотя она также может применяться к значениям цвета (например, RGB ) или хроматическим (например, YCbCr ) значениям. Результирующий индекс SSIM представляет собой десятичное значение от 0 до 1, а значение 1 доступно только в случае двух идентичных наборов данных и, следовательно, указывает на полное структурное сходство. Значение 0 указывает на отсутствие структурного сходства. Для изображения он обычно вычисляется с использованием скользящего гауссова окна размером 11x11 или блочного окна размером 8x8. Окно можно перемещать попиксельно на изображении, чтобы создать карту качества изображения SSIM. В случае оценки качества видео ^[6] Авторы предлагают использовать только подгруппу возможных окон, чтобы упростить расчет.

Варианты [ править ]

Multi-Scale SSIM [ править ]

Более продвинутая форма SSIM, называемая Multiscale SSIM (MS-SSIM) ^[4] , проводится в нескольких масштабах посредством процесса нескольких этапов субдискретизации, напоминающей многомасштабную обработку в ранних системах технического зрения. Было показано, что он работает одинаково хорошо или лучше, чем SSIM, с различными базами данных субъективных изображений и видео. ^{[4] [7] [8]}

Многокомпонентный SSIM [ править ]

Трехкомпонентный SSIM (3-SSIM) - это форма SSIM, которая учитывает тот факт, что человеческий глаз может более точно видеть различия на текстурированных или краевых областях, чем на гладких областях. ^[9] Результирующая метрика вычисляется как средневзвешенное значение SSIM для трех категорий областей: края, текстуры и гладкие области. Предлагаемый весовой коэффициент составляет 0,5 для краев, 0,25 для текстурированных и гладких областей. Авторы отмечают, что взвешивание 1/0/0 (игнорирование чего-либо, кроме искажений краев) приводит к результатам, которые ближе к субъективным оценкам. Это говорит о том, что краевые области играют доминирующую роль в восприятии качества изображения.

Авторы 3-SSIM также расширили модель до четырехкомпонентной SSIM (4-SSIM). Типы кромок далее подразделяются на сохраненные и измененные кромки по их статусу искажения. Предлагаемый весовой коэффициент составляет 0,25 для всех четырех компонентов. ^[10]

Структурное несходство [ править ]

Структурное несходство (DSSIM) может быть получено из SSIM, хотя оно не является функцией расстояния, поскольку неравенство треугольника не обязательно выполняется.

$${\displaystyle {\hbox{DSSIM}}(x,y)={\frac {1-{\hbox{SSIM}}(x,y)}{2}}}$$

Показатели качества видео и временные варианты [ править ]

Стоит отметить, что исходная версия SSIM была разработана для измерения качества неподвижных изображений. Он не содержит никаких параметров, напрямую связанных с временными эффектами человеческого восприятия и человеческого суждения. ^[7] Обычной практикой является вычисление среднего значения SSIM по всем кадрам в видеопоследовательности. Однако было разработано несколько временных вариантов SSIM. ^{[11] [6] [12]}

Комплексный вейвлет SSIM [ править ]

Вариант SSIM со сложным вейвлет-преобразованием (CW-SSIM) разработан для решения проблем масштабирования, трансляции и поворота изображения. Вместо того, чтобы давать низкие оценки изображениям с такими условиями, CW-SSIM использует преимущества комплексного вейвлет-преобразования и, следовательно, дает более высокие оценки упомянутым изображениям. CW-SSIM определяется следующим образом:

$${\displaystyle {\text{CW-SSIM}}(c_{x},c_{y})={\bigg (}{\frac {2\sum _{i=1}^{N}|c_{x,i}||c_{y,i}|+K}{\sum _{i=1}^{N}|c_{x,i}|^{2}+\sum _{i=1}^{N}|c_{y,i}|^{2}+K}}{\bigg )}{\bigg (}{\frac {2|\sum _{i=1}^{N}c_{x,i}c_{y,i}^{*}|+K}{2\sum _{i=1}^{N}|c_{x,i}c_{y,i}^{*}|+K}}{\bigg )}}$$

Где - комплексное вейвлет-преобразование сигнала, а - комплексное вейвлет-преобразование для сигнала . Кроме того, это небольшое положительное число, используемое для стабильности функции. В идеале он должен быть нулевым. Как и SSIM, CW-SSIM имеет максимальное значение 1. Максимальное значение 1 указывает на то, что два сигнала совершенно структурно подобны, а значение 0 указывает на отсутствие структурного сходства. ^[13]${\displaystyle c_{x}}$${\displaystyle x}$${\displaystyle c_{y}}$${\displaystyle y}$${\displaystyle K}$

SSIMPLUS [ править ]

Индекс SSIMPLUS основан на SSIM и является коммерчески доступным инструментом. ^[14] Он расширяет возможности SSIM, в основном, для целевых видеоприложений. Он обеспечивает оценку в диапазоне от 0 до 100, линейно сопоставленную с субъективными оценками человека. Это также позволяет адаптировать оценки к предполагаемому устройству просмотра, сравнивая видео в разных разрешениях и содержимом.

По словам его авторов, SSIMPLUS обеспечивает более высокую точность и более высокую скорость, чем другие показатели качества изображения и видео. Однако независимая оценка SSIMPLUS не проводилась, так как сам алгоритм не является общедоступным.

cSSIM [ править ]

Для дальнейшего исследования стандартного дискретного SSIM с теоретической точки зрения, непрерывный SSIM (cSSIM) ^[15] был введен и изучен в контексте интерполяции радиальной базисной функции .

Другие простые модификации [ править ]

Показатель взаимной корреляции r * основан на показателях дисперсии SSIM. Он определяется как r * ( x , y ) =σ _xy/σ _x σ _yкогда σ _x σ _y ≠ 0 , 1, когда оба стандартных отклонения равны нулю, и 0, когда только одно равно нулю. Он нашел применение при анализе реакции человека на фантомы с ограниченными деталями. ^[16]

SSIM также использовался для градиента изображений, что сделало его «G-SSIM». G-SSIM особенно полезен для размытых изображений. ^[17]

Вышеуказанные модификации можно комбинировать. Например, 4-Gr * - это комбинация 4-SSIM, G-SSIM и r *. Он может лучше отражать предпочтения рентгенологов к изображениям, чем другие протестированные варианты SSIM. ^[18]

Заявление [ править ]

У SSIM есть приложения для решения множества различных задач. Вот несколько примеров:

• Сжатие изображений: при сжатии изображений с потерями информация намеренно отбрасывается, чтобы уменьшить пространство для хранения изображений и видео. В таких схемах сжатия обычно используется MSE. По словам его авторов, рекомендуется использовать SSIM вместо MSE для получения лучших результатов для распакованных изображений. ^[13]
• Восстановление изображения: восстановление изображения фокусируется на решении проблемы, когда размытое изображение должно быть восстановлено, является ядром размытия, является аддитивным шумом и является исходным изображением, которое мы хотим восстановить. Традиционным фильтром, который используется для решения этой проблемы, является фильтр Винера. Однако конструкция фильтра Винера основана на MSE. По словам авторов алгоритма, использование варианта SSIM, в частности Stat-SSIM, обеспечивает лучшие визуальные результаты. ^[13]${\displaystyle y=h*x+n}$${\displaystyle y}$${\displaystyle h}$${\displaystyle n}$${\displaystyle x}$
• Распознавание образов: поскольку SSIM имитирует аспекты человеческого восприятия, его можно использовать для распознавания образов. Столкнувшись с такими проблемами, как масштабирование, трансляция и поворот изображения, авторы алгоритма заявляют, что лучше использовать CW-SSIM, ^[19] который нечувствителен к этим вариациям и может применяться напрямую путем сопоставления с шаблоном без использования какой-либо обучающей выборки. Поскольку подходы к распознаванию образов, основанные на данных, могут обеспечить лучшую производительность, когда для обучения доступен большой объем данных, авторы предлагают использовать CW-SSIM в подходах, основанных на данных. ^[19]

Сравнение производительности [ править ]

Из-за своей популярности SSIM часто сравнивают с другими метриками, включая более простые метрики, такие как MSE и PSNR, и другие метрики воспринимаемого изображения и качества видео . SSIM неоднократно показывал, что значительно превосходит MSE и его производные по точности, в том числе исследования его собственных авторов и других. ^{[7] [20] [21] [22] [23] [24]}

В статье Доссельмана и Янга утверждается, что производительность SSIM «намного ближе к производительности MSE», чем обычно предполагалось. Хотя они не оспаривают преимущества SSIM над MSE, они констатируют аналитическую и функциональную зависимость между двумя показателями. ^[8] Согласно их исследованиям, SSIM, как и методы на основе MSE, коррелирует с субъективными базами данных, отличными от баз данных создателей SSIM. В качестве примера они приводят Рейбмана и Пула, которые обнаружили, что MSE превосходит SSIM в базе данных, содержащей видео с нарушением потери пакетов. ^[25] В другой статье была выявлена ​​аналитическая связь между PSNR и SSIM. ^[26]

См. Также [ править ]

• Среднеквадратичная ошибка
• Пиковое отношение сигнал / шум
• Качество видео

Ссылки [ править ]

Внешние ссылки [ править ]

• Домашняя страница
• Реализация Rust
• Реализация C / C ++
• Реализация DSSIM C ++
• Реализация C # Криса Ломонта
• реализация qpsnr (многопоточный C ++)
• Реализация в программном обеспечении VQMT
• Реализация на Python
• «Тайна показателей сходства MSE и SSIM», Гинтаутас Палубинскас, 2014 г.