Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Изображение, масштабированное с помощью масштабирования ближайшего соседа (слева) и 2-кратного масштабирования SaI (справа)

В компьютерной графики и цифровых изображений , изображений масштабирование относится к изменению размера цифрового изображения. В видеотехнологиях увеличение цифрового материала называется апскейлингом или улучшением разрешения .

При масштабировании векторного графического изображения графические примитивы, составляющие изображение, можно масштабировать с помощью геометрических преобразований без потери качества изображения . При масштабировании изображения растровой графики необходимо создать новое изображение с большим или меньшим количеством пикселей. В случае уменьшения количества пикселей (уменьшения масштаба) это обычно приводит к видимой потере качества. С точки зрения цифровой обработки сигналов , масштабирование растровой графики является двумерным примером преобразования частоты дискретизации , преобразования дискретного сигнала из одной частоты дискретизации (в данном случае локальной частоты дискретизации) в другую.

Математический [ править ]

Масштабирование изображения можно интерпретировать как форму повторной выборки изображения или реконструкции изображения с точки зрения теоремы выборки Найквиста . Согласно теореме, понижающая дискретизация до меньшего изображения из оригинала с более высоким разрешением может быть выполнена только после применения подходящего двухмерного фильтра сглаживания для предотвращения артефактов наложения спектров. Изображение сокращается до информации, которую может нести меньшее изображение.

В случае повышающей дискретизации фильтр реконструкции заменяет фильтр сглаживания.

  • Исходное изображение размером 160 x 160 пикселей

  • Исходное изображение в пространственно-частотной области

  • 2D фильтр нижних частот , но все еще с разрешением 160x160 пикселей

  • Отфильтрованное изображение в пространственно-частотной области

  • изображение 160x160px с фильтром нижних частот, пониженное разрешение 4x до 40x40px

  • 4 × повышающая дискретизация Фурье субдискретизированного изображения 40x40 пикселей до 160x160 пикселей (правильная реконструкция)

  • 4-кратное повышение частоты дискретизации по Фурье субдискретизированного изображения 40x40 пикселей до 160x160 пикселей (с наложением)

Более сложный подход к апскейлингу рассматривает проблему как обратную задачу , решая вопрос создания правдоподобного изображения, которое при уменьшении масштаба будет выглядеть как входное изображение. Для этого применялись различные методы, в том числе методы оптимизации с использованием условий регуляризации и использование машинного обучения на примерах.

Алгоритмы [ править ]

См. Также: Галерея сравнения алгоритмов масштабирования изображений

Размер изображения можно изменить несколькими способами.

Интерполяция ближайшего соседа [ править ]

Один из более простых способов увеличения размера изображения - это интерполяция ближайшего соседа , при которой каждый пиксель заменяется ближайшим пикселем на выходе; для масштабирования это означает, что будут присутствовать несколько пикселей одного цвета. Это может сохранить резкие детали в пиксельной графике , но также привнести неровности в ранее гладкие изображения. «Ближайший» в ближайшем соседе не обязательно должен быть математическим ближайшим. Одна из распространенных реализаций - всегда округлять до нуля. Такое округление приводит к меньшему количеству артефактов и более быстрому вычислению.

Билинейные и бикубические алгоритмы [ править ]

Билинейная интерполяция работает путем интерполяции значений цвета пикселей, обеспечивая непрерывный переход на выходе, даже если исходный материал имеет дискретные переходы. Хотя это желательно для изображений с непрерывным тоном, этот алгоритм снижает контраст (резкие края), что может быть нежелательно для штрихового рисунка. Бикубическая интерполяция дает значительно лучшие результаты с увеличением вычислительных затрат.

Передискретизация Синка и Ланцоша [ править ]

Передискретизация Sinc теоретически обеспечивает наилучшую реконструкцию сигнала с полностью ограниченной полосой пропускания. На практике допущения, лежащие в основе повторной выборки sinc, не полностью соответствуют реальным цифровым изображениям. Передискретизация Ланцоша , приближение к методу sinc, дает лучшие результаты. Бикубическую интерполяцию можно рассматривать как вычислительно эффективное приближение к передискретизации Ланцоша.

Коробка выборки [ править ]

Одним из недостатков билинейных, бикубических и связанных с ними алгоритмов является то, что они выбирают определенное количество пикселей. При уменьшении масштаба ниже определенного порога, например, более чем в два раза для всех алгоритмов двойной выборки, алгоритмы будут производить выборку несмежных пикселей, что приводит как к потере данных, так и к грубым результатам.

Тривиальным решением этой проблемы является выборка блока, при которой целевой пиксель рассматривается как блок на исходном изображении и производится выборка всех пикселей внутри блока. Это гарантирует, что все входные пиксели вносят вклад в выходной. Основная слабость этого алгоритма в том, что его сложно оптимизировать.

Mipmap [ править ]

Еще одно решение проблемы уменьшения масштаба при двухвыборочном масштабировании - это MIP-карты . MIP-карта - это предварительно масштабированный набор уменьшенных копий. При уменьшении масштаба ближайшая большая MIP-карта используется в качестве источника, чтобы гарантировать отсутствие масштабирования ниже полезного порога билинейного масштабирования. Этот алгоритм работает быстро и легко оптимизируется. Это стандартно для многих фреймворков, таких как OpenGL . Стоимость заключается в использовании большего объема памяти изображений, ровно на треть больше в стандартной реализации.

Методы преобразования Фурье [ править ]

Простая интерполяция, основанная на преобразовании Фурье, дополняет частотную область нулевыми компонентами (подход на основе сглаженного окна уменьшил бы звона ). Помимо хорошей сохранности (или восстановления) деталей, следует отметить звенящий и круговой кровотечение содержимого от левого края к правому краю (и наоборот).

Направленная на край интерполяция [ править ]

Алгоритмы направленной на края интерполяции направлены на сохранение краев изображения после масштабирования, в отличие от других алгоритмов, которые могут создавать ступенчатые артефакты.

Примеры алгоритмов для этой задачи включают в себя новую интерполяцию по краям (NEDI), [1] [2] интерполяцию изображений по краям (EGGI), [3] итеративную интерполяцию на основе кривизны (ICBI), [4] и направленную кубическую свертку. Интерполяция (DCCI). [5] Анализ 2013 года показал, что DCCI имеет лучшие результаты в PSNR и SSIM на серии тестовых изображений. [6]

hqx [ править ]

Для увеличения компьютерной графики с низким разрешением и / или небольшим количеством цветов (обычно от 2 до 256 цветов) лучшие результаты могут быть достигнуты с помощью hqx или других алгоритмов масштабирования пиксельной графики . Они создают острые края и поддерживают высокий уровень детализации.

Векторизация [ править ]

Извлечение векторов или векторизация предлагает другой подход. Векторизация сначала создает не зависящее от разрешения векторное представление масштабируемой графики. Затем версия, не зависящая от разрешения, визуализируется как растровое изображение с желаемым разрешением. Этот метод используется в Adobe Illustrator , Live Trace и Inkscape . [7] Масштабируемая векторная графика хорошо подходит для простых геометрических изображений, в то время как фотографии плохо справляются с векторизацией из-за их сложности.

Глубокие сверточные нейронные сети [ править ]

Этот метод использует машинное обучение для получения более детальных изображений, таких как фотографии и сложные произведения искусства. Программы, использующие этот метод, включают waifu2x , Imglarger и Neural Enhance.

Демонстрация обычного укрупнения против Waifu2x масштабирование с уменьшением шума, используя деталь Фосфора и Hesperus по Эвелинам де Морган . Щелкните, чтобы увидеть полный размер.
Изображение увеличено на 200% с помощью PaintShop Pro
Изображение увеличено на 200% с помощью waifu2x в режиме фото со средним шумоподавлением
Изображение увеличено на 400% с помощью Topaz AI Gigapixel с низким уровнем шумоподавления
Изображение увеличено на 400% с помощью RealSR DF2K-JPEG

Приложения [ править ]

Общие [ править ]

Масштабирование изображения используется, помимо других приложений, в веб-браузерах , [8] редакторах изображений , средствах просмотра изображений и файлов, программных лупах, цифровом увеличении, процессе создания эскизов изображений и при выводе изображений на экраны или принтеры.

Видео [ править ]

Это приложение для увеличения изображений для домашних кинотеатров для устройств вывода с поддержкой HDTV из контента PAL-Resolution, например, с DVD-плеера. Масштабирование выполняется в реальном времени, выходной сигнал не сохраняется.

Масштабирование пиксельной графики [ править ]

Основная статья: Алгоритмы масштабирования пиксель-арта

Поскольку пиксельная графика обычно имеет низкое разрешение, она основана на тщательном размещении отдельных пикселей, часто с ограниченной палитрой цветов. Это приводит к тому, что графика опирается на стилизованные визуальные подсказки для определения сложных форм с небольшим разрешением вплоть до отдельных пикселей. Это делает масштабирование пиксельной графики особенно сложной проблемой.

Для обработки пиксельной графики были разработаны специализированные алгоритмы [9] , поскольку традиционные алгоритмы масштабирования не принимают во внимание перцепционные сигналы.

Поскольку типичное приложение предназначено для улучшения внешнего вида видеоигр четвертого и более ранних поколений на аркадных и консольных эмуляторах , многие из них предназначены для работы в реальном времени для небольших входных изображений со скоростью 60 кадров в секунду.

На быстром оборудовании эти алгоритмы подходят для игр и другой обработки изображений в реальном времени. Эти алгоритмы обеспечивают резкую, четкую графику, сводя к минимуму размытость. Алгоритмы масштабирования графики были реализованы в широком спектре эмуляторов, таких как HqMAME и DOSBox , а также в 2D- игровых движках и их воссозданиях, таких как ScummVM . Они получили признание геймеров, для которых эти технологии способствовали возрождению игрового опыта 1980-х и 1990-х годов. [ необходима цитата ]

Такие фильтры в настоящее время используются в коммерческих эмуляторах Xbox Live , Virtual Console и PSN, чтобы классические игры с низким разрешением выглядели более привлекательными на современных HD- дисплеях. Недавно выпущенные игры, которые включают эти фильтры, включают Sonic's Ultimate Genesis Collection , Castlevania: The Dracula X Chronicles , Castlevania: Symphony of the Night и Akumaj Dracula X Chi no Rondo .

См. Также [ править ]

  • Бикубическая интерполяция
  • Билинейная интерполяция
  • Передискретизация Ланцоша
  • Сплайн-интерполяция
  • Резьба по шву
  • Реконструкция изображения

Ссылки [ править ]

  1. ^ "Edge-Directed Interpolation" . Проверено 19 февраля +2016 .
  2. ^ Синь Ли; Майкл Т. Орчард. «НОВАЯ НАПРАВЛЯЕМАЯ ИНТЕРПОЛЯЦИЯ» (PDF) . 2000 Международная конференция IEEE по обработке изображений : 311. Архивировано из оригинала (PDF) 14 февраля 2016 года.
  3. ^ Чжан, Д .; Сяолинь Ву (2006). «Алгоритм интерполяции изображений с контролем по краям с помощью направленной фильтрации и слияния данных». IEEE Transactions по обработке изображений . 15 (8): 2226–38. Bibcode : 2006ITIP ... 15.2226Z . DOI : 10.1109 / TIP.2006.877407 . PMID 16900678 . 
  4. ^ К. Сридхар Редди; Доктор К. Рама Линга Редди (декабрь 2013 г.). «Увеличение изображения на основе методов интерполяции» (PDF) . Международный журнал перспективных исследований в области компьютерной и коммуникационной техники . 2 (12): 4631.
  5. ^ Дэнвэнь Чжоу; Сяолиу Шэнь. «Масштабирование изображения с использованием направленной кубической интерполяции свертки» . Проверено 13 сентября 2015 года .
  6. ^ Шаоде Ю; Ронгмао Ли; Руи Чжан; Mou An; Шибин Ву; Яоцинь Се (2013). «Оценка эффективности методов краевой интерполяции для изображений без шума». arXiv : 1303.6455 [ cs.CV ].
  7. ^ Йоханнес Kopf и Дани Lischinski (2011). «Депикселизация пиксель-арта» . Транзакции ACM на графике . 30 (4): 99: 1–99: 8. DOI : 10.1145 / 2010324.1964994 . Архивировано из оригинала на 2015-09-01 . Проверено 24 октября 2012 года .
  8. ^ Анализ алгоритмов масштабирования изображений, используемых в популярных веб-браузерах.
  9. ^ "Pixel Scaler" . Проверено 19 февраля +2016 .