Видео Многометодная Оценка Fusion ( VMAF ) является целью полной ссылка качества видео метрики , разработанная Netflix в сотрудничестве с Университетом Южной Калифорнии , МИП / LS2N лабораторией Университета Нанта , и лаборатория для изображения и видео техники (LIVE) на Техасский университет в Остине . Он предсказывает субъективное качество видео на основе эталонной и искаженной видеопоследовательности. Показатель может использоваться для оценки качества различных видеокодеков , кодеров, настроек кодирования или вариантов передачи.
История
Метрика основана на первоначальной работе группы профессора К.-К. Джей Куо из Университета Южной Калифорнии. [1] [2] [3] Здесь была исследована применимость объединения различных показателей качества видео с использованием опорных векторных машин (SVM), что привело к появлению «индекса FVQA (Fusion-based Video Quality Assessment)», который был показан чтобы превзойти существующие показатели качества изображения в базе данных субъективного качества видео.
Этот метод получил дальнейшее развитие в сотрудничестве с Netflix с использованием различных субъективных наборов видеоданных, включая набор данных, принадлежащий Netflix («NFLX»). Впоследствии он был переименован в «Video Multimethod Assessment Fusion», о чем было объявлено в Netflix TechBlog в июне 2016 года [4], а версия 0.3.1 эталонной реализации стала доступной по разрешительной лицензии с открытым кодом. [5]
В 2017 году метрика была обновлена для поддержки пользовательской модели, которая включает адаптацию для просмотра экрана сотового телефона, генерируя более высокие оценки качества для того же входного материала. В 2018 году была выпущена модель, которая прогнозирует качество контента с разрешением до 4K . Наборы данных, на которых обучались эти модели, не были доступны общественности.
В 2021 году, премии техника и технологии Emmy была присуждена Beamr, Netflix, Университет Южной Калифорнии, Университет Нанта , Университет штата Техас в Остине , SSIMWAVE, Disney, Google, Brightcove и ATEME для развития открытого Перцепционная Метрики для видео Оптимизация кодирования. Это был второй раз за 20 лет, когда университеты получали премию «Эмми». Кроме того, это был первый случай, когда французский университет получил его. [6] [7]
Составные части
VMAF использует существующие показатели качества изображения и другие функции для прогнозирования качества видео:
- Верность визуальной информации (VIF): учитывает потерю достоверности информации в четырех различных пространственных масштабах.
- Метрика потери деталей (DLM): [8] измеряет потерю деталей и нарушения, отвлекающие внимание зрителя.
- Средняя разность совмещенных пикселей (MCPD): измеряет временную разницу между кадрами по компоненту яркости.
Вышеупомянутые функции объединены с использованием регрессии на основе SVM для обеспечения единой выходной оценки в диапазоне от 0 до 100 на видеокадр , при этом 100 соответствует качеству эталонного видео. Затем эти оценки временно объединяются по всей видеопоследовательности с использованием среднего арифметического для получения общей дифференциальной средней оценки мнений (DMOS).
Благодаря общедоступности исходного кода обучения («VMAF Development Kit», VDK), метод слияния может быть повторно обучен и оценен на основе различных наборов видеоданных и функций.
Анти-шум сигнал-шум (AN-SNR) , был использован в более ранних версиях VMAF в качестве метрики качества , но впоследствии была оставлена. [9]
Представление
Было показано, что ранняя версия VMAF превосходит другие показатели качества изображения и видео, такие как SSIM , PSNR -HVS и VQM-VFD, на трех из четырех наборов данных с точки зрения точности прогнозирования по сравнению с субъективными оценками . [4] Его производительность также была проанализирована в другой статье, в которой было обнаружено, что VMAF не работает лучше, чем SSIM и MS-SSIM для набора видеоданных. [10] В 2017 году инженеры RealNetworks сообщили о хорошей воспроизводимости результатов работы Netflix. [11]
Программное обеспечение
Эталонная реализация написана на C и Python ( «Kit VMAF развития, VDK») публикуется как бесплатное программное обеспечение в соответствии с условиями BSD + патентной лицензии. [12] Его исходный код и дополнительные материалы доступны на GitHub . [5]
Смотрите также
Рекомендации
- ^ Лю, Цунг-Юнг; Лин, Джо Ючи; Линь, Вейзи; Куо, К.-К. Джей (2013). «Визуальная оценка качества: последние разработки, приложения для кодирования и будущие тенденции» . Транзакции APSIPA по обработке сигналов и информации . 2 . DOI : 10,1017 / atsip.2013.5 . ISSN 2048-7703 .
- ^ Лин, Джо Ючи; Лю, TJ; Wu, ECH; Куо, CCJ (декабрь 2014 г.). «Индекс оценки качества видео на основе слияния (FVQA)». Ежегодный саммит и конференция Ассоциации обработки сигналов и информации (APSIPA), 2014 г. Азиатско-Тихоокеанский регион : 1–5. DOI : 10.1109 / apsipa.2014.7041705 . ISBN 978-6-1636-1823-8. S2CID 7742774 .
- ^ Лин, Джо Ючи; У, Чи-Хао; Иоаннис, Кацавунидис; Ли, Чжи; Аарон, Энн; Куо, К.-К. Джей (июнь 2015). «EVQA: индекс оценки качества видео на основе ансамблевого обучения». Multimedia & Expo Workshops (ICMEW), Международная конференция IEEE 2015 : 1–5. DOI : 10.1109 / ICMEW.2015.7169760 . ISBN 978-1-4799-7079-7. S2CID 6996075 .
- ^ а б Блог, Netflix Technology (06.06.2016). «На пути к метрике практического восприятия качества видео» . Netflix TechBlog . Проверено 15 июля 2017 .
- ^ а б vmaf: Перцепционная оценка качества видео на основе слияния нескольких методов , Netflix, Inc., 14 июля 2017 г. , получено 15 июля 2017 г.
- ^ "Получатели 72-й ежегодной премии" Эмми "в области технологий и инженерии - Эмми . theemmys.tv . Проверено 8 февраля 2021 .
- ^ ПАТРОН, Жюльен. "Технология: компенсация за премию Эмми Университета Нанта!" . UNNEWS (на французском) . Проверено 8 февраля 2021 .
- ^ Li, S .; Zhang, F .; Ma, L .; Нган, KN (октябрь 2011 г.). «Оценка качества изображения путем раздельной оценки потерь деталей и дополнительных ухудшений». Транзакции IEEE в мультимедиа . 13 (5): 935–949. DOI : 10.1109 / tmm.2011.2152382 . ISSN 1520-9210 . S2CID 8618041 .
- ^ Жили, Генри. «Удаление AN-SNR» . Github.
- ^ Bampis, Christos G .; Бовик, Алан К. (02.03.2017). «Обучение прогнозированию QoE потокового видео: искажения, повторная буферизация и память». arXiv : 1703.00633 [ cs.MM ].
- ^ Рассул, Реза (2017). «Воспроизводимость VMAF: проверка практической метрики качества видео» (PDF) . Международный симпозиум IEEE по широкополосным мультимедийным системам и радиовещанию (BMSB) 2017 : 1–2. DOI : 10,1109 / BMSB.2017.7986143 . ISBN 978-1-5090-4937-0. S2CID 5449498 . Проверено 30 ноября 2017 .
- ^ https://opensource.org/licenses/BSDplusPatent
Внешние ссылки
- Эталонная реализация