Автоматическое распознавание содержимого ( ACR ) - это технология идентификации для распознавания содержимого, воспроизводимого на мультимедийном устройстве или присутствующего в мультимедийном файле. Устройства, поддерживающие ACR, позволяют пользователям быстро получать дополнительную информацию о контенте, который они видят, при любом вводе данных или поиске. Например, разработчики приложения могут затем предоставлять зрителям персонализированный дополнительный контент. [1]
Как это работает
Чтобы начать распознавание, выбирается короткий медиаклип (аудио, видео или и то, и другое). Этот клип можно выбрать из медиафайла или записать на устройстве. Посредством алгоритмов, таких как снятие отпечатков пальцев, информация из фактического воспринимаемого контента берется и сравнивается с базой данных эталонных отпечатков пальцев, причем каждый эталонный отпечаток соответствует известной записанной работе. [2] База данных может содержать метаданные о произведении и связанную информацию, включая дополнительные носители. Если отпечаток мультимедийного клипа совпадает, программа идентификации возвращает соответствующие метаданные клиентскому приложению. [3]
Отпечатки пальцев и водяные знаки
ACR на основе аудио широко используется на рынке. Двумя ведущими методами являются акустический отпечаток пальца и нанесение водяных знаков . Другой распространенный подход - снятие отпечатков пальцев с видео .
Акустическая дактилоскопия создает уникальные отпечатки пальцев из самого контента. Методы снятия отпечатков пальцев работают независимо от формата контента, кодека, битрейта и методов сжатия. [4] Это делает возможным использование в разных сетях и каналах. Поэтому он широко используется для интерактивного телевидения, приложений второго экрана и мониторинга контента. [5] [6] Популярные приложения , такие как Shazam, YouTube, Facebook, [7] Thetake, WeChat и Weibo используют звуковую дактилоскопическую методологию распознавать содержимое воспроизводится с ТВ и запуском дополнительных функций , такими как количество голосов, лотереи, тем или покупки.
В отличие от снятия отпечатков пальцев, создание цифровых водяных знаков требует вставки цифровых тегов, содержащих информацию о контенте, в сам контент до его распространения. Например, широковещательный кодер может вставлять водяной знак каждые несколько секунд, который может использоваться для идентификации широковещательного канала, идентификатора программы и отметки времени. Водяной знак обычно не слышен или невидим для пользователей. Терминальные устройства, такие как телефоны или планшеты, считывают водяные знаки вместо того, чтобы фактически распознавать воспроизводимый контент. [8] Технология водяных знаков используется в области защиты СМИ для отслеживания происхождения нелегальных копий. [9]
Компания Next / Market Insights ожидает, что 2,5 миллиарда устройств будут интегрированы с технологией ACR для обеспечения синхронизированного просмотра видео в реальном времени и по запросу. [10]
История
В 2011 году технология ACR была применена к телевизионному контенту службой Shazam , которая привлекла внимание телевизионной индустрии. Shazam ранее был сервисом распознавания музыки, который распознавал музыку по звукозаписям. Используя собственную технологию отпечатков пальцев для идентификации каналов и видео в прямом эфире, Shazam расширила свой бизнес до телевизионных программ. В 2012 году провайдер спутниковой связи DIRECTV заключил партнерское соглашение с поставщиком лояльного телевидения Viggle, чтобы обеспечить интерактивный просмотр на втором экране. В 2013 году LG начала сотрудничество с Cognitive Networks (позже приобретенной Vizio и переименованной в Inscape), поставщиком ACR, чтобы обеспечить взаимодействие на основе ACR. [11] В 2015 году технология ACR распространилась на еще большее количество приложений и смарт-телевизоров. Социальные приложения и производители телевизоров, такие как Facebook , Twitter , Google , WeChat , Weibo , LG , Samsung и Vizio TV, использовали технологию ACR, разработанную самостоятельно или интегрированную сторонними поставщиками ACR. [ необходима цитата ] В 2016 году были доступны дополнительные приложения и мобильные ОС со встроенными службами автоматического распознавания контента, включая Peach, Omusic и Mi OS. [12] [13] [14]
Приложения
Идентификация содержания
Технология ACR помогает аудитории легко получать информацию о просмотренном контенте. Для смарт-телевизоров и приложений со встроенной технологией ACR аудитория может проверить название воспроизводимой песни или описание фильма, который они смотрели. [15] В дополнение к этому идентифицированный видео- и музыкальный контент может быть связан с поставщиками интернет-контента для просмотра по запросу, третьими сторонами для получения дополнительной справочной информации или дополнительных носителей.
Улучшение контента
Поскольку устройства могут быть «осведомлены» о просматриваемом или прослушиваемом контенте, устройства второго экрана могут подавать пользователям дополнительный контент помимо того, что отображается на основном экране просмотра. Технология ACR может не только идентифицировать контент, но также может определять точное местоположение внутри контента. Таким образом, пользователю может быть представлена дополнительная информация. ACR может включать множество интерактивных функций, таких как опросы, купоны, лотереи или покупка товаров на основе метки времени. [16]
Измерение аудитории
Показатели измерения аудитории в реальном времени теперь достижимы, применяя технологию ACR в смарт-телевизорах, телевизионных приставках и мобильных устройствах, таких как смартфоны и планшеты. Эти данные измерений очень важны для количественной оценки потребления аудитории и определения политики ценообразования на рекламу.
Мониторинг трансляций
Рекламодателям и владельцам контента важно знать, когда и где воспроизводился их контент. Традиционно агентства или рекламодатели должны вручную проверять презентацию. В масштабе это можно проверить только методом статистической выборки. Технология ACR позволяет автоматически отслеживать контент, воспроизводимый на телевидении. Такая информация, как время воспроизведения, продолжительность, частота, может быть получена без каких-либо ручных усилий. [17] [18] Однако многие люди выразили некоторую озабоченность [ ласковые слова ] по поводу информации, которую эти смарт-телевизоры рассылают компаниям, собирающим эти данные. Однако почти в каждом наборе есть опция для отключения этой функции. [19]
Альтернативными подходами являются технологии автоматического распознавания контента на основе видео. Это набор технологий, которые вращаются вокруг конвергенции видео и TV Everywhere [20], которые сделают методы аудио и цифровых водяных знаков неспособными обрабатывать миллионы уникальных исходящих потоков и миллиарды часов отснятого материала для просмотра с извлеченными метаданными. или обогащены по отношению к контенту в режиме реального времени. Где акустический отпечаток пальца терпит неудачу, полагаясь на базу данных эталонных отпечатков пальцев. Цифровые водяные знаки основаны на навязчивой покадровой стадии производства, запечатлевающей каждый фрагмент контента. [21] Эффективность этих методов была подвергнута сомнению на основании их предполагаемой неспособности эффективно масштабироваться в соответствии с объемом генерируемого видео. [22] На практике для монетизации и других пользовательских приложений ACR справочная база данных или наличие водяных знаков должны охватывать только те видео, которые являются целями монетизации. Например, видео, размещенное на YouTube и просмотренное только один раз, не обязательно должно присутствовать во всемирной базе данных ACR или иметь водяной знак.
Поставщики технологий
Поставщики услуг ACR включают ACRCloud , Red Bee Media , Digimarc , Gracenote , Kantar Media , Inscape Data Services , Zapr Media Labs и Shazam .
Смотрите также
- Классификация документов
- Распознавание объекта
- Поиск по звуку
- Анализ видеоконтента
Рекомендации
- ^ «Автоматическое распознавание содержимого (ACR)» . Gartner . Проверено 21 июня 2020 .
- ^ «ACR (автоматическое распознавание контента)» . Архивировано из оригинального 28 февраля 2017 года . Проверено 27 февраля 2017 года .
- ^ «Автоматическое распознавание контента, создающее экосистемы, учитывающие контент» (PDF) . Циволюция . Циволюция. Архивировано из оригинального (PDF) 23 сентября 2015 года . Проверено 24 июня 2015 года .
- ^ «Panako: масштабируемая акустическая система снятия отпечатков пальцев, обрабатывающая изменение шкалы времени и высоты звука» . Universiteit Gent . Проверено 27 февраля 2017 года .
- ^ Главный, саамский. «Nielsen предлагает интерактивную рекламу в реальном времени на смарт-телевизорах, чтобы поддерживать заинтересованность потоковой аудитории» . Adweek . Проверено 11 января 2018 .
- ^ Бринк, Кайл. «Букварь по автоматизированному содержанию» . Viggle . Viggle. Архивировано из оригинала на 2015-06-24 . Проверено 22 июня 2015 года .
- ^ «Автоматическое распознавание контента Facebook» . Старком МедиаВест Групп . SMG. Архивировано из оригинала 6 июля 2015 года . Проверено 6 июля 2015 года .
- ^ Бринк, Кайл. «Старший вице-президент по разработке продуктов» . Учебник по автоматическому распознаванию контента . Viggle . Проверено 22 июня 2015 года .
- ^ Солана, Анна. «Как эти скрытые водяные знаки на видео могут помочь обнаружить пиратство, подделанные изображения | ZDNet» . ZDNet . Проверено 11 января 2018 .
- ^ «Технология ACR для продвижения социального телевидения, которое достигнет 2,5 миллиарда устройств к 2017 году» . СЛЕДУЮЩИЙ / ИНФОРМАЦИЯ О РЫНКЕ . Проверено 24 июня 2015 года .
- ^ «LG сотрудничает с Cognitive Networks, чтобы сделать Smart TV умнее и интерактивнее» . engadget . Проверено 23 августа 2016 года .
- ^ «ACRCloud усиливает признание песен для самой популярной новой социальной сети, Peach» . Сеть новостей музыкальной индустрии . Сеть новостей музыкальной индустрии. Архивировано из оригинала 8 марта 2016 года . Проверено 3 марта +2016 .
- ^ Виктория, Хо. «Xiaomi поможет вам назвать песню, которую вы не можете перестать напевать» . Mashable . Mashable . Проверено 3 марта +2016 .
- ^ «ACRCloud запускает первую в Тайване службу распознавания музыки / гудения для Omusic» . Сеть новостей музыкальной индустрии . Архивировано из оригинала 8 марта 2016 года . Проверено 3 марта +2016 .
- ^ Вайс, Том (23 января 2018 г.). «Том Вайс: Преодолевая барьеры для адресной рекламы в Европе» . Новости широкополосного телевидения . Проверено 30 августа 2018 .
- ^ Волк, Майкл. «Три способа автоматического распознавания контента изменят телевидение» . Forbes . Проверено 20 июня 2015 года .
- ^ «Автоматическое распознавание контента, создающее экосистемы с учетом контента» (PDF) . csimagazine . Циволюция . Проверено 24 июня 2015 года .
- ^ «Политика конфиденциальности Roku (Разделы IB-4 и IV-E)» . roku.com . Року . Проверено 30 октября 2017 года .
- ^ «Смарт-телевизоры Samsung, LG и Vizio записывают - и обмениваются данными - обо всем, что вы смотрите, Consumer Reports исследует информационных брокеров, которые хотят превратить ваши привычки к просмотру в деньги» . Потребительские отчеты . Проверено 27 февраля 2017 года .
- ^ Рамачандран, Шалини; Враница, Сюзанна (2015-10-20). «Comcast стремится использовать сокровищницу телевизионных данных» . Wall Street Journal . ISSN 0099-9660 . Проверено 16 мая 2016 .
- ^ «Недостатки водяного знака» . smallbusiness.chron.com . Проверено 16 мая 2016 .
- ^ «Facebook объявляет о своей попытке ContentID ... с использованием Audible Magic | Techdirt» . Techdirt . Проверено 16 мая 2016 .