Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Opus
Opus logo2.svg
Расширение имени файла
.opus [1]
Тип интернет-СМИaudio/ogg[2]
audio/opus (RTP) [3]
РазработанIETF кодек рабочая группа
изначальный выпуск11 сентября 2012 г. ( 2012-09-11 )
Тип форматаАудио
СодержитсяOgg , Matroska , WebM , MPEG-TS
Расширен сШЕЛК , ШЕЛТ
СтандартRFC 6716
Открытый формат ?да
Интернет сайтopus-codec .org
либопус
Libopus screenshot.png
Разработчики)Фонд Xiph.Org
изначальный выпуск26 августа 2012 г. ( 2012-08-26 )
Стабильный выпуск
1.3.1 / 12 апреля 2019 г . ; 22 месяца назад ( 2019-04-12 )
Написано вC89
ПлатформаКроссплатформенность
ТипАудиокодек , эталонная реализация
ЛицензияЛицензия BSD с 3 пунктами
Интернет сайтЗагрузки кодеков opus

Opus - это формат кодирования звука с потерями , разработанный Xiph.Org Foundation и стандартизованный Инженерной группой Интернета , предназначенный для эффективного кодирования речи и общего звука в едином формате, сохраняя при этом достаточно низкую задержку для интерактивного общения в реальном времени и низкую -сложность достаточно для младших встраиваемых процессоров. [4] [5] Opus заменяет Vorbis и Speex для новых приложений, и несколько тестов на слепое прослушивание показали, что он более качественный, чем любой другой стандартный аудиоформат при любом заданном битрейте до тех пор, пока не будет достигнута прозрачность , в том числеMP3 , AAC и HE-AAC . [6] [7]

Opus объединяет ориентированный на речь алгоритм SILK на основе LPC и алгоритм CELT на основе MDCT с меньшей задержкой , переключаясь между ними или комбинируя их по мере необходимости для максимальной эффективности. [4] Битрейт, полоса пропускания звука, сложность и алгоритм можно легко настроить в каждом кадре. Opus имеет низкую алгоритмическую задержку (26,5 мс по умолчанию) [8], необходимую для использования в качестве части канала связи в реальном времени, сетевых музыкальных выступлений и живой синхронизации губ.; За счет компромисса между качеством или битрейтом задержка может быть уменьшена до 5 мс. Его задержка исключительно мала по сравнению с конкурирующими кодеками, для которых требуется более 100 мс, но Opus очень конкурентоспособен с этими форматами с точки зрения качества на битрейт. [9]

В качестве открытого формата, стандартизированного посредством RFC 6716 , эталонная реализация под названием libopus доступна по новой лицензии BSD . В справочнике есть оптимизации как с фиксированной, так и с плавающей запятой для устройств низкого и высокого уровня, с оптимизацией SIMD на платформах, которые их поддерживают. Все известные патенты на программное обеспечение, которые распространяются на Opus, лицензируются на безвозмездных условиях. [10] Opus широко используется в качестве кодека передачи голоса по IP (VoIP) в таких приложениях, как WhatsApp [11] [12] [13]и PlayStation 4 . [14]

Особенности [ править ]

Возможные комбинации битрейта и задержки по сравнению с другими аудиоформатами

Opus поддерживает кодирование с постоянной и переменной скоростью передачи данных от 6  кбит / с до 510 кбит / с (или до 256 кбит / с на канал для многоканальных дорожек), размеры кадра от 2,5 мс до 60 мс и пять частот дискретизации от 8 кГц. (с полосой пропускания 4 кГц) до 48 кГц (с полосой пропускания 20 кГц, диапазон человеческого слуха ). Поток Opus может поддерживать до 255 аудиоканалов и позволяет связывать каналы между каналами в группах по два с использованием кодирования средней стороны.

Opus имеет очень короткую задержку (26,5 мс с использованием кадров по умолчанию 20 мс и настроек приложения по умолчанию), что делает его подходящим для приложений реального времени, таких как телефония , передача голоса по IP и видеоконференцсвязь ; Исследования Xiph привели к созданию кодека CELT , который обеспечивает высочайшее качество при сохранении низкой задержки. В любом потоке Opus скорость передачи данных, полоса пропускания и задержка могут непрерывно изменяться без каких-либо искажений или прерываний; даже смешивание пакетов из разных потоков вызовет плавное изменение, а не искажение, обычное для других кодеков. В отличие от Vorbis, Opus не требует больших кодовых книг. для каждого отдельного файла, что делает его более эффективным для коротких аудиоклипов и более устойчивым.

В качестве открытого стандарта алгоритмы открыто документируются, и публикуется эталонная реализация (включая исходный код ). Broadcom и Xiph.Org Foundation владеют патентами на программное обеспечение на некоторые алгоритмы CELT, а Skype Technologies / Microsoft владеют некоторыми на алгоритмы SILK; каждый предлагает бессрочную лицензию на использование с Opus, оставляя за собой только право использовать свои патенты для защиты от исков третьих сторон о нарушении авторских прав. Qualcomm , Huawei , France Telecom и Ericssonзаявили, что их патенты могут применяться, что отрицает юрисконсульт Xiph, и никто не возбудил никаких судебных исков. [10] [15] Лицензия Opus автоматически и задним числом прекращает свое действие для любого лица, которое пытается подать патентный иск.

Спектрограмма аудио, закодированного в Opus, по мере увеличения битрейта (от ~ 32 до ~ 160 кбит / с) четко демонстрирует поведение нижних частот и лучшее сохранение энергии полосы с помощью CELT (сравните оригинал, Vorbis, MP3, AAC ).

Формат Opus основан на комбинации полнополосного формата CELT и ориентированного на речь формата SILK , оба сильно модифицированных: CELT основан на модифицированном дискретном косинусном преобразовании (MDCT), которое используется большинством музыкальных кодеков, с использованием методов CELP в частотной области для лучшего предсказания, в то время как SILK использует кодирование с линейным предсказанием (LPC) и дополнительный фильтр долгосрочного предсказания для моделирования речи. В Opus оба были изменены для поддержки большего размера кадра, а также для дальнейших алгоритмических улучшений и интеграции, таких как использование кодировщика диапазона CELT.для обоих типов. Чтобы минимизировать накладные расходы при низких скоростях передачи данных, если задержка не такая значительная, SILK поддерживает упаковку нескольких кадров по 20 мс вместе, совместное использование контекста и заголовков; SILK также поддерживает кадры с избыточностью с низкой скоростью передачи данных (LBRR), что позволяет восстанавливать потери пакетов низкого качества. CELT включает в себя как спектральную репликацию, так и генерацию шума, аналогично SBR и PNS AAC, и может дополнительно экономить биты, полностью отфильтровывая все гармоники тональных звуков, а затем реплицируя их в декодере. [16] Улучшение обнаружения тонов - это постоянный проект по повышению качества.

Формат имеет три различных режима: речевой, гибридный и CELT. При сжатии речи SILK используется для звуковых частот до 8 кГц. Если требуется более широкая полоса пропускания, гибридный режим использует CELT для кодирования диапазона частот выше 8 кГц. Третий режим - чистый CELT, разработанный для обычного звука. SILK по своей сути является VBR и не может достичь целевого значения битрейта, в то время как CELT всегда может быть закодирован в любое определенное количество байтов, что позволяет включить гибридный режим и режим CELT, когда требуется CBR.

SILK поддерживает размеры кадра 10, 20, 40 и 60 мс. CELT поддерживает размеры кадра 2,5, 5, 10 и 20 мс. Таким образом, гибридный режим поддерживает только кадры размером 10 и 20 мс; кадры короче 10 мс всегда будут использовать режим CELT. Типичный пакет Opus содержит один кадр, но пакеты длительностью до 120 мс создаются путем объединения нескольких кадров в пакете. Opus может прозрачно переключаться между режимами, размерами кадров, полосой пропускания и количеством каналов для каждого пакета, хотя определенные приложения могут ограничивать это.

Эталонная реализация написана на C и компилируется на аппаратных архитектурах с модулем с плавающей запятой или без него , хотя с плавающей запятой в настоящее время требуется определение полосы пропускания звука (динамическое переключение между SILK, CELT и гибридным кодированием) и большинство оптимизаций скорости.

Контейнеры [ править ]

Пакеты Opus не являются саморазграничивающими, но предназначены для использования внутри какого-либо контейнера, который предоставляет декодеру длину каждого пакета. Opus изначально был указан для инкапсуляции в контейнеры Oggaudio/ogg; codecs=opus , а для файлов Ogg Opus .opusрекомендуется расширение имени файла. [2] Потоки Opus также поддерживаются в Matroska , [17] WebM , [18] MPEG-TS , [19] и MP4 . [20]

В качестве альтернативы каждый пакет Opus может быть заключен в сетевой пакет, который предоставляет длину пакета. Пакеты Opus могут быть отправлены по упорядоченному протоколу дейтаграмм, например RTP . [21]

Необязательный формат саморазграничиваемого пакета определен в приложении к спецификации. [22] При этом для кодирования длины пакета используется один или два дополнительных байта на пакет, что позволяет объединять пакеты без инкапсуляции.

Полоса пропускания и частота дискретизации [ править ]

См. Также: Широкополосный звук.

Opus допускает следующие полосы пропускания во время кодирования. Сжатие Opus не зависит от входной частоты дискретизации; временные метки измеряются в единицах 48 кГц, даже если не используется вся полоса пропускания. Таким же образом можно свободно выбирать частоту дискретизации выходного сигнала. Например, звук можно вводить с частотой 16 кГц, но при этом можно настроить кодирование только узкополосного звука. [23]

Сокращение
Пропускная способность аудио		Эффективная
частота дискретизации
NB (узкополосный)0 4 кГц0 8 кГц
MB (средний диапазон) [nb 1]0 6 кГц12 кГц
WB (широкополосный)0 8 кГц16 кГц
SWB (сверхширокополосный)12 кГц24 кГц
FB (полнополосный) [nb 2]20 кГц48 кГц

История [ править ]

См. Также: CELT § История и SILK § История.

Opus был предложен для стандартизации нового аудиоформата в IETF, который в конечном итоге был принят и предоставлен рабочей группой кодеков . Он основан на двух изначально отдельных стандартных предложениях от Xiph.Org Foundation и Skype Technologies SA (теперь Microsoft ). Его основными разработчиками являются Жан-Марк Валин (Xiph.Org, Octasic, Mozilla Corporation ), Коэн Вос (Skype) и Тимоти Б. Террибери (Xiph.Org, Mozilla Corporation). Среди прочих были также задействованы Джуин-Хвей (Раймонд) Чен ( Broadcom ), Грегори Максвелл (Xiph.Org, Викимедиа ) и Кристофер Монтгомери (Xiph.Org).

Развитие части формата CELT восходит к размышлениям о преемнике Vorbis под рабочим названием Ghost . Как новый речевой кодек от Xiph.Org Foundation, Opus заменяет старый речевой кодек Xiph Speex , более ранний проект Жана-Марка Валина. CELT работает с ноября 2007 года.

Часть SILK разрабатывалась в Skype с января 2007 года в качестве преемника их SVOPC , внутреннего проекта, призванного сделать компанию независимой от сторонних кодеков, таких как iSAC и iLBC, и соответствующих лицензионных платежей.

В марте 2009 года Skype предложил IETF разработать и стандартизировать широкополосный аудиоформат. Прошел почти год, когда много спорили о формировании соответствующей рабочей группы . [24] Представители нескольких компаний, принимавших участие в стандартизации обремененного патентами конкурирующего формата, включая Polycom и Ericsson - создателей и лицензиаров G.719, а также France Télécom , Huawei и Orange Labs (департамент Франции Télécom), которые участвовали в создании G.718, заявили возражения против начала процесса стандартизации бесплатного формата. (Некоторые из оппонентов позже заявят о патентных правах, которые Ксиф отклонил; см. Выше.) [25] В конце концов рабочая группа была сформирована в феврале 2010 года, и даже соответствующая 16-я Исследовательская комиссия МСЭ-Т пообещала поддержать ее работу.

В июле 2010 года был представлен прототип гибридного формата, который объединил два предложенных кандидата формата SILK и CELT. В сентябре 2010 года Opus был представлен в IETF как предложение по стандартизации. В течение короткого времени формат носил название Harmony, прежде чем он получил свое нынешнее название в октябре 2010 года. [26] В начале февраля 2011 года формат битового потока был предварительно заморожен с учетом последних изменений. [27] Ближе к концу июля 2011 года Жан-Марк Валин был нанят Mozilla Corporation для продолжения работы над Opus. [28]

Доработка (1.0) [ править ]

В ноябре 2011 года рабочая группа выпустила последний призыв к изменению формата битового потока. Битовый поток был заморожен с 8 января 2012 года. [29] 2 июля 2012 года Opus был одобрен IETF для стандартизации. [30] Эталонное программное обеспечение вошло в состояние кандидата на выпуск 8 августа 2012 г. [31] Окончательная спецификация была выпущена как RFC 6716 10 сентября 2012 г. [32] [33] и версии 1.0 и 1.0.1 эталонной реализации. libopus были выпущены на следующий день.

11 июля 2013 года libopus 1.0.3 принесла исправления ошибок и новый API объемного звука , улучшающий распределение каналов и качество, особенно для LFE . [34]

1.1 [ править ]

5 декабря 2013 года был выпущен libopus 1.1 [34], включающий общие улучшения скорости и значительные улучшения качества кодировщика: оценка тональности повышает битрейт и качество для ранее проблемных сэмплов , таких как клавесины; автоматическое обнаружение речи / музыки улучшает качество смешанного звука; среднечастотное стерео снижает битрейт, необходимый для многих песен; повышение точности диапазона для улучшения переходных процессов; и подавление постоянного тока ниже 3 Гц. Были добавлены два новых режима VBR : без ограничений для более стабильного качества и временной VBR, который увеличивает громкость кадров и в целом улучшает качество.

libopus 1.1.1 был выпущен 26 ноября 2015 года, а 1.1.2 - 12 января 2016 года, и в нем были добавлены оптимизации скорости и исправления ошибок. 15 июля 2016 года была выпущена версия 1.1.3, которая включает исправления ошибок, оптимизацию, обновления документации и экспериментальную работу с Ambisonics .

1.2 [ править ]

Бета-версия libopus 1.2 была выпущена 24 мая 2017 года. libopus 1.2 была выпущена 20 июня 2017 года. [35] Усовершенствования, внесенные в версию 1.2, позволяют создавать полнополосную музыку с битовой скоростью до 32 кбит / с и широкополосную речь всего за 12 кбит / с. [36]

libopus 1.2 включает дополнительную поддержку изменений спецификации декодера, сделанных в черновиках RFC 8251, улучшая качество вывода таких низкоскоростных потоков. [37]

1.3 [ править ]

libopus 1.3 был выпущен 18 октября 2018 года. [38] Основной выпуск Opus 1.3 снова содержит улучшения качества, новые функции и исправления ошибок. [39] Изменения по сравнению с 1.2.x включают:

  • Улучшения в обнаружении голосовой активности (VAD) и классификации речи / музыки с использованием рекуррентной нейронной сети (RNN)
  • Поддержка амбисонического кодирования с использованием семейств каналов 2 и 3.
  • Улучшения стереофонического кодирования речи с низким битрейтом
  • Использование широкополосного кодирования речи до 9 кбит / с (среднечастотный диапазон больше не используется)
  • Обеспечение возможности использования SILK до битрейта около 5 кб / с
  • Незначительное улучшение качества тонов
  • Включение исправлений спецификации в RFC 8251 по умолчанию
  • Улучшения безопасности / усиления

Известные исправления ошибок включают:

  • Исправления для CELT PLC
  • Исправления обнаружения пропускной способности

1.3.1 [ править ]

libopus 1.3.1 был выпущен 12 апреля 2019 года. [40] В этом второстепенном выпуске Opus 1.3.1 исправлена ​​проблема с анализом файлов с цифровой тишиной (все нули), особенно в сборках x87 (в основном затрагивает 32-разрядные сборки) . Он также включает две новые функции:

  • Новый запрос OPUS_GET_IN_DTX, чтобы узнать, находится ли кодировщик в режиме DTX (последний кадр был либо кадром комфортного шума, либо вообще не закодирован)
  • Новая (и все еще экспериментальная) система сборки на основе CMake , которая в конечном итоге предназначена для замены системы сборки VS2015 (автоинструменты останутся)

Сравнение качества и производительность с малой задержкой [ править ]

Сравнение эффективности кодирования между Opus и другими популярными аудиоформатами

Было доказано, что Opus имеет отличное качество [9], а при более высоких скоростях передачи данных он оказывается конкурентоспособным с аудиоформатами с гораздо большей задержкой, такими как HE-AAC и Vorbis . [41]

В тестах прослушивания около 64 кбит / с Opus показывает превосходное качество по сравнению с кодеками HE-AAC , которые ранее были доминирующими благодаря использованию запатентованной технологии репликации спектральной полосы (SBR). [42] [6] При прослушивании около 96 кбит / с Opus показывает немного лучшее качество по сравнению с AAC и значительно лучшее качество по сравнению с Vorbis и MP3 . [7]

Opus имеет очень низкую алгоритмическую задержку [4], что необходимо для использования в качестве части канала связи с малой задержкой звука , что может обеспечить естественный диалог, сетевые музыкальные выступления или синхронизацию губ на живых выступлениях. Общая алгоритмическая задержка для аудиоформата - это сумма задержек, которые должны возникать в кодировщике и декодере живого аудиопотока независимо от скорости обработки и скорости передачи, например, при буферизации аудиосэмплов в блоки или кадры, с учетом перекрытия окон и возможно, допуская упреждающий просмотр с формированием шума в декодере и любые другие формы упреждающего просмотра, или для кодировщика MP3 использование битового резервуара . [43]

Общая односторонняя задержка менее 150 мс является предпочтительной целью большинства систем VoIP [44], чтобы обеспечить естественный разговор с очередностью, на которую задержка мало влияет. Музыканты обычно чувствуют время с задержкой звука до 30 мс, [45] примерно в соответствии со временем слияния эффекта Хааса , хотя также может помочь сопоставление задержки воспроизведения собственного инструмента каждого пользователя с задержкой приема-передачи. [46] Предполагается, что для синхронизации губ может быть приемлемая задержка звука около 45–100 мс. [47]

Opus допускает компромисс между пониженным качеством или повышенным битрейтом для достижения еще меньшей алгоритмической задержки (минимум 5,0 мс). [48] В то время как длина кадра Opus по умолчанию в эталонной реализации составляет 20,0 мс, для уровня SILK требуется еще 5,0 мс вперед плюс 1,5 мс для повторной выборки, что дает задержку по умолчанию 26,5 мс. Когда уровень CELT активен, для перекрытия окон требуется предвидение 2,5 мс, к которому по умолчанию добавляется соответствующая задержка 4,0 мс для синхронизации со слоем SILK. Если кодер запускается в специальном ограниченном режиме с низкой задержкой , задержка согласования 4,0 мс удаляется, а уровень SILK отключается, разрешая минимальную алгоритмическую задержку 5,0 мс. [8]

Поддержка [ править ]

Формат и алгоритмы открыто документированы, а эталонная реализация публикуется как бесплатное программное обеспечение . Эталонная реализация Xiph называется libopus, а пакет opus-tools предоставляет утилиты кодировщика и декодера командной строки. Он публикуется на условиях лицензии, подобной BSD . Он написан на C и может быть скомпилирован для аппаратных архитектур с модулем с плавающей запятой или без него . Прилагаемый диагностический инструмент opusinfo сообщает подробную техническую информацию о файлах Opus, включая информацию о соответствии стандарту формата битового потока. Он основан на ogginfo изvorbis-tools и поэтому - в отличие от кодировщика и декодера - доступен на условиях версии 2 GPL .

Реализации [ править ]

RFC  6716 содержит полный исходный код эталонной реализации, написанной на C. RFC 8251 содержит исправления.

В проекте FFmpeg [49] есть реализации кодировщика и декодера, не заимствованные из справочной библиотеки.

Справочная библиотека libopus была перенесена на C # и Java в рамках проекта Concentus. Эти порты приносят в жертву производительность ради простой интеграции в кроссплатформенные приложения. [50]

Программное обеспечение [ править ]

См. Также: Сравнение программного обеспечения VoIP и Сравнение механизмов компоновки (мультимедиа HTML5) § Поддержка аудиоформатов

Digital Radio Mondiale  - формат цифрового радио для частот AM - может транслировать и принимать звук Opus (хотя и не признанный в официальном стандарте) с помощью программно-определяемого радио Dream .

Фонд Викимедиа спонсировал бесплатный онлайн- кодировщик JavaScript Opus с открытым исходным кодом для браузеров, поддерживающих необходимые функции HTML5 . [51]

С 2016 года WhatsApp использует Opus в качестве формата аудиофайлов. [52]

Сигнал переключился с аудиокодека Speex на аудиокодек Opus для лучшего качества звука в начале 2017 года.

Поддержка операционной системы [ править ]

Большинство программного обеспечения для конечных пользователей полагается на мультимедийные структуры, предоставляемые операционной системой . Встроенная поддержка кодеков Opus реализована в большинстве основных мультимедийных фреймворков для Unix-подобных операционных систем, включая библиотеки GStreamer , FFmpeg и Libav . [53] [54] [55]

Google добавил встроенную поддержку воспроизведения звука Opus в Android 5.0 «Lollipop» . [56] Однако, это было ограничено Opus аудио , инкапсулированного в Matroska контейнеров, таких , как .mkvи .webmфайлы. [57] [58] Android 7.0 «Nougat» представила поддержку аудио Opus, инкапсулированного в .oggконтейнеры. [59] В Android 10 наконец-то добавлена ​​встроенная поддержка .opus расширений . [60]

Благодаря добавлению поддержки WebRTC в механизм рендеринга Apple WebKit , macOS High Sierra и iOS 11 имеют встроенную поддержку воспроизведения звука Opus, инкапсулированного в контейнеры Core Audio Format . [61]

В Windows 10 версии 1607 Microsoft предоставила встроенную поддержку звука Opus, инкапсулированного в файлы Matroska и WebM . [62] В версии 1709 поддержка аудио Opus, инкапсулированного в .oggконтейнеры, была сделана доступной через предустановленное дополнение под названием Web Media Extensions. [63] В Windows 10 версии 1903.opus была добавлена встроенная поддержка контейнера. [60] В Windows 8.1 и более ранних доступны сторонние декодеры, такие как фильтры LAV , для обеспечения поддержки формата. [64]

Поддержка Opus разными операционными системами
ОкнаmacOSLinuxAndroidiOS
Поддержка кодековДа
Частично : Win 10 v1607, 1709, 1809
Полная : Win 10 v1903		Да
(ограниченная поддержка контейнеров)		даДа
Частично : Android 5, 6, 7
Полная : Android 10		Да
(ограниченная поддержка контейнеров)
Поддержка контейнераВ юбилейном обновлении Windows 10 (1607) :
WebM (.webm не распознается; требуется псевдорасширение)
Matroska (.mka, .mkv)

В Windows 10 Fall Creators Update (1709) с надстройкой Web Media Extensions :
Ogg (.opus не распознается; требуется псевдорасширение) [a]

В Windows 10 October 2018 Update (1809) :
WebM (официально признан .webm)

В обновлении Windows 10 за май 2019 г. (1903 г.) :

Ogg (официально признан .opus)

В macOS High Sierra :
Core Audio Format (.caf)		Ogg (.opus)
WebM (.webm)
Matroska (.mka, .mkv)
MPEG-TS (.ts)		На Android 5 :
WebM (.webm)
Matroska (.mka, .mkv)

На Android 7 :
Ogg (.opus не распознается; требуется псевдорасширение) [a]

На Android 10 :

Ogg (официально признан .opus)

В iOS 11 :
основной аудиоформат (.caf)
ПримечанияВ Windows 10 :
- В юбилейном обновлении (1607) ограниченная поддержка доступна в приложениях Microsoft Edge ( только через MSE ) и универсальной платформы Windows . Проигрыватель Windows Media не поддерживает Ogg; только WebM и Matroska.
- В обновлении за апрель 2018 г. (1803) с предустановленными расширениями веб-мультимедиа Microsoft Edge (EdgeHTML 17) поддерживает звук Opus, встроенный в теги <audio>.
- До обновления октября 2018 г. (1809 г.) расширение имени файла .opus не распознавалось. (замените расширением псевдофайла, например .m4a) [65]

В Windows 8.1 и старше :
- Требуется установка стороннего мультимедийного фреймворка, LAV Filters .

Поддерживается только звук Opus в контейнере CAF.-- До Android 9 расширение имени файла .opus не распознавалось (замените его расширением псевдофайла, например .ogg или .m4a) [59]Поддерживается только звук Opus в контейнере CAF.

Поддержка медиаплеера [ править ]

В то время как поддержка в мультимедийных средах автоматически включает поддержку Opus в программном обеспечении, построенном на основе таких структур, некоторые разработчики приложений приложили дополнительные усилия для поддержки аудиоформата Opus в своем программном обеспечении. Такая поддержка была добавлена ​​в AIMP , [66] Amarok , [67] cmus , Music Player Daemon , foobar2000 , [68] Mpxplay , MusicBee , [69] SMplayer , медиаплеер VLC , [70] Winamp [71] и аудиоплееры Xmplay. ; Icecast , [72] Airtime (программное обеспечение) [73] программное обеспечение для потоковой передачи аудио; и риппер аудио компакт-дисков Asunder, устройство записи компакт-дисков CDBurnerXP , инструменты кодирования мультимедиа FFmpeg, Libav и MediaCoder . Испытания потокового радио Icecast проводятся с сентября 2012 года по январь 2013 года. [74] [75] SteamOS использует Opus или Vorbis для потоковой передачи звука. [76]

Поддержка браузера [ править ]

Поддержка Opus обязательна для реализаций WebRTC . [77] Opus поддерживается в Mozilla Firefox , [78] Chromium и Google Chrome , [79] Opera на основе Blink , [80] [81], а также во всех браузерах для Unix-подобных систем, использующих GStreamer для поддержки мультимедийных форматов. Хотя Internet Explorer не обеспечивает воспроизведение Opus изначально, поддержка этого формата встроена в браузер Edge вместе с VP9 для полной поддержки WebM . [82][83] Safari поддерживает Opus начиная с iOS 11 и macOS High Sierra. [84]

Поддержка VoIP [ править ]

Благодаря своим возможностям, Opus рано вызвала интерес со стороны поставщиков программного обеспечения для передачи голоса по IP (VoIP). Несколько клиентов SIP , включая Acrobits Softphone , CSipSimple (через дополнительный плагин), Empathy (через GStreamer), Jitsi , [85] Tuenti , [86] Line2 (в настоящее время только на iOS ), [87] Linphone , [88] Phoner и PhonerLite , [89] SFLphone , [90] Телефон , Mumble , Discord [91]и TeamSpeak 3 голосовой чат программное обеспечение также поддерживает Opus. [92] [93] [94] TrueConf поддерживает Opus в своих VoIP-продуктах. [95] Asterisk не имела встроенной поддержки Opus по юридическим причинам, [96] но сторонний патч был доступен для загрузки [97], а официальная поддержка через двоичный двоичный объект была добавлена ​​в сентябре 2016 года. [98] Программное обеспечение для видеоконференцсвязи Tox P2P использует Opus. исключительно. [99] Приложение для рассылки сообщений с объявлениями отправляет сырые кадры opus внутри сокета TLS в своей реализации VoIP. [100]

Opus широко используется в качестве голосового кодека в WhatsApp , [11] [13] [12] , которая имеет более чем 1,5  миллиарда пользователей по всему миру. [101] WhatsApp использует Opus с частотой дискретизации 8–16 кГц , [11] [12] с транспортным протоколом реального времени (RTP). [13] PlayStation 4 видео игровая консоль также использует CELT / Opus кодек для своей PlayStation Network Партийной системы чата. [14] Он также используется в приложении видеоконференцсвязи Zoom. [102]

Оборудование [ править ]

Начиная с версии 3.13 Rockbox обеспечивает воспроизведение Opus на поддерживаемых портативных медиаплеерах , включая некоторые продукты серии iPod от Apple , устройства от iriver , Archos и Sandisk , а также на устройствах Android, использующих «Rockbox как приложение». [103] [104] Все последние IP-телефоны Grandstream поддерживают звук Opus как для кодирования, так и для декодирования. IP-телефоны OBihai OBi1062, OBi1032 и OBi1022 поддерживают Opus. Последние беспроводные колонки BlueSound поддерживают воспроизведение Opus. [105] Устройства под управлением Hiby OS, такие как Hiby R3, способны декодировать файлы Opus изначально.

Многие вещательные IP-кодеки включают Opus, например, производимые Comrex , GatesAir и Tieline . [106]

Заметки [ править ]

  1. ^ Не используется по умолчанию с 1.3.
  2. ^ Opus обрезает звук выше 20 кГц, общепринятого верхнего предела диапазона человеческого слуха .
  1. ^ a b В Android 9 и Microsoft Windows 10 (1809) .opusрасширение имени файла не распознается службой Android MediaScanner и приложениями универсальной платформы Windows . Для обнаружения и воспроизведения файлов требуется псевдорасширение другого аудиоформата (например, .oggили .m4a). [59] [65]

См. Также [ править ]

  • Сравнение форматов кодирования аудио
  • Потоковое мультимедиа
  • xHE-AAC

Ссылки [ править ]

  • Эта статья содержит цитаты с веб-сайта Opus Codec, который доступен по лицензии Creative Commons Attribution 3.0 (CC BY 3.0) .
  1. ^ «Типы MIME и расширения файлов» . XiphWiki .
  2. ^ а б Террибери, Тимоти; Ли, Рон; Джайлз, Ральф (апрель 2016 г.). «Тип контента» . Инкапсуляция Ogg для аудиокодека Opus . IETF . п. 30. сек. 9. дои : 10,17487 / RFC7845 . RFC 7845 . Проверено 30 апреля 2016 .
  3. ^ Спиттка, Джулиан; Вос, Коэн; Валин, Жан-Марк (30.06.2015). "Регистрация типа СМИ Opus" . Формат полезной нагрузки RTP для речевого и аудиокодека Opus . IETF . п. 9. сек. 6.1. DOI : 10,17487 / RFC7587 . ISSN 2070-1721 . RFC 7587 . Проверено 30 июня 2015 . 
  4. ^ a b c "Кодек Opus" . Opus (Домашняя страница). Фонд Xiph.org . Проверено 31 июля 2012 года .
  5. ↑ Брайт, Питер (2012-09-12). «Новый стандартизированный аудиокодек Opus выполняет все функции, от онлайн-чата до музыки» . Ars Technica . Проверено 28 мая 2014 .
  6. ^ a b Валин, Жан-Марк; Вос, Коэн; Скоглунд, янв (17 мая 2013 г.). Хоэн, Кристиан (ред.). «Сводка результатов теста прослушивания Opus» . Инженерная группа Интернета . Проверено 30 июня 2015 .
  7. ^ a b Kamedo2 (июль 2014 г.). «Результаты публичного многоформатного прослушивания» .
  8. ^ a b Жан-Марк Валин; Грегори Максвелл; Тимоти Б. Террибери; Коэн Вос (17–20 октября 2013 г.). «Высококачественное кодирование музыки с малой задержкой в ​​кодеке Opus» (PDF) . www.xiph.org . Нью-Йорк, США: Фонд Xiph.Org. п. 2. Архивировано из оригинала (PDF) 14 июля 2018 года . Проверено 19 августа 2014 . Предварительный просмотр CELT составляет 2,5 мс, а прогноз SILK - 5 мс плюс 1,5 мс для повторной выборки (включая повторную выборку кодера и декодера). По этой причине путь CELT в кодировщике добавляет задержку 4 мс. Однако приложение может ограничить кодировщик CELT и опустить эту задержку. Это сокращает общий прогноз до 2,5 мс.
  9. ^ a b Чен, Раймонд (1 апреля 2011 г.). "Opus Testing" (PDF) . Проверено 2 января 2016 .
  10. ^ a b «Лицензия кодека Opus» . Xiph.org . Проверено 22 декабря 2015 .
  11. ^ a b c Лейден, Джон (27 октября 2015 г.). «WhatsApp обнажился: исследованы внутренности информативного приложения» . Реестр . Проверено 19 октября 2019 года .
  12. ^ a b c Шривастава, Саураб Ранджан; Дубе, Сачин; Шривастая, Гульшан; Шарма, Кавита (2019). «Проблемы безопасности, инициируемые смартфонами: проблемы, примеры из практики и предотвращение» . В Ле, Дак-Нхуонг; Кумар, Рагвендра; Мишра, Броджо Кишор; Чаттерджи, Джйотир Мой; Хари, Манджу (ред.). Кибербезопасность в параллельных и распределенных вычислениях: концепции, методы, приложения и примеры из практики . Кибербезопасность в параллельных и распределенных вычислениях . Джон Вили и сыновья. С. 187–206 (200). DOI : 10.1002 / 9781119488330.ch12 . ISBN 9781119488057.
  13. ^ a b c Хазра, Судип; Матети, Прабхакер (13–16 сентября 2017 г.). «Проблемы криминалистики Android» . In Thampi, Sabu M .; Перес, Грегорио Мартинес; Вестфалл, Карлос Беккер; Ху, Цзянькунь; Fan, Chun I .; Мармол, Феликс Гомес (ред.). Безопасность в вычислениях и коммуникациях: 5-й международный симпозиум, SSCC 2017 . Springer. С. 286-299 (290). DOI : 10.1007 / 978-981-10-6898-0_24 . ISBN 9789811068980.
  14. ^ a b «Программное обеспечение с открытым исходным кодом, используемое в PlayStation®4» . Sony Interactive Entertainment Inc . Проверено 11 декабря 2017 .
  15. ^ «Заявление о патенте Nokia VP8: мы были здесь раньше» . OSNews. 2013-05-25 . Проверено 17 июля 2014 .
  16. ↑ Монтгомери, Кристофер (23 декабря 2010 г.). «Аудио следующего поколения: обновление CELT 20101223» .
  17. ^ Bunkus, Moritz (2013-09-16). «Выпущен MKVToolNix v6.4.0» . Пользователи Matroska (Список рассылки) . Проверено 24 декабря 2013 .
  18. ^ «Рекомендации по контейнерам WebM» . Проект WebM . Проверено 19 октября 2015 года .
  19. ^ «Список зарегистрированных идентификаторов MPEG TS - SMPTE Registration Authority, LLC» . SMPTE. 2019-01-05 . Проверено 5 января 2019 .
  20. ^ «Инкапсуляция Opus в базовом формате файлов мультимедиа ISO» . 2018-08-28 . Проверено 5 января 2019 .
  21. ^ Спиттка, Джулиан; Вос, Коэн; Валин, Жан-Марк (30.06.2015). Формат полезной нагрузки RTP для речевого и аудиокодека Opus . IETF . DOI : 10,17487 / RFC7587 . ISSN 2070-1721 . RFC 7587 . Проверено 5 января 2019 . 
  22. ^ Валин, Жан-Марк; Вос, Коэн; Террибери, Тимоти Б. (11 сентября 2012 г.). «Саморазграничивающее обрамление» . Определение аудиокодека Opus . IETF . п. 321. сек. Б. DOI : 10,17487 / RFC6716 . ISSN 2070-1721 . RFC 6716 . Проверено 5 января 2019 . 
  23. ^ Валин, Жан-Марк; Вос, Коэн; Террибери, Тимоти Б. (11 сентября 2012 г.). «Обзор кодека Opus» . Определение аудиокодека Opus . п. 8. сек. 2. дои : 10,17487 / RFC6716 . ISSN 2070-1721 . RFC 6716 . Проверено 21 июня 2014 . 
  24. ^ «IETF работает над созданием бесплатного аудиокодека» . H-online.com. 2009-11-13 . Проверено 7 апреля 2016 .
  25. ^ "Монти" Xiph.org о кодеках и патентах [LWN.net] " . lwn.net .
  26. ^ Вос, Коэн (2010-10-15). «Гармония стала Опусом» . кодек (список рассылки). IETF . Проверено 3 января 2016 .
  27. ^ «Кодек IETF Opus теперь готов к тестированию» . Hydrogenaudio . Проверено 12 сентября 2012 .
  28. ^ Валин, Жан-Марк (2011-08-01). «Обновление IETF, Mozilla» . LiveJournal.com . Проверено 5 октября 2012 .
  29. ^ "Кодек Opus" . Фонд Xiph.org . Проверено 12 сентября 2012 .
  30. ^ "Opus одобрен IETF" . Jmspeex.livejournal.com. 2012-07-03 . Проверено 12 сентября 2012 .
  31. ^ "[opus] Доступны версии-кандидаты для 1.0.0 и 1.0.1" . opus (Список рассылки). Фонд Xiph.org . Проверено 5 октября 2012 .
  32. ^ "Это Opus, это круто, и теперь это стандарт аудиокодеков!" . Mozilla Hacks . Проверено 12 сентября 2012 .
  33. ^ «RFC 6716 по определению аудиокодека Opus» . объявить (Список рассылки). IETF . Проверено 12 сентября 2012 .
  34. ^ a b Монти; Валин, Жан-Марк. «Обновление Opus 20131205: выпуск 1.1» .
  35. ^ "libopus 1.2 - Opus Codec" . Opus-codec.org. 2017-06-20 . Проверено 23 августа 2017 .
  36. ^ Циммерман, Стивен (2017-07-07). «Кодек Opus 1.2 приходит на ваш телефон: высококачественный звук со скоростью 32 кбит / с» . Разработчики XDA. Архивировано из оригинала на 2017-07-13 . Проверено 12 июля 2017 .
  37. ^ Валин, Жан-Марк (2017-06-20). «Выпущен Opus 1.2» .
  38. ^ "Кодек Opus" . www.opus-codec.org . Проверено 22 октября 2018 .
  39. ^ "Выпущен Opus 1.3" . people.xiph.org . Проверено 22 октября 2018 .
  40. ^ "Кодек Opus" . www.opus-codec.org . Проверено 12 апреля 2019 .
  41. ^ Максвелл, Грегори (2011). «Тест прослушивания мультиформатного стерео 64кбит ​​/ с - страница неофициальных результатов» . Фонд Xiph.Org . Проверено 19 июня 2011 .
  42. ^ Открытый кодек следующего поколения с низкой задержкой превосходит HE-AAC , Slashdot-Meldung vom 14. Апрель 2011 г.
  43. ^ Луцки, Манфред; Шуллер, Джеральд; Гейер, Марк; Кремер, Ульрих; Вабник, Стефан (2004). «Руководство по задержке аудиокодека» (PDF) . В 116-й конвенции AES, Берлин, Германия : 8–11 . Проверено 21 декабря +2016 .
  44. ^ Lironi, F .; Masseroni, C .; Тривисонно, Р .; Болл, CF (2005). «Мультимедийные услуги на основе Multi RAB в мобильных сетях GERAN». Конференция по автомобильным технологиям, VTC-2005-осень . IEEE 62nd. 3 : 1662–1666. DOI : 10,1109 / VETECF.2005.1558224 . ISBN 0-7803-9152-7. S2CID  44037728 .
  45. ^ Лаго, Нельсон Поссе; Кон, Фабио (ноябрь 2004 г.). «Стремление к низкой задержке» . В материалах Международной компьютерной музыкальной конференции : 33–36 . Проверено 23 апреля 2019 года .
  46. ^ Carôt, Александр (2010). «Потоковое аудио с низкой задержкой для музыкального взаимодействия через Интернет» в архитектуре потокового мультимедиа: методы и приложения: последние достижения . IGI Global. С. 362–383. ISBN 978-1-61692-833-9.
  47. ^ Йе, Нонг; Чен, Ян; Фарли, Тони (29–31 мая 2003 г.). Qos требования к мультимедийным данным в компьютерных сетях . Материалы Второй Международной конференции по технологиям активных медиа . Чунцин, КНР: World Scientific Publishing Company Incorporated. С. 183–189. ISBN 978-981-238-343-3.
  48. ^ Монтгомери, Кристофер. «Быстрая демонстрация передового опыта ... CELT 0.10.0 @ постоянное значение PEAQ, переменная задержка» . CELT v0.10 (последняя версия до интеграции с Opus) . xiph.org . Проверено 30 октября 2012 года .
  49. ^ Pehlivanov, Ростислав (11 февраля 2017). "opus: добавить собственный кодировщик Opus" . Git.videolan.org . Проверено 23 августа 2017 .
  50. ^ «Lostromb / Concentus: Чистая портативная реализация аудиокодека Opus на C # и Java» . GitHub . Проверено 23 августа 2017 .
  51. ^ Rillke, Rainer (2015). "Кодировщик опусов JavaScript" . Проверено 9 февраля 2015 .
  52. ^ Рашад А. (2017-05-18). «Аудио менеджер для WhatsApp: как воспроизводить звуковые сообщения WhatsApp в музыкальном проигрывателе?» . Средний . Проверено 9 сентября 2020 .
  53. ^ "GStreamer: новости" . Gstreamer.freedesktop.org . Проверено 5 октября 2012 .
  54. ^ «Аудиокодеки» . Общая документация FFmpeg . Проверено 28 мая 2014 .
  55. ^ «Аудиокодеки» . Общая документация Libav . Проверено 28 мая 2014 .
  56. ^ Google. «Android Lollipop» . Проверено 3 ноября 2015 .
  57. ^ «Поддерживаемые форматы мультимедиа» . Проверено 29 апреля 2015 .
  58. ^ Google. «Проблема 80729: не работает поддержка Opus» . Проверено 19 апреля 2016 .
  59. ^ a b c «Определение совместимости с Android 7.0 (N)» . Проверено 22 мая 2017 .
  60. ^ a b Поддержка Opus в MediaScanner (37054258) - общедоступно - Google Issue Tracker
  61. ^ iOS 11: поддержка Opus в каналах подкастов
  62. ^ Поддержка WebM, VP9 и Opus в Microsoft Edge - Блог разработчиков Microsoft Edge
  63. ^ Microsoft добавляет открытые медиа-форматы Ogg, Theora и Vorbis в Windows 10 - Ctrl blog
  64. ^ "lavfilters - Open-Source DirectShow Media Splitter и декодеры" . Хостинг проектов Google. Архивировано из оригинала на 2013-01-03 . Проверено 5 октября 2012 .
  65. ^ a b Поддерживаемые форматы аудио и видео (приложения среды выполнения Windows) - разработка приложений для Windows
  66. ^ «AIMP: Домашняя страница» . Aimp.ru . Проверено 5 октября 2012 .
  67. ^ Выпущен "Amarok 2.8" Return To The Origin " . Amarok . 2013-08-16 . Проверено 28 мая 2014 .
  68. ^ "foobar2000 v1.1.14 beta" . Форумы Hydrogenaudio . Проверено 5 октября 2012 .
  69. ^ "MusicBee" . Форум MusicBee . Проверено 17 августа 2013 .
  70. ^ "VLC 2.0.4 Двацветок" . VideoLAN . Проверено 19 октября 2012 .
  71. ^ "Winamp" . Форумы Winamp . Проверено 4 января 2013 .
  72. ^ "Бета-версия Icecast 2.4" . Lists.xiph.org . Проверено 12 сентября 2012 .
  73. ^ Эфирное время, Список изменений. «Эфирное время / журнал изменений на 2.4.x» . Sourcefabric . Проверено 1 июля 2013 года .
  74. ↑ Радио Джеки, слушай сейчас. "Opus Stream" . Радио Джеки . Проверено 14 мая 2013 года .
  75. ^ Абсолютное радио, слушайте лаборатории. "Пробная трансляция Opus" . Абсолютное радио . Проверено 30 октября 2012 года .
  76. ^ «Обновление бета-версии Steam: SteamVR и бета-версия домашней трансляции» . SteamDB . Дата обращения 9 декабря 2015 .
  77. ^ "Zwei Audio-Codecs für Echtzeit-Kommunikation im Browser" . Heise.de . Проверено 12 сентября 2012 .
  78. ^ «Форматы мультимедиа, поддерживаемые элементами аудио и видео HTML» . Developer.mozilla.org. 2012-09-03. Архивировано из оригинала на 2010-06-27 . Проверено 12 сентября 2012 .
  79. ^ «Проблема 104241: Поддержка OPUS в файлах Ogg для звукового тега и объекта Audio» . Трекер ошибок Chromium . Проверено 28 мая 2014 .
  80. ^ "Почему нет официального упоминания о поддержке Opus?" . My.opera.com. 2012-07-19 . Проверено 12 сентября 2012 .
  81. ^ Шенкленд, Стивен (2012-08-17). «Как корпоративные споры помешали лучшему веб-аудио» . CNET News . Проверено 12 сентября 2012 .
  82. ^ «Статус платформы» . Microsoft. 2016-04-19.
  83. ^ «Поддержка WebM, VP9 и Opus в Microsoft Edge» . Microsoft. 2016-04-18.
  84. ^ «Объявление о WebRTC и Media Capture» . webkit.org. 7 июня 2017 . Проверено 20 июня 2017 года . доступно в Safari на macOS High Sierra, iOS 11, (…) Safari поддерживает современные аудиокодеки, такие как Opus
  85. ^ Боке, Лодовико (2013-03-07). "Jitsi 2.0 уже выпущен!" . Фонд XMPP . Архивировано из оригинала на 2014-05-29 . Проверено 28 мая 2014 .
  86. ^ «Tuenti + WebRTC (Voip2day 2014)» . 2014-10-21.
  87. ^ «Новый интерфейс Line2 для iOS с улучшенным качеством звука» . Строка2. 2012-10-18. Архивировано из оригинала на 2013-03-15 . Проверено 15 марта 2013 .
  88. ^ «Технические характеристики Linphone» .
  89. ^ «Конфигурация телефонной трубки» .
  90. ^ "SFLphone - Задача № 14602: [Кодек] Реализовать опус" . Savoir-faire Linux. 2012-08-13. Архивировано из оригинала на 2012-12-17 . Проверено 12 сентября 2012 .
  91. ^ "Какие особенности есть в Discord?" . Раздор . Проверено 29 октября 2017 .
  92. ^ Брэндон (2013-06-19). «Вышла Mumble 1.2.4» . Блог Mumblevoice . Архивировано из оригинала на 2014-06-28 . Проверено 28 мая 2014 .
  93. ^ "Выпущен клиент TeamSpeak 3 3.0.10" . Форумы TeamSpeak . Проверено 4 марта 2013 .
  94. ^ «Выпущен сервер TeamSpeak 3 версии 3.0.7» . Форумы TeamSpeak . Проверено 4 марта 2013 .
  95. ^ "TrueConf сделал ставку на аудиокодек Opus" [TrueConf выбрал аудиокодек Opus] (пресс-релиз) (на русском языке). Москва, Россия. 2012-09-19. Архивировано из оригинала на 2014-05-29 . Проверено 28 мая 2014 .
  96. ^ Джордан, Мэтью (2013-05-29). «Опус и ВП8» . asterisk-dev (список рассылки) . Проверено 28 мая 2014 .
  97. ^ "Патч Asterisk Opus / VP8" . GitHub . Проверено 28 мая 2014 .
  98. ^ "Опус для звездочки" . Внутри звездочки . 2016-09-30 . Проверено 3 октября 2016 .
  99. ^ "Исходный код обработки кодека Tox" . GitHub . Проверено 9 декабря 2015 .
  100. ^ "Документация по кодировщику аудиозаписей" . Проверено 25 мая 2016 .
  101. ^ Constine, Джош (31 января 2018). «У WhatsApp 1,5 миллиарда пользователей в месяц. 19 миллиардов долларов? Неплохо» . TechCrunch . Архивировано 9 февраля 2018 года . Проверено 8 февраля 2018 года .
  102. ^ «Учителя: основные функции для обеспечения безопасности ваших виртуальных классов и повышения уровня обучения учащихся» . Увеличить . Проверено 25 августа 2020 .
  103. ^ Участники Rockbox (05.03.2013). «Примечания к выпуску Rockbox v.3.13» . Rockbox . Проверено 21 марта 2013 .
  104. ^ "RockboxAsAnApplication2010 <Главная <Wiki" . Rockbox.org . Проверено 5 октября 2012 .
  105. ^ «ИМПУЛЬСНЫЙ ГИБКИЙ» . BlueSound . Проверено 28 февраля 2017 года .
  106. ^ «Tieline интегрирует OPUS в Report-IT и IP-кодеки» . Радио-журнал. 2012-12-18. Архивировано из оригинала на 2013-05-09 . Проверено 18 декабря 2012 .

Внешние ссылки [ править ]

  • Официальный веб-сайт
  • Opus в базе знаний Hydrogenaudio