Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Чтобы узнать о лингвистической концепции человека, см. Восприятие речи .
«Речь в текст» перенаправляется сюда. Чтобы узнать о роли человека, см. « Репортер речи в текст» .

Распознавание речи является междисциплинарным подполом информатики и компьютерной лингвистики , которая разрабатывает методики и технологию , которые позволяют признание и перевод разговорного языка в текст с помощью компьютеров. Это также известно как автоматическое распознавание речи ( ASR ), компьютерное распознавание речи или преобразование речи в текст ( STT ). Он включает в себя знания и исследования в области информатики , лингвистики и компьютерной инженерии .

Некоторые системы распознавания речи требуют «обучения» (также называемого «зачислением»), когда отдельный говорящий читает текст или изолированную лексику в системе. Система анализирует конкретный голос человека и использует его для точной настройки распознавания речи этого человека, что приводит к повышению точности. Системы, в которых не используется обучение, называются системами, независимыми от говорящего [1] . Системы, использующие обучение, называются «зависимыми от говорящего».

Приложения распознавания речи включают в себя голосовые пользовательские интерфейсы, такие как голосовой набор (например, «позвонить домой»), маршрутизация вызовов (например, «Я хотел бы сделать сборный вызов»), управление домашними устройствами, ключевые слова поиска (например, найти подкаст, в котором указаны определенные слова. были произнесены), простой ввод данных (например, ввод номера кредитной карты), подготовка структурированных документов (например, радиологического отчета), определение характеристик говорящего, [2] преобразование речи в текст (например, текстовые процессоры или электронные письма ), и самолет (обычно называемый прямым голосовым вводом ).

Термин распознавание голоса [3] [4] [5] или идентификация говорящего [6] [7] [8] относится к идентификации говорящего, а не к тому, что он говорит. Распознавание говорящего может упростить задачу перевода речи в системах, которые были обучены голосу конкретного человека, или его можно использовать для аутентификации или проверки личности говорящего в рамках процесса безопасности.

С технологической точки зрения, распознавание речи имеет долгую историю с несколькими волнами крупных инноваций. Совсем недавно в этой области появились достижения в области глубокого обучения и больших данных . Об успехах свидетельствует не только всплеск научных статей, опубликованных в этой области, но, что более важно, глобальное внедрение в отрасли различных методов глубокого обучения при разработке и развертывании систем распознавания речи.

История [ править ]

Ключевыми направлениями роста были: объем словарного запаса, независимость говорящего и скорость обработки.

До 1970 г. [ править ]

  • 1952 - Три исследователя Bell Labs, Стивен Балашек [9], Р. Биддульф и К. Х. Дэвис создали систему под названием «Одри» [10] для распознавания цифр одного говорящего. Их система располагала форманты в спектре мощности каждого высказывания. [11]
  • 1960 - Гуннар Фант разработал и опубликовал модель речевого воспроизведения с фильтром источника .
  • 1962 - IBM продемонстрировала на Всемирной выставке 1962 года возможность распознавания речи своей машины «Shoebox» с 16 словами . [12]
  • 1966 - Линейное прогнозирующее кодирование (LPC), метод кодирования речи , было впервые предложено Фумитадой Итакурой из Университета Нагоя и Сюдзо Сайто из Nippon Telegraph and Telephone (NTT), когда они работали над распознаванием речи. [13]
  • 1969 - Финансирование Bell Labs прекратилось на несколько лет, когда в 1969 году влиятельный Джон Пирс написал открытое письмо, в котором критиковалось и не финансировалось исследование распознавания речи. [14] Это прекращение финансирования продолжалось до тех пор, пока Пирс не ушел на пенсию и не вступил во владение Джеймс Л. Фланаган .

Радж Редди был первым, кто занялся распознаванием непрерывной речи, будучи аспирантом Стэнфордского университета в конце 1960-х годов. Предыдущие системы требовали, чтобы пользователи делали паузу после каждого слова. Система Редди выдавала голосовые команды для игры в шахматы .

Примерно в это же время советские исследователи изобрели алгоритм динамического преобразования времени (DTW) и использовали его для создания распознавателя, способного работать со словарем из 200 слов. [15] DTW обрабатывает речь, разделяя ее на короткие кадры, например сегменты по 10 мс, и обрабатывая каждый кадр как единый блок. Хотя DTW будет заменен более поздними алгоритмами, метод продолжился. Достижение независимости спикеров в то время оставалось нерешенным.

1970–1990 [ править ]

  • 1971 - DARPA финансирует пять лет исследований понимания речи, исследований в области распознавания речи, требующих минимального словарного запаса в 1000 слов. Они думали, что понимание речи будет ключом к прогрессу в распознавании речи , но позже это оказалось неправдой. [16] В программе участвовали BBN , IBM , Карнеги-Меллон и Стэнфордский исследовательский институт . [17] [18] Это возобновленное письмо Джона Пирса, посвященное исследованию распознавания речи.
  • 1972 - Группа IEEE по акустике, речи и обработке сигналов провела конференцию в Ньютоне, штат Массачусетс.
  • 1976 г. Первый ICASSP был проведен в Филадельфии , которая с тех пор стала основным местом публикации исследований по распознаванию речи. [19]

В конце 1960-х Леонард Баум разработал математику цепей Маркова в Институте анализа защиты . Десять лет спустя в CMU студенты Раджа Редди Джеймс Бейкер и Джанет М. Бейкер начали использовать скрытую марковскую модель (HMM) для распознавания речи. [20] Джеймс Бейкер узнал о HMM на летней работе в Институте оборонного анализа во время учебы в бакалавриате. [21] Использование HMM позволило исследователям объединить различные источники знаний, такие как акустика, язык и синтаксис, в единую вероятностную модель.

  • К середине 1980-х команда Фреда Елинека из IBM создала пишущую машинку с голосовым управлением под названием Tangora, которая могла обрабатывать словарь из 20 000 слов [22] . Статистический подход Елинека уделял меньше внимания имитации того, как человеческий мозг обрабатывает и понимает речь, в пользу использования статистических методы моделирования, такие как HMM. (Группа Елинека независимо открыла применение HMM к речи. [21] ) Это вызвало споры среди лингвистов, поскольку HMM слишком упрощены, чтобы объяснить многие общие черты человеческих языков. [23] Однако HMM оказался очень полезным способом моделирования речи и заменил динамическое искажение времени, став доминирующим алгоритмом распознавания речи в 1980-х годах.[24]
  • 1982 - Dragon Systems, основанная Джеймсом и Джанет М. Бейкер , [25] был одним из немногих конкурентов IBM.

Практическое распознавание речи [ править ]

В 1980-е годы также была представлена модель языка n-грамм .

  • 1987 - The назад-офф модели позволило модели языка использовать несколько длины п-граммы, и CSELT используется СММ распознавать языки (как в программном обеспечении , так и в аппаратных средствах специализированные процессоры, например Рипач ).

Во многом прогресс в этой области связан с быстро растущими возможностями компьютеров. По окончании программы DARPA в 1976 году лучшим компьютером, доступным исследователям, был PDP-10 с оперативной памятью 4 МБ. [23] Для декодирования всего 30 секунд речи может потребоваться до 100 минут. [26]

Два практических продукта были:

  • 1987 г. - награда от компании Kurzweil Applied Intelligence.
  • 1990 - Dragon Dictate, потребительский продукт, выпущенный в 1990 году [27] [28] AT&T развернула службу обработки вызовов с распознаванием голоса в 1992 году для маршрутизации телефонных звонков без использования оператора-человека. [29] Технология была разработана Лоуренсом Рабинером и другими сотрудниками Bell Labs.

К этому моменту словарный запас типичной коммерческой системы распознавания речи был больше, чем средний человеческий словарь. [23] Бывший ученик Раджа Редди, Сюэдун Хуанг , разработал систему Sphinx-II в CMU. Система Sphinx-II была первой, которая обеспечивала распознавание непрерывной речи независимо от говорящего, с большим словарным запасом, и имела лучшие характеристики в оценке DARPA 1992 года. Работа с непрерывной речью с большим словарным запасом была важной вехой в истории распознавания речи. В 1993 году Хуанг основал группу распознавания речи в Microsoft . Кай-Фу Ли , ученик Раджа Редди, присоединился к Apple, где в 1992 году помог разработать прототип речевого интерфейса для компьютера Apple, известного как Casper.

Lernout & Hauspie , бельгийская компания по распознаванию речи, приобрела несколько других компаний, в том числе Kurzweil Applied Intelligence в 1997 году и Dragon Systems в 2000 году. Речевая технология L&H использовалась в операционной системе Windows XP . L&H была лидером отрасли, пока бухгалтерский скандал не положил конец компании в 2001 году. Речевые технологии от L&H были куплены ScanSoft, которая в 2005 году стала Nuance . Apple первоначально лицензировала программное обеспечение Nuance для обеспечения возможности распознавания речи своему цифровому помощнику Siri . [30]

2000-е [ править ]

В 2000-х DARPA спонсировало две программы распознавания речи: Эффективное доступное многоразовое преобразование речи в текст (EARS) в 2002 году и Global Autonomous Language Exploitation (GALE). : Четыре команды в программе EARS участвовали IBM , команда во главе с BBN с LIMSI и Univ. Питтсбурга , Кембриджского университета , а также команды, состоящей из ICSI , SRI и Вашингтонского университета . EARS профинансировал сбор корпуса телефонных разговоров Switchboard, содержащий 260 часов записанных разговоров от более чем 500 говорящих. [31] Программа GALE была посвящена арабскому языку иНовостная речь китайского вещания. Первые попытки Google по распознаванию речи были предприняты в 2007 году после найма исследователей из Nuance. [32] Первым продуктом была телефонная справочная служба GOOG-411 . Записи с GOOG-411 дали ценные данные, которые помогли Google улучшить свои системы распознавания. Голосовой поиск Google теперь поддерживается более чем на 30 языках.

В Соединенных Штатах Агентство национальной безопасности использовало тип распознавания речи для определения ключевых слов, по крайней мере, с 2006 года. [33] Эта технология позволяет аналитикам искать в больших объемах записанных разговоров и изолировать упоминания ключевых слов. Записи можно индексировать, а аналитики могут выполнять запросы к базе данных, чтобы найти интересующие разговоры. Некоторые исследовательские программы правительства сосредоточены на разведки приложений распознавания речи, программы Уши игровая например , DARPA и IARPA «s программа Бабель .

В начале 2000-х годов в распознавании речи все еще преобладали традиционные подходы, такие как скрытые марковские модели в сочетании с искусственными нейронными сетями с прямой связью . [34] Сегодня, однако, многие аспекты распознавания речи были взяты на себя методом глубокого обучения, называемым Долгосрочная краткосрочная память (LSTM), рекуррентной нейронной сетью, опубликованной Зеппом Хохрайтером и Юргеном Шмидхубером в 1997 году. [35] LSTM RNNs. избежать проблемы исчезающего градиента и может изучать задачи «очень глубокого обучения» [36]которые требуют воспоминаний о событиях, произошедших тысячи дискретных временных шагов назад, что важно для речи. Примерно в 2007 году LSTM, обученный Connectionist Temporal Classification (CTC) [37], начал превосходить традиционное распознавание речи в некоторых приложениях. [38] По сообщениям, в 2015 году производительность распознавания речи Google резко выросла на 49% благодаря обученному CTC LSTM, который теперь доступен через Google Voice для всех пользователей смартфонов. [39]

Использование глубоких сетей с прямой связью (непериодических) для акустического моделирования было введено в конце 2009 года Джеффри Хинтоном и его студентами из Университета Торонто, а также Ли Денгом [40] и коллегами из Microsoft Research, первоначально в результате совместной работы между Microsoft и Университет Торонто, который впоследствии был расширен за счет включения IBM и Google (отсюда подзаголовок «Общие взгляды четырех исследовательских групп» в их обзорной статье 2012 года). [41] [42] [43] Руководитель отдела исследований Microsoft назвал это нововведение «самым значительным изменением точности с 1979 года». [44]В отличие от неуклонных постепенных улучшений последних нескольких десятилетий, применение глубокого обучения снизило количество ошибок по словам на 30%. [44] Это нововведение было быстро принято во всех областях. Исследователи начали использовать методы глубокого обучения и для языкового моделирования.

В долгой истории распознавания речи как поверхностная форма, так и глубокая форма (например, повторяющиеся сети) искусственных нейронных сетей изучались в течение многих лет в течение 1980-х, 1990-х и несколько лет до 2000-х. [45] [46] [47] Но эти методы никогда не победили неоднородную внутреннюю ручную модель смеси Гаусса / скрытую модель Маркова (GMM-HMM), основанную на генеративных моделях речи, обучаемых дискриминационным образом. [48] Ряд ключевых трудностей был методологически проанализирован в 1990-х годах, включая уменьшение градиента [49] и слабую временную корреляционную структуру в нейронных прогностических моделях. [50] [51]Все эти трудности были в дополнение к отсутствию больших обучающих данных и большой вычислительной мощности в те дни. Большинство исследователей в области распознавания речи, которые понимали такие препятствия, впоследствии отошли от нейронных сетей и начали применять подходы генеративного моделирования до недавнего возрождения глубокого обучения, начавшегося примерно в 2009–2010 годах, которое преодолело все эти трудности. Hinton et al. и Deng et al. рассмотрели часть этой недавней истории о том, как их сотрудничество друг с другом, а затем с коллегами из четырех групп (Университет Торонто, Microsoft, Google и IBM) спровоцировало возрождение приложений глубоких нейронных сетей с прямой связью для распознавания речи. [42] [43] [52] [53]

2010-е [ править ]

К началу 2010s речи признание, называемые также распознавание голоса [54] [55] [56] явно отличается от зр Икера признания и динамик независимость считается крупным прорывом. А до этого системам требовался период «обучения». В рекламе куклы 1987 года был слоган «Наконец-то кукла, которая тебя понимает». - несмотря на то, что это было описано как «какие дети могут научиться реагировать на свой голос». [12]

В 2017 году исследователи Microsoft достигли исторического рубежа человеческого паритета - расшифровки речи разговорной телефонной связи с помощью широко протестированной задачи Switchboard. Для оптимизации точности распознавания речи использовалось несколько моделей глубокого обучения. Сообщается, что частота ошибок распознавания речи составляет всего лишь 4 профессиональных человека-расшифровщика, работающих вместе над одним и тем же тестом, который финансировался командой IBM Watson Speech для решения одной и той же задачи. [57]

Модели, методы и алгоритмы [ править ]

И акустическое моделирование, и языковое моделирование являются важными частями современных статистических алгоритмов распознавания речи. Скрытые марковские модели (СММ) широко используются во многих системах. Языковое моделирование также используется во многих других приложениях обработки естественного языка, таких как классификация документов или статистический машинный перевод .

Скрытые марковские модели [ править ]

Основная статья: Скрытая марковская модель

Современные универсальные системы распознавания речи основаны на скрытых марковских моделях. Это статистические модели, которые выводят последовательность символов или величин. HMM используются при распознавании речи, потому что речевой сигнал можно рассматривать как кусочно-стационарный сигнал или как кратковременный стационарный сигнал. В коротком временном масштабе (например, 10 миллисекунд) речь может быть приближена к стационарному процессу . Речь можно рассматривать как марковскую модель для многих стохастических целей.

Другая причина популярности HMM заключается в том, что их можно обучать автоматически, они просты и доступны с вычислительной точки зрения. При распознавании речи скрытая марковская модель будет выводить последовательность n- мерных векторов с действительными значениями (где n - небольшое целое число, например 10), выводя один из них каждые 10 миллисекунд. Векторы будут состоять из кепстральных коэффициентов, которые получаются путем преобразования Фурье короткого временного окна речи и декорреляции спектра с использованием косинусного преобразования., затем беря первые (наиболее значимые) коэффициенты. Скрытая марковская модель будет иметь тенденцию иметь в каждом состоянии статистическое распределение, которое представляет собой смесь диагональных ковариационных гауссианов, что дает вероятность для каждого наблюдаемого вектора. Каждое слово или (для более общих систем распознавания речи) каждая фонема будет иметь различное выходное распределение; Скрытая марковская модель для последовательности слов или фонем создается путем объединения отдельных обученных скрытых марковских моделей для отдельных слов и фонем.

Выше описаны основные элементы наиболее распространенного подхода к распознаванию речи, основанного на HMM. Современные системы распознавания речи используют различные комбинации ряда стандартных методов для улучшения результатов по сравнению с базовым подходом, описанным выше. Типичная система с большим словарем потребует контекстной зависимости для фонем (поэтому фонемы с разным левым и правым контекстом имеют разные реализации в виде состояний HMM); он будет использовать кепстральную нормализацию для нормализации для разных динамиков и условий записи; для дальнейшей нормализации говорящего он может использовать нормализацию длины голосового тракта (VTLN) для нормализации мужского и женского пола и линейной регрессии максимального правдоподобия(MLLR) для более общей адаптации динамика. Функции будут иметь так называемые дельта- и дельта-коэффициенты для захвата динамики речи и, кроме того, могут использовать гетероскедастический линейный дискриминантный анализ (HLDA); или может пропустить дельта- и дельта-коэффициенты и использовать сплайсинг и проекцию на основе LDA, за которой, возможно, следует гетероскедастический линейный дискриминантный анализ или глобальное полусвязанное преобразование ковариации (также известное как линейное преобразование максимального правдоподобия, или MLLT). Многие системы используют так называемые методы дискриминантного обучения, которые обходятся без чисто статистического подхода к оценке параметров HMM и вместо этого оптимизируют некоторые связанные с классификацией меры обучающих данных. Примерами являются максимальная взаимная информация (MMI), минимальная ошибка классификации (MCE) и минимальная ошибка телефона (MPE).

Декодирование речи (термин, обозначающий то, что происходит, когда системе представляется новое высказывание и должно вычислить наиболее вероятное исходное предложение), вероятно, будет использовать алгоритм Витерби для поиска наилучшего пути, и здесь есть выбор между динамическим созданием комбинация скрытой марковской модели, которая включает в себя информацию как акустической, так и языковой модели, и предварительное статическое комбинирование ( подход с конечным преобразователем состояния или FST).

Возможное улучшение декодирования состоит в том, чтобы сохранить набор хороших кандидатов вместо того, чтобы просто оставить лучшего кандидата, и использовать функцию лучшей оценки ( повторная оценка) для оценки этих хороших кандидатов, чтобы мы могли выбрать лучшего в соответствии с этой уточненной оценкой. . Набор кандидатов может храниться либо как список ( подход N-лучших списков ), либо как подмножество моделей ( решетка ). Пересчет обычно выполняется путем минимизации байесовского риска [58](или его приближение): вместо того, чтобы брать исходное предложение с максимальной вероятностью, мы пытаемся взять предложение, которое минимизирует ожидание данной функции потерь в отношении всех возможных транскрипций (т. е. мы берем предложение, которое минимизирует среднее расстояние к другим возможным предложениям, взвешенным по их предполагаемой вероятности). Функция потерь обычно представляет собой расстояние Левенштейна , хотя для конкретных задач оно может быть различным; набор возможных транскрипций, конечно, сокращен, чтобы сохранить управляемость. Были разработаны эффективные алгоритмы для повторной оценки решеток, представленных в виде взвешенных преобразователей конечного состояния с расстояниями редактирования, представленными в видеконечный преобразователь, проверяющий определенные предположения. [59]

Распознавание речи на основе динамического искажения времени (DTW) [ править ]

Основная статья: Динамическое искажение времени

Динамическое искажение времени - это подход, который исторически использовался для распознавания речи, но теперь в значительной степени вытеснен более успешным подходом, основанным на HMM.

Динамическое искажение времени - это алгоритм измерения сходства между двумя последовательностями, которые могут различаться по времени или скорости. Например, сходство в моделях ходьбы будет обнаружено, даже если на одном видео человек шел медленно, а на другом - быстрее, или даже если в ходе одного наблюдения были ускорения и замедления. DTW был применен к видео, аудио и графике - действительно, любые данные, которые можно преобразовать в линейное представление, можно проанализировать с помощью DTW.

Хорошо известным приложением было автоматическое распознавание речи, чтобы справиться с разной скоростью речи. В общем, это метод, который позволяет компьютеру найти оптимальное соответствие между двумя заданными последовательностями (например, временными рядами) с определенными ограничениями. То есть последовательности нелинейно «искажаются», чтобы соответствовать друг другу. Этот метод выравнивания последовательностей часто используется в контексте скрытых марковских моделей.

Нейронные сети [ править ]

Основная статья: Искусственная нейронная сеть

Нейронные сети появились в качестве привлекательного подхода к акустическому моделированию в ASR в конце 1980-х годов. С тех пор нейронные сети использовались во многих аспектах распознавания речи, таких как классификация фонем, [60] классификация фонем с помощью многоцелевых эволюционных алгоритмов, [61] распознавание отдельных слов, [62] аудиовизуальное распознавание речи , аудиовизуальное распознавание говорящего и говорящего. приспособление.

Нейронные сети делают меньше явных предположений о статистических свойствах признаков, чем HMM, и обладают рядом качеств, делающих их привлекательными моделями распознавания для распознавания речи. При использовании для оценки вероятностей сегмента речевых характеристик нейронные сети позволяют естественным и эффективным образом различать обучение. Однако, несмотря на их эффективность в классификации кратковременных единиц, таких как отдельные фонемы и отдельные слова, [63] ранние нейронные сети редко были успешными для задач непрерывного распознавания из-за их ограниченной способности моделировать временные зависимости.

Один из подходов к этому ограничению заключался в использовании нейронных сетей в качестве этапа предварительной обработки, преобразования признаков или уменьшения размерности [64] перед распознаванием на основе HMM. Однако совсем недавно LSTM и связанные с ним рекуррентные нейронные сети (RNN) [35] [39] [65] [66] и нейронные сети с временной задержкой (TDNN) [67] продемонстрировали улучшенную производительность в этой области.

Глубокие нейронные сети с прямой связью и рекуррентные [ править ]

Основная статья: Глубокое обучение

Глубокие нейронные сети и автоэнкодеры с шумоподавлением [68] также находятся в стадии исследования. Нейронная сеть с глубокой прямой связью (DNN) - это искусственная нейронная сеть с несколькими скрытыми слоями единиц между входным и выходным слоями. [42] Подобно мелким нейронным сетям, DNN могут моделировать сложные нелинейные отношения. Архитектура DNN генерирует композиционные модели, где дополнительные слои позволяют комбинировать функции из более низких уровней, обеспечивая огромную способность к обучению и, таким образом, возможность моделирования сложных шаблонов речевых данных. [69]

Успех DNN в распознавании речи с большим словарным запасом произошел в 2010 году промышленными исследователями в сотрудничестве с академическими исследователями, где были приняты большие выходные уровни DNN, основанные на контекстно-зависимых состояниях HMM, построенных с помощью деревьев решений. [70] [71] [72] См. Подробные обзоры этой разработки и состояния дел по состоянию на октябрь 2014 г. в недавней книге Springer от Microsoft Research. [73] См. Также информацию об автоматическом распознавании речи и влияние различных парадигм машинного обучения, в частности, глубокого обучения , в недавних обзорных статьях. [74] [75]

Один из фундаментальных принципов глубокого обучения - отказаться от ручной разработки функций и использовать необработанные функции. Этот принцип был впервые успешно исследован в архитектуре глубинного автоэнкодера на «сырой» спектрограмме или линейных характеристиках банка фильтров [76], показав его превосходство над функциями Mel-Cepstral, которые содержат несколько этапов фиксированного преобразования из спектрограмм. Совсем недавно было показано, что истинные «сырые» свойства речи, формы волны, дают превосходные результаты распознавания речи в более крупном масштабе. [77]

Сквозное автоматическое распознавание речи [ править ]

С 2014 года наблюдается большой исследовательский интерес к "сквозному" ASR. Традиционные фонетические подходы (т.е. все модели, основанные на HMM ) требовали отдельных компонентов и обучения произношению, акустической и языковой модели . Сквозные модели совместно изучают все компоненты распознавателя речи. Это ценно, поскольку упрощает процесс обучения и развертывания. Например, языковая модель n-грамм требуется для всех систем на основе HMM, а типичная языковая модель n-грамм часто занимает несколько гигабайт в памяти, что делает ее непрактичной для развертывания на мобильных устройствах. [78] Следовательно, современные коммерческие системы ASR от Google и Apple (по состоянию на 2017 год) развертываются в облаке и требуют сетевого подключения, а не устройства локально.

Первой попыткой сквозного ASR была система на основе Connectionist Temporal Classification (CTC), представленная Алексом Грейвсом из Google DeepMind и Навдипом Джайтли из Университета Торонто в 2014 году. [79] Модель состояла из рекуррентных нейронных сетей и слой СТС. Совместно модель RNN-CTC изучает произношение и акустическую модель вместе, однако она не может изучать язык из-за условной независимости.предположения, подобные HMM. Следовательно, модели CTC могут напрямую научиться сопоставлять акустику речи с английскими иероглифами, но модели допускают много распространенных орфографических ошибок и должны полагаться на отдельную языковую модель для очистки транскриптов. Позже Baidu расширил работу с чрезвычайно большими наборами данных и продемонстрировал некоторый коммерческий успех на китайском мандаринском и английском языках. [80] В 2016 году Оксфордский университет представил LipNet , [81] первую сквозную модель чтения по губам на уровне предложений, использующую пространственно-временные свертки в сочетании с архитектурой RNN-CTC, превосходящую производительность человеческого уровня в ограниченном наборе грамматических данных. [82]Крупномасштабная архитектура CNN-RNN-CTC была представлена ​​в 2018 году компанией Google DeepMind, показавшая в 6 раз лучшую производительность, чем у экспертов-людей. [83]

Альтернативным подходом к моделям, основанным на CTC, являются модели, основанные на внимании. Основанные на внимании модели ASR были одновременно представлены Chan et al. из Университета Карнеги - Меллона и Google мозга и Bahdanau и др. из Монреальского университета в 2016 году [84] [85]Модель под названием «Слушай, присутствуй и произноси» (LAS) буквально «слушает» акустический сигнал, обращает «внимание» на разные части сигнала и «произносит» транскрипцию по одному символу за раз. В отличие от моделей на основе CTC, модели на основе внимания не имеют предположений об условной независимости и могут напрямую изучать все компоненты распознавателя речи, включая произношение, акустику и языковую модель. Это означает, что во время развертывания нет необходимости носить с собой языковую модель, что делает ее очень практичной для приложений с ограниченной памятью. К концу 2016 года модели, основанные на внимании, добились значительного успеха, в том числе превзошли модели CTC (с внешней языковой моделью или без нее). [86]Начиная с исходной модели LAS были предложены различные расширения. Latent Sequence Decompositions (LSD) был предложен Университетом Карнеги-Меллона , Массачусетским технологическим институтом и Google Brain для непосредственного выделения единиц вложенных слов, которые более естественны, чем английские символы; [87] Оксфордский университет и Google DeepMind расширили LAS до «Смотри, слушай, посещай и произноси» (WLAS), чтобы читать по губам, превосходя возможности человеческого уровня. [88]

Приложения [ править ]

Автомобильные системы [ править ]

Обычно ввод ручного управления, например, с помощью пальца на рулевом колесе, включает систему распознавания речи, и об этом водителю сигнализирует звуковая подсказка. После звуковой подсказки система имеет «окно прослушивания», в течение которого она может принимать речевой ввод для распознавания. [ необходима цитата ]

С помощью простых голосовых команд можно совершать телефонные звонки, выбирать радиостанции или воспроизводить музыку с совместимого смартфона, MP3-плеера или флэш-накопителя с музыкой. Возможности распознавания голоса различаются в зависимости от марки автомобиля. Некоторые из самых последних [ когда? ] модели автомобилей предлагают распознавание речи на естественном языке вместо фиксированного набора команд, что позволяет водителю использовать полные предложения и общие фразы. Таким образом, в таких системах пользователю не нужно запоминать набор фиксированных командных слов. [ необходима цитата ]

Здравоохранение [ править ]

Медицинская документация [ править ]

В секторе здравоохранения распознавание речи может быть реализовано на начальной или конечной стадии процесса медицинской документации. Внешнее распознавание речи - это когда провайдер диктует механизму распознавания речи, распознанные слова отображаются по мере их произнесения, а диктатор отвечает за редактирование и подписание документа. Внутреннее или отложенное распознавание речи - это когда поставщик диктует в систему цифровой диктовки , голос направляется через машину распознавания речи, а распознанный черновик документа направляется вместе с исходным голосовым файлом в редактор, где черновик редактируется. и отчет доработан. Распознавание отложенной речи в настоящее время широко используется в отрасли.

Одна из основных проблем, связанных с использованием распознавания речи в здравоохранении, заключается в том, что Закон о восстановлении и реинвестировании в Америке от 2009 года ( ARRA ) предусматривает существенные финансовые льготы для врачей, которые используют EMR в соответствии со стандартами «осмысленного использования». Эти стандарты требуют, чтобы EMR (в настоящее время более известный как электронная медицинская карта или EHR) хранит значительный объем данных . Использование распознавания речи более естественно подходит для создания повествовательного текста как части интерпретации радиологии / патологии, заметок о ходе выполнения или выписки: эргономические преимущества использования распознавания речи для ввода структурированных дискретных данных (например, числовых значений или кодов). из списка или контролируемого словаря) относительно минимальны для зрячих людей, умеющих пользоваться клавиатурой и мышью.

Более важная проблема заключается в том, что большинство электронных записных книжек не были специально адаптированы для использования возможностей распознавания голоса. Большая часть взаимодействия врача с EHR включает в себя навигацию по пользовательскому интерфейсу с использованием меню и щелчков по вкладкам / кнопкам и в значительной степени зависит от клавиатуры и мыши: голосовая навигация обеспечивает лишь скромные эргономические преимущества. В отличие от этого, многие специализированные системы для радиологии или диктовки патологии реализуют голосовые «макросы», где использование определенных фраз - например, «нормальный отчет» автоматически заполняет большое количество значений по умолчанию и / или генерирует шаблон, который будет варьируются в зависимости от типа исследования - например, рентгенография грудной клетки или серия контрастных исследований желудочно-кишечного тракта для рентгенологической системы.

Терапевтическое использование [ править ]

Продолжительное использование программного обеспечения для распознавания речи в сочетании с текстовыми процессорами показало преимущества для восстановления кратковременной памяти у пациентов с АВМ головного мозга , которым была проведена резекция . Необходимо провести дальнейшие исследования, чтобы определить когнитивные преимущества для людей, чьи АВМ лечили с помощью радиологических методов. [ необходима цитата ]

Военные [ править ]

Высокопроизводительный истребитель [ править ]

В последнее десятилетие были приложены значительные усилия для тестирования и оценки распознавания речи в истребительной авиации . Особо следует отметить американскую программу распознавания речи для самолетов Advanced Fighter Technology Integration (AFTI) / F-16 ( F-16 VISTA ), программу во Франции для самолетов Mirage и другие программы в Великобритании, касающиеся различных авиационных платформ. В этих программах распознаватели речи успешно использовались на истребителях, с такими приложениями, как: установка радиочастот, управление системой автопилота, установка координат точки управления и параметров сброса оружия, а также управление отображением полета.

Работая со шведскими пилотами, летевшими в кабине JAS-39 Gripen, Инглунд (2004) обнаружил, что распознавание ухудшается с увеличением перегрузок . В отчете также сделан вывод о том, что адаптация значительно улучшила результаты во всех случаях и что введение моделей дыхания, как было показано, значительно улучшило показатели распознавания. Вопреки тому, что можно было ожидать, никаких эффектов от ломанного английского языка носителей обнаружено не было. Было очевидно, что спонтанная речь вызывает проблемы у распознающего, как и следовало ожидать. Таким образом, можно ожидать, что ограниченный словарь и, прежде всего, правильный синтаксис существенно улучшат точность распознавания. [89]

Eurofighter Typhoon , в настоящее время на вооружении Великобритании RAF , использует акустическую нестационарную систему, требуя от каждого пилота для создания шаблона. Система не используется для выполнения каких-либо критических для безопасности или оружия задач, таких как сброс оружия или опускание шасси, но используется для широкого круга других функций кабины. Голосовые команды подтверждаются визуальной и / или звуковой обратной связью. Система рассматривается в качестве основного элемента дизайна в сокращении пилотной рабочей нагрузки , [90] и даже позволяет пилот , чтобы назначить цели для его самолета с двумя простыми голосовыми командами или любой из его ведомых только с пятью команд. [91]

Независимые от динамика системы также разрабатываются и проходят испытания для F35 Lightning II (JSF) и учебно-тренировочного истребителя Alenia Aermacchi M-346 Master . Эти системы дали оценку точности слов, превышающую 98%. [92]

Вертолеты [ править ]

Проблемы достижения высокой точности распознавания в условиях стресса и шума в значительной степени относятся к среде вертолета, а также к среде реактивного истребителя. Проблема акустического шума на самом деле более серьезна в среде вертолета, не только из-за высокого уровня шума, но и из-за того, что пилот вертолета, как правило, не носит лицевую маску , которая снижает акустический шум в микрофоне . Существенные программы испытаний и оценки были выполнены за последнее десятилетие в приложениях систем распознавания речи на вертолетах, в частности, Исследовательским центром авионики армии США (AVRADA) и Королевским аэрокосмическим учреждением ( RAE).) в Соединенном Королевстве. Работа во Франции включала распознавание речи на вертолете Puma . В Канаде также было проделано много полезной работы . Результаты были обнадеживающими, и голосовые приложения включали: управление радиосвязью, настройку навигационных систем и управление автоматизированной системой переключения целей.

Как и в случае с истребителями, первостепенной проблемой для голоса в вертолетах является влияние на эффективность пилотов. Сообщаются обнадеживающие результаты тестов AVRADA, хотя они представляют собой лишь демонстрацию осуществимости в тестовой среде. Еще многое предстоит сделать как в области распознавания речи, так и в технологии речи в целом , чтобы постоянно повышать производительность в рабочих настройках.

Обучение авиадиспетчеров [ править ]

Обучение авиадиспетчеров (УВД) представляет собой отличное приложение для систем распознавания речи. Многие системы обучения УВД в настоящее время требуют, чтобы человек действовал в качестве «псевдопилота», участвуя в голосовом диалоге с курсантом-диспетчером, который имитирует диалог, который диспетчер должен вести с пилотами в реальной ситуации УВД. Распознавание и синтез речиМетоды предлагают возможность устранить необходимость в человеке действовать в качестве псевдопилота, тем самым сокращая обучение и вспомогательный персонал. Теоретически задачи воздушного контроллера также характеризуются высокоструктурированной речью в качестве основного выхода контроллера, следовательно, возможно снижение сложности задачи распознавания речи. На практике это бывает редко. В документе 7110.65 FAA подробно описаны фразы, которые должны использоваться авиадиспетчерами. Хотя в этом документе приводится менее 150 примеров таких фраз, количество фраз, поддерживаемых одной из систем распознавания речи от поставщиков симуляторов, превышает 500 000.

ВВС США, ВМС США, Армия США, ВМС США и FAA, а также ряд международных организаций по обучению УВД, таких как Королевские ВВС Австралии и управления гражданской авиации в Италии, Бразилии и Канаде, в настоящее время используют симуляторы УВД с распознаванием речи от ряд различных поставщиков. [ необходима цитата ]

Телефония и другие домены [ править ]

В настоящее время ASR является обычным явлением в области телефонии и получает все большее распространение в области компьютерных игр и моделирования. В системах телефонии ASR в настоящее время преимущественно используется в контакт-центрах путем интеграции с системами IVR . Несмотря на высокий уровень интеграции с текстовыми процессорами в обычных персональных компьютерах, в области производства документов ASR не увидела ожидаемого увеличения использования.

Повышение скорости мобильных процессоров сделало распознавание речи практичным в смартфонах . Речь в основном используется как часть пользовательского интерфейса для создания предопределенных или настраиваемых речевых команд.

Использование в образовании и повседневной жизни [ править ]

При изучении языка распознавание речи может быть полезно для изучения второго языка . Он может научить правильному произношению, а также помочь человеку развить беглость разговорных навыков. [93]

Слепые учащиеся (см. Слепота и образование ) или ученики с очень слабым зрением могут извлечь пользу из использования технологии для передачи слов, а затем слышать их произносит компьютер, а также использовать компьютер, командуя своим голосом, вместо того, чтобы смотреть на них. экран и клавиатура. [94]

Учащиеся с физическими недостатками или страдающие от повторяющихся растяжений / других травм верхних конечностей могут быть освобождены от необходимости беспокоиться о почерке, наборе текста или работе с писцом при выполнении школьных заданий с помощью программ преобразования речи в текст. Они также могут использовать технологию распознавания речи, чтобы свободно пользоваться поиском в Интернете или пользоваться домашним компьютером без необходимости физического управления мышью и клавиатурой. [94]

Распознавание речи может позволить учащимся с ограниченными возможностями научиться писать лучше. Говоря слова вслух, они могут повысить плавность своего письма и избавиться от опасений относительно орфографии, пунктуации и других механизмов письма. [95] См. Также нарушение обучаемости .

Использование программного обеспечения для распознавания голоса в сочетании с цифровым аудиорекордером и персональным компьютером с программным обеспечением для обработки текстов доказало свою эффективность в восстановлении поврежденной кратковременной памяти у лиц с инсультом и трепанацией черепа.

Люди с ограниченными возможностями [ править ]

Люди с ограниченными возможностями могут воспользоваться программами распознавания речи. Для глухих или слабослышащих людей программное обеспечение распознавания речи используется для автоматического создания скрытых субтитров для разговоров, таких как дискуссии в конференц-залах, лекции в классе и / или религиозные службы. [96]

Распознавание речи также очень полезно для людей, которым трудно пользоваться руками, начиная от легких повторяющихся стрессовых травм и заканчивая ограниченными возможностями, которые не позволяют использовать обычные компьютерные устройства ввода. Фактически, люди, которые много использовали клавиатуру и разработали RSI, стали неотложным ранним рынком для распознавания речи. [97] [98] Распознавание речи используется в телефонии для глухих , например, при передаче голосовой почты в текст, услуг ретрансляции и телефонных разговоров с субтитрами.. Лица с ограниченными возможностями обучения, у которых есть проблемы с коммуникацией между мыслями и бумагами (по сути, они думают об идее, но она обрабатывается неправильно, что приводит к тому, что на бумаге она заканчивается иначе), возможно, выиграют от программного обеспечения, но технология не является защитой от ошибок. [99] Кроме того, сама идея «говорить с текстом» может быть сложной для умственно отсталых людей из-за того, что редко кто пытается изучить технологию, чтобы научить человека с инвалидностью. [100]

Этот тип технологий может помочь людям с дислексией, но другие виды инвалидности все еще остаются под вопросом. Эффективность продукта - это проблема, которая мешает ему быть эффективным. Хотя ребенок может произнести слово в зависимости от того, насколько ясно он его произносит, технология может подумать, что он произносит другое слово, и ввести неправильное. Дают им больше работы, чтобы исправить, заставляя их тратить больше времени на исправление неправильного слова. [101]

Дальнейшие приложения [ править ]

  • Аэрокосмическая промышленность (например, исследование космоса , космические корабли и т. Д.) Mars Polar Lander НАСА использовал технологию распознавания речи от Sensory, Inc. в марсианском микрофоне на посадочном модуле [102]
  • Автоматические субтитры с распознаванием речи
  • Автоматическое распознавание эмоций [103]
  • Автоматический перевод
  • Отчетность в суде (запись речи в реальном времени)
  • eDiscovery (юридическое открытие)
  • Вычисления без помощи рук : компьютерный пользовательский интерфейс с распознаванием речи
  • Домашняя автоматизация
  • Интерактивный голосовой отклик
  • Мобильная телефония , включая мобильную электронную почту
  • Мультимодальное взаимодействие [53]
  • Оценка произношения в приложениях для компьютерного обучения языку
  • Субтитры в реальном времени [ необходима ссылка ]
  • Робототехника
  • Безопасность, включая использование с другими биометрическими сканерами для многофакторной аутентификации [104]
  • Речь в текст (транскрипция речи в текст, субтитры к видео в реальном времени , отчеты в суде)
  • Телематика (например, автомобильные навигационные системы)
  • Транскрипция (преобразование речи в текст)
  • Видеоигры с рабочими примерами Tom Clancy's EndWar и Lifeline
  • Виртуальный помощник (например , Siri от Apple )

Производительность [ править ]

Производительность систем распознавания речи обычно оценивается с точки зрения точности и скорости. [105] [106] Точность обычно оценивается с помощью коэффициента ошибок по словам (WER), тогда как скорость измеряется с помощью коэффициента реального времени . Другие меры точности включают частоту ошибок одного слова (SWER) и частоту успешных команд (CSR).

Однако распознавание речи машиной - очень сложная проблема. Вокализации различаются по акценту, произношению, артикуляции, грубости, назальности, высоте звука, громкости и скорости. Речь искажена фоновым шумом и эхом, электрическими характеристиками. Точность распознавания речи может варьироваться в зависимости от следующего: [107] [ необходима ссылка ]

  • Размер словарного запаса и путаница
  • Зависимость от говорящего против независимости
  • Изолированная, прерывистая или непрерывная речь
  • Задачи и языковые ограничения
  • Чтение против спонтанной речи
  • Неблагоприятные условия

Точность [ править ]

Как упоминалось ранее в этой статье, точность распознавания речи может варьироваться в зависимости от следующих факторов:

  • Частота ошибок увеличивается по мере увеличения словарного запаса:
например, 10 цифр от «нуля» до «девяти» могут быть распознаны практически идеально, но словарные размеры 200, 5000 или 100000 могут иметь коэффициент ошибок 3%, 7% или 45% соответственно.
  • Словарь трудно распознать, если он содержит непонятные слова:
например, 26 букв английского алфавита трудно различить, потому что они сбивают с толку слова (наиболее известный E-набор: «B, C, D, E, G, P, T, V, Z»); 8% ошибок считается хорошим для этого словаря. [ необходима цитата ]
  • Зависимость от спикера vs. независимость:
Система, зависящая от динамика, предназначена для использования одним динамиком.
Система, не зависящая от динамика, предназначена для использования любым динамиком (сложнее).
  • Изолированная, прерывистая или непрерывная речь
В изолированной речи используются отдельные слова, поэтому речь становится легче распознать.

При прерывистой речи используются полные предложения, разделенные тишиной, поэтому становится легче распознать речь, а также изолированную речь.
При непрерывной речи используются естественно произносимые предложения, поэтому становится труднее распознать речь, отличную как от изолированной, так и от прерывистой речи.

  • Задачи и языковые ограничения
    • например, запрашивающее приложение может отклонить гипотезу «Яблоко красное».
    • например, ограничения могут быть семантическими; отвергая «Яблоко гневное».
    • например, синтаксический; отвергая "красное яблоко песня".

Ограничения часто представлены грамматикой.

  • Чтение против спонтанной речи - когда человек читает это обычно в заранее подготовленном контексте, но когда человек использует спонтанную речь, его трудно распознать из-за недостатков (таких как «э-э» и «э-э», фальстарт, неполные предложения, заикание, кашель и смех) и ограниченный словарный запас.
  • Неблагоприятные условия - Шум окружающей среды (например, шум в машине или на заводе). Акустические искажения (например, эхо, акустика помещения)

Распознавание речи - это многоуровневая задача распознавания образов.

  • Акустические сигналы структурированы в виде иерархии единиц, например фонем , слов, фраз и предложений;
  • Каждый уровень предоставляет дополнительные ограничения;

например, известные произношения слов или допустимые последовательности слов, которые могут компенсировать ошибки или неопределенности на более низком уровне;

  • Эта иерархия ограничений используется. За счет вероятностного комбинирования решений на всех более низких уровнях и принятия более детерминированных решений только на самом высоком уровне распознавание речи машиной представляет собой процесс, разбитый на несколько этапов. С вычислительной точки зрения, это проблема, в которой звуковой образец должен быть распознан или классифицирован в категорию, которая представляет значение для человека. Каждый акустический сигнал может быть разбит на более мелкие более базовые субсигналы. Поскольку более сложный звуковой сигнал разбивается на более мелкие суб-звуки, создаются разные уровни, где на верхнем уровне у нас есть сложные звуки, которые состоят из более простых звуков на более низком уровне, а при переходе к более низким уровням мы создаем более простые, более короткие и простые звуки. Самый низкий уровень, где звуки наиболее фундаментальны,машина проверит простые и более вероятные правила того, что должен представлять звук. Как только эти звуки объединены в более сложный звук на верхнем уровне, новый набор более детерминированных правил должен предсказать, какой новый сложный звук должен представлять. Самый верхний уровень детерминированного правила должен выяснять значение сложных выражений. Чтобы расширить наши знания о распознавании речи, нам необходимо принять во внимание нейронные сети. Существует четыре этапа нейросетевого подхода:Чтобы расширить наши знания о распознавании речи, нам необходимо принять во внимание нейронные сети. Существует четыре этапа нейросетевого подхода:Чтобы расширить наши знания о распознавании речи, нам необходимо принять во внимание нейронные сети. Существует четыре этапа нейросетевого подхода:
  • Оцифруйте речь, которую мы хотим распознать

Для телефонной речи частота дискретизации составляет 8000 выборок в секунду;

  • Вычислить особенности спектральной области речи (с преобразованием Фурье);

вычисляется каждые 10 мс, с одним разделом 10 мс, называемым кадром;

Анализ четырехэтапных нейросетевых подходов можно объяснить дополнительной информацией. Звук создается вибрацией воздуха (или другой среды), которую мы воспринимаем ушами, а машины - приемниками. Основной звук создает волну, которая имеет два описания: амплитуда (насколько она сильна) и частота ( частота колебаний в секунду). Точность можно вычислить с помощью коэффициента ошибок по словам (WER). Частоту ошибок в словах можно вычислить путем выравнивания распознанного слова и слова, на которое имеется ссылка, с помощью динамического выравнивания строк. Проблема может возникнуть при вычислении частоты ошибок по словам из-за разницы между длинами последовательностей распознанного слова и слова, на которое ссылаются. Позволять

 S - количество замен, D - количество удалений, Я количество прошивок, N - количество ссылок на слова.

Формула для вычисления коэффициента ошибок по словам (WER): 

 WER = (S + D + I) ÷ N

При вычислении коэффициента распознавания слов (WRR) используется коэффициент ошибок по словам (WER), и формула 

 WRR = 1- WER = (NSDI) ÷ N = (HI) ÷ N

Здесь H - количество правильно распознанных слов. Н = N- (S + D).

Проблемы безопасности [ править ]

Распознавание речи может стать средством нападения, кражи или случайного действия. Например, слова активации, такие как «Alexa», произносимые во время аудио- или видеотрансляции, могут привести к тому, что устройства в домах и офисах начнут неправильно прослушивать ввод или, возможно, предпримут нежелательные действия. [108] Устройства с голосовым управлением также доступны для посетителей здания или даже для тех, кто находится за пределами здания, если их слышно внутри. Злоумышленники могут получить доступ к личной информации, такой как календарь, содержимое адресной книги, личные сообщения и документы. Они также могут выдавать себя за пользователя для отправки сообщений или совершения покупок в Интернете.

Были продемонстрированы две атаки с использованием искусственных звуков. Один передает ультразвук и пытается посылать команды незаметно для окружающих. [109] Другой добавляет небольшие неслышимые искажения к другой речи или музыке, которые специально созданы для того, чтобы сбить с толку конкретную систему распознавания речи и заставить ее распознавать музыку как речь или сделать то, что звучит как одна команда для человека, звучит как другая команда для система. [110]

Дополнительная информация [ править ]

Конференции и журналы [ править ]

Популярные конференции по распознаванию речи, проводимые раз в год или два, включают SpeechTEK и SpeechTEK Europe, ICASSP , Interspeech / Eurospeech и IEEE ASRU. Конференции в области обработки естественного языка , такие как ACL , NAACL , EMNLP и HLT, начинают включать документы по обработке речи . Важные журналы включают транзакции IEEE по обработке речи и звука (позже переименованы в IEEE Transactions по обработке звука, речи и языка, а с сентября 2014 г. переименованы в IEEE./ ACM-транзакции по обработке звука, речи и языка - после слияния с публикацией ACM), компьютерной речи и языка и речевой коммуникации.

Книги [ править ]

Такие книги, как «Основы распознавания речи» Лоуренса Рабинера, могут быть полезны для получения базовых знаний, но могут быть не полностью актуальными (1993). Другим хорошим источником могут быть «Статистические методы распознавания речи» Фредерика Елинека и «Обработка разговорной речи (2001)» Сюэдонга Хуанга и др., «Компьютерная речь» Манфреда Р. Шредера , второе издание, опубликованное в 2004 г., и «Речь Обработка: динамический и ориентированный на оптимизацию подход », опубликованный в 2003 году Ли Денг и Дугом О'Шогнесси. Обновленный учебник « Обработка речи и языка» (2008 г.) Джурафски и Мартина представляет основы и современное состояние ASR.Распознавание спикератакже использует те же функции, большую часть тех же методов внешней обработки и классификации, что и при распознавании речи. Исчерпывающий учебник «Основы распознавания говорящих» является подробным источником последних сведений по теории и практике. [111] Хорошее представление о методах, используемых в лучших современных системах, можно получить, обратив внимание на оценки, спонсируемые государством, например, организованные DARPA (крупнейший проект, связанный с распознаванием речи, продолжающийся на 2007 год, - это проект GALE, который включает компоненты распознавания речи и перевода).

Хорошее и доступное введение в технологию распознавания речи и ее историю дает книга Роберто Пьераччини «Голос в машине. Создание компьютеров, которые понимают речь» (2012).

Самая последняя книга по распознаванию речи - « Автоматическое распознавание речи: подход к глубокому обучению» (издатель: Springer), написанная исследователями Microsoft Д. Ю и Л. Дэн и опубликованная в конце 2014 г., с высоко математически ориентированными техническими подробностями о том, как глубокое обучение методы выводятся и реализуются в современных системах распознавания речи на основе DNN и связанных с ними методов глубокого обучения. [73]В связанной книге, опубликованной ранее в 2014 г. «Глубокое обучение: методы и приложения» Л. Дэна и Д. Ю, представлен менее технический, но более ориентированный на методологию обзор распознавания речи на основе DNN в 2009–2014 гг. общий контекст приложений глубокого обучения, включая не только распознавание речи, но и распознавание изображений, обработку естественного языка, поиск информации, мультимодальную обработку и многозадачное обучение. [69]

Программное обеспечение [ править ]

С точки зрения свободно доступных ресурсов, инструментарий Sphinx Университета Карнеги-Меллона - это одно из первых мест, с которого можно начать как узнавать о распознавании речи, так и начинать эксперименты. Другой ресурс (бесплатный, но защищенный авторским правом) - это книга HTK (и сопутствующий инструментарий HTK). Для более современных и современных методов можно использовать инструментарий Kaldi . [ необходима цитата ] В 2017 году Mozilla запустила проект с открытым исходным кодом под названием Common Voice [112], чтобы собрать большую базу данных голосов, которая поможет создать проект по распознаванию свободной речи DeepSpeech (доступен бесплатно на GitHub ) [113]с использованием платформы Google с открытым исходным кодом TensorFlow . [114]

Коммерческие облачные API распознавания речи широко доступны в AWS, Azure, [115] IBM и GCP.

Демонстрация интерактивного распознавателя речи доступна на веб-странице Cobalt. [116]

Дополнительные ресурсы по программному обеспечению см. В разделе Список программного обеспечения для распознавания речи .

См. Также [ править ]

  • Эффект ИИ
  • ALPAC
  • Приложения искусственного интеллекта
  • Распознавание артикуляционной речи
  • Аудио майнинг
  • Аудиовизуальное распознавание речи
  • Автоматический переводчик языков
  • Автомобильное головное устройство
  • Модель языка кеширования
  • Дракон Естественно
  • Свободное владение голосом
  • Google Voice Search
  • IBM ViaVoice
  • Определение ключевых слов
  • Kinect
  • Mondegreen
  • Поиск мультимедийной информации
  • Происхождение речи
  • Технология фонетического поиска
  • Диаризация спикера
  • Распознавание спикера
  • Речевая аналитика
  • Рекомендации по речевому интерфейсу
  • Программное обеспечение для распознавания речи для Linux
  • Синтез речи
  • Проверка речи
  • Субтитры (субтитры)
  • VoiceXML
  • VoxForge
  • Распознавание речи Windows
Списки
  • Список новых технологий
  • Схема искусственного интеллекта
  • Хронология распознавания речи и голоса

Ссылки [ править ]

  1. ^ "Независимое от говорящего подключенное распознавание речи - компьютерная корпорация пятого поколения" . Fifthgen.com. Архивировано 11 ноября 2013 года . Проверено 15 июня 2013 года .
  2. ^ П. Нгуен (2010). «Автоматическая классификация характеристик динамика». Международная конференция по связи и электронике 2010 . С. 147–152. DOI : 10.1109 / ICCE.2010.5670700 . ISBN 978-1-4244-7055-6. S2CID  13482115 .
  3. ^ "Британское английское определение распознавания голоса" . Macmillan Publishers Limited. Архивировано 16 сентября 2011 года . Проверено 21 февраля 2012 года .
  4. ^ "Распознавание голоса, определение" . WebFinance, Inc. Архивировано 3 декабря 2011 года . Проверено 21 февраля 2012 года .
  5. ^ "Почтовый мешок LG # 114" . Linuxgazette.net. Архивировано 19 февраля 2013 года . Проверено 15 июня 2013 года .
  6. ^ Саранги, Сусанта; Сахидулла, штат Мэриленд; Саха, Гоутам (сентябрь 2020 г.). «Оптимизация набора фильтров на основе данных для автоматической проверки говорящего». Цифровая обработка сигналов . 104 : 102795. arXiv : 2007.10729 . DOI : 10.1016 / j.dsp.2020.102795 . S2CID 220665533 . 
  7. ^ Рейнольдс, Дуглас; Роуз, Ричард (январь 1995 г.). «Надежные текст независимых идентификации дикторов с использованием модели гауссовой смеси акустических систем » (PDF) . Транзакции IEEE по обработке речи и звука . 3 (1): 72–83. DOI : 10.1109 / 89.365379 . ISSN 1063-6676 . OCLC 26108901 . Архивировано 8 марта 2014 года (PDF) . Проверено 21 февраля 2014 года .   
  8. ^ «Идентификация динамика (WhisperID)» . Microsoft Research . Microsoft. Архивировано 25 февраля 2014 года . Проверено 21 февраля 2014 года . Когда вы говорите с кем-то, они не просто узнают, что вы говорите: они узнают, кто вы. WhisperID позволяет компьютерам делать то же самое, выясняя, кто вы, по тому, как вы говорите.
  9. ^ "Некрологи: Стивен Балашек" . Стар-Леджер . 22 июля 2012 г.
  10. ^ "IBM-Shoebox-front.jpg" . androidauthority.net . Проверено 4 апреля 2019 года .
  11. ^ Хуанг, BH; Рабинер, Лоуренс Р. «Автоматическое распознавание речи - краткая история развития технологии» (PDF) : 6. Архивировано (PDF) из оригинала 17 августа 2014 года . Проверено 17 января 2015 года . Цитировать журнал требует |journal=( помощь )
  12. ^ a b Мелани Пинола (2 ноября 2011 г.). «Распознавание речи через десятилетия: как мы закончили с Siri» . Мир ПК . Проверено 22 октября 2018 года .
  13. ^ Грей, Роберт М. (2010). «История цифровой речи в реальном времени в пакетных сетях: Часть II линейного прогнозирующего кодирования и Интернет-протокола» (PDF) . Найденный. Тенденции сигнального процесса . 3 (4): 203–303. DOI : 10.1561 / 2000000036 . ISSN 1932-8346 .  
  14. ^ Джон Р. Пирс (1969). «Куда распознавание речи?». Журнал Акустического общества Америки . 46 (48): 1049–1051. Bibcode : 1969ASAJ ... 46.1049P . DOI : 10.1121 / 1.1911801 .
  15. ^ Бенести, Джейкоб; Сонди, ММ; Хуанг, Итэн (2008). Справочник Springer по обработке речи . Springer Science & Business Media. ISBN 978-3540491255.
  16. ^ Джон Махоул. «Медалист ISCA: за лидерство и большой вклад в обработку речи и языка» . Архивировано 24 января 2018 года . Проверено 23 января 2018 года .
  17. ^ Блехман, РО; Блехман, Николай (23 июня 2008 г.). «Привет, Хэл» . Житель Нью-Йорка . Архивировано 20 января 2015 года . Проверено 17 января 2015 года .
  18. ^ Клатт, Деннис Х. (1977). «Обзор проекта по пониманию речи ARPA». Журнал акустического общества Америки . 62 (6): 1345–1366. Bibcode : 1977ASAJ ... 62.1345K . DOI : 10.1121 / 1.381666 .
  19. ^ Рабинер (1984). "Общество акустики, речи и обработки сигналов. Историческая перспектива" (PDF) . Архивировано (PDF) из оригинала 9 августа 2017 года . Проверено 23 января 2018 года . Цитировать журнал требует |journal=( помощь )
  20. ^ "Из первых рук: Скрытая марковская модель - Вики по истории разработки и технологии" . ethw.org . Архивировано 3 апреля 2018 года . Проверено 1 мая 2018 .
  21. ^ a b "Интервью Джеймса Бейкера" . Архивировано 28 августа 2017 года . Проверено 9 февраля +2017 .
  22. ^ «Новаторское распознавание речи» . 7 марта 2012. Архивировано 19 февраля 2015 года . Проверено 18 января 2015 года .
  23. ^ a b c Сюэдун Хуанг; Джеймс Бейкер; Радж Редди. «Историческая перспектива распознавания речи» . Коммуникации ACM. Архивировано 20 января 2015 года . Проверено 20 января 2015 года .
  24. ^ Хуанг, BH; Рабинер, Лоуренс Р. «Автоматическое распознавание речи - краткая история развития технологии» (PDF) : 10. Архивировано (PDF) из оригинала 17 августа 2014 года . Проверено 17 января 2015 года . Цитировать журнал требует |journal=( помощь )
  25. ^ «История распознавания речи» . Медицинская транскрипция дракона . Архивировано из оригинального 13 августа 2015 года . Проверено 17 января 2015 года .
  26. ↑ Кевин Маккин (8 апреля 1980 г.). «Когда Коул говорит, компьютеры слушают» . Сарасота Журнал. AP . Проверено 23 ноября 2015 года .
  27. ↑ Мелани Пинола (2 ноября 2011 г.). «Распознавание речи через десятилетия: как мы закончили с Siri» . Мир ПК . Архивировано 13 января 2017 года . Проверено 28 июля 2017 года .
  28. ^ "Биография Рэя Курцвейла" . KurzweilAINetwork. Архивировано 5 февраля 2014 года . Проверено 25 сентября 2014 года .
  29. ^ Хуанг, BH; Рабинер, Лоуренс. «Автоматическое распознавание речи - краткая история развития технологий» (PDF) . Архивировано (PDF) из оригинала 9 августа 2017 года . Проверено 28 июля 2017 года . Цитировать журнал требует |journal=( помощь )
  30. ^ «Nuance Exec на iPhone 4S, Siri и будущее речи» . Тех. Шурупы. 10 октября 2011 года архивации от оригинала 19 ноября 2011 года . Проверено 23 ноября 2011 года .
  31. ^ "Коммутатор-1 Выпуск 2" . Архивировано 11 июля 2017 года . Проверено 26 июля 2017 года .
  32. ^ Джейсон Кинкейд. «Сила голоса: разговор с главой речевой технологии Google» . Tech Crunch . Архивировано 21 июля 2015 года . Проверено 21 июля 2015 года .
  33. ^ Froomkin, Dan (5 мая 2015). «КОМПЬЮТЕРЫ СЛУШАЮТ» . Перехват . Архивировано 27 июня 2015 года . Проверено 20 июня 2015 года .
  34. ^ Эрве Бурлард и Нельсон Морган , Коннекционистское распознавание речи: гибридный подход, Международная серия Kluwer в области инженерии и информатики; т. 247, Бостон: Kluwer Academic Publishers, 1994.
  35. ^ a b Зепп Хохрайтер ; Дж. Шмидхубер (1997). «Кратковременная долговременная память». Нейронные вычисления . 9 (8): 1735–1780. DOI : 10.1162 / neco.1997.9.8.1735 . PMID 9377276 . S2CID 1915014 .  
  36. ^ Шмидхубер, Юрген (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети . 61 : 85–117. arXiv : 1404,7828 . DOI : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 . S2CID 11715509 .  
  37. ↑ Алекс Грейвс, Сантьяго Фернандес, Фаустино Гомес и Юрген Шмидхубер (2006). Временная классификация коннекционистов: маркировка несегментированных данных последовательностей с помощью повторяющихся нейронных сетей . Материалы ICML'06. С. 369–376.
  38. ^ Сантьяго Фернандес, Алекс Грейвс и Юрген Шмидхубер (2007). Применение рекуррентных нейронных сетей для распознавания ключевых слов . Протоколы ICANN (2), стр. 220–229.
  39. ^ a b Хашим Сак, Эндрю Старший, Канишка Рао, Франсуаза Бофейс и Йохан Шалквик (сентябрь 2015 г.): « Голосовой поиск Google: быстрее и точнее ». Архивировано 9 марта 2016 года в Wayback Machine.
  40. ^ "Ли Дэн" . Сайт Ли Дэн.
  41. ^ Семинар NIPS: Глубокое обучение для распознавания речи и связанных приложений, Уистлер, Британская Колумбия, Канада, декабрь 2009 г. (Организаторы: Ли Дэн, Джефф Хинтон, Д. Ю).
  42. ^ a b c Хинтон, Джеффри; Дэн Ли; Ю, Донг; Даль, Джордж; Мохамед, Абдель-Рахман; Джайтли, Навдип; Старший, Андрей; Ванхаук, Винсент; Нгуен, Патрик; Саинат, Тара; Кингсбери, Брайан (2012). «Глубокие нейронные сети для акустического моделирования в распознавании речи: общие взгляды четырех исследовательских групп». Журнал обработки сигналов IEEE . 29 (6): 82–97. Bibcode : 2012ISPM ... 29 ... 82H . DOI : 10.1109 / MSP.2012.2205597 . S2CID 206485943 . 
  43. ^ a b Deng, L .; Hinton, G .; Кингсбери, Б. (2013). «Новые типы глубокого обучения нейронной сети для распознавания речи и связанных приложений: обзор». Международная конференция IEEE 2013 г. по акустике, обработке речи и сигналов: новые типы глубокого обучения нейронных сетей для распознавания речи и связанных приложений: обзор . п. 8599. DOI : 10,1109 / ICASSP.2013.6639344 . ISBN 978-1-4799-0356-6. S2CID  13953660 .
  44. ^ a b Марков, Джон (23 ноября 2012 г.). «Ученые видят перспективу в программах глубокого обучения» . Нью-Йорк Таймс . Архивировано 30 ноября 2012 года . Проверено 20 января 2015 года .
  45. ^ Морган, Бурлард, Реналс, Коэн, Франко (1993) "Гибридная нейронная сеть / скрытые системы марковской модели для распознавания непрерывной речи. ICASSP / IJPRAI"
  46. ↑ Т. Робинсон (1992). «Система распознавания слов сети распространения повторяющихся ошибок в реальном времени» . [Труды] ICASSP-92: 1992 Международная конференция IEEE по акустике, речи и обработке сигналов . С. 617–620 т.1. DOI : 10.1109 / ICASSP.1992.225833 . ISBN 0-7803-0532-9. S2CID  62446313 .
  47. ^ Вайбель , Ханадзава, Хинтон, Шикано, Ланг. (1989) « Распознавание фонем с использованием нейронных сетей с временной задержкой . Транзакции IEEE по акустике, речи и обработке сигналов».
  48. ^ Бейкер, J .; Ли Дэн; Glass, J .; Худанпур, С .; Чин-Хуэй Ли; Morgan, N .; О'Шонесси, Д. (2009). «Развитие и направления в распознавании и понимании речи, часть 1». Журнал обработки сигналов IEEE . 26 (3): 75–80. Bibcode : 2009ISPM ... 26 ... 75В . DOI : 10.1109 / MSP.2009.932166 . S2CID 357467 . 
  49. ^ Зепп Hochreiter (1991), Untersuchungen цу dynamischen neuronalen Netzen архивации 6 марта 2015 в Wayback Machine , дипломной работы. Institut f. Informatik, Technische Univ. Мюнхен. Советник: Я. Шмидхубер.
  50. ^ Bengio, Y. (1991). Искусственные нейронные сети и их применение для распознавания речи / последовательности (доктор философии). Университет Макгилла.
  51. ^ Дэн, L .; Hassanein, K .; Элмасри, М. (1994). «Анализ корреляционной структуры для нейронной прогнозирующей модели с приложением к распознаванию речи». Нейронные сети . 7 (2): 331–339. DOI : 10.1016 / 0893-6080 (94) 90027-2 .
  52. ^ Основной доклад: Последние разработки в глубоких нейронных сетях. ICASSP, 2013 (Джефф Хинтон).
  53. ^ a b Основной доклад: « Достижения и проблемы глубокого обучения: от анализа и распознавания речи до языка и мультимодальной обработки », Interspeech, сентябрь 2014 г. ( Ли Дэн ).
  54. ^ «Улучшения в программном обеспечении распознавания голоса увеличиваются» . TechRepublic.com . 27 августа 2002 г. Манерс сказал, что IBM работает над улучшением распознавания речи ... или в зале шумной торговой выставки.
  55. ^ «Распознавание голоса для облегчения бронирования путешествий: Новости деловых поездок» . BusinessTravelNews.com . 3 марта 1997 года. Самыми ранними приложениями программного обеспечения для распознавания речи были диктовки… Четыре месяца назад IBM представила «продукт для непрерывной диктовки», разработанный для… дебютировавшего на выставке National Business Travel Association в 1994 году.
  56. ↑ Эллис Букер (14 марта 1994 г.). «Распознавание голоса становится мейнстримом». Компьютерный мир . п. 45. Всего несколько лет назад распознавание речи ограничивалось ...
  57. ^ «Исследователи Microsoft достигли нового рубежа в распознавании разговорной речи» . 21 августа 2017.
  58. ^ Гоэль, Вайбхава; Бирн, Уильям Дж. (2000). «Автоматическое распознавание речи с минимальным байесовским риском» . Компьютерная речь и язык . 14 (2): 115–135. DOI : 10,1006 / csla.2000.0138 . Архивировано 25 июля 2011 года . Проверено 28 марта 2011 года .
  59. ^ Мохри, М. (2002). «Расстояние редактирования взвешенных автоматов: общие определения и алгоритмы» (PDF) . Международный журнал основ информатики . 14 (6): 957–982. DOI : 10.1142 / S0129054103002114 . Архивировано (PDF) из оригинала 18 марта 2012 года . Проверено 28 марта 2011 года .
  60. ^ Waibel, A .; Hanazawa, T .; Hinton, G .; Shikano, K .; Ланг, KJ (1989). «Распознавание фонем с помощью нейронных сетей с запаздыванием». Транзакции IEEE по акустике, речи и обработке сигналов . 37 (3): 328–339. DOI : 10.1109 / 29.21701 . hdl : 10338.dmlcz / 135496 .
  61. ^ Берд, Джордан Дж .; Ваннер, Элизабет; Экарт, Анико; Фариа, Диего Р. (2020). «Оптимизация фонетического распознавания речи с помощью многоцелевых эволюционных алгоритмов». Экспертные системы с приложениями . Elsevier BV. 153 : 113402. DOI : 10.1016 / j.eswa.2020.113402 . ISSN 0957-4174 . 
  62. ^ Wu, J .; Чан, К. (1993). «Распознавание изолированных слов с помощью моделей нейронных сетей с коэффициентами кросс-корреляции для динамики речи». IEEE Transactions по анализу шаблонов и машинному анализу . 15 (11): 1174–1185. DOI : 10.1109 / 34.244678 .
  63. ^ SA Zahorian, AM Zimmer и F. Meng, (2002) « Классификация гласных для компьютерной визуальной обратной связи для обучения речи для слабослышащих » в ICSLP 2002
  64. ^ Ху, Хунбинь; Захориан, Стивен А. (2010). "Методы уменьшения размерности для фонетического распознавания HMM" (PDF) . ICASSP 2010 . Архивировано 6 июля 2012 года (PDF) .
  65. ^ Фернандес, Сантьяго; Грейвс, Алекс; Шмидхубер, Юрген (2007). «Маркировка последовательностей в структурированных доменах с иерархическими рекуррентными нейронными сетями» (PDF) . Труды IJCAI . Архивировано (PDF) из оригинала 15 августа 2017 года.
  66. ^ Грейвс, Алекс; Мохамед, Абдель-Рахман; Хинтон, Джеффри (2013). «Распознавание речи с помощью глубоких рекуррентных нейронных сетей». arXiv : 1303.5778 [ cs.NE ]. ICASSP 2013.
  67. ^ Waibel, Алекс (1989). «Модульное построение нейронных сетей с задержкой для распознавания речи» (PDF) . Нейронные вычисления . 1 (1): 39–46. DOI : 10,1162 / neco.1989.1.1.39 . S2CID 236321 . Архивировано 29 июня 2016 года (PDF) из оригинала.  
  68. ^ Маас, Эндрю Л .; Le, Quoc V .; О'Нил, Тайлер М .; Виньялс, Ориол; Нгуен, Патрик; Нг, Эндрю Ю. (2012). «Рекуррентные нейронные сети для снижения шума в надежном ASR». Труды Interspeech 2012 .
  69. ^ a b Дэн, Ли; Ю, Донг (2014). «Глубокое обучение: методы и приложения» (PDF) . Основы и тенденции в обработке сигналов . 7 (3–4): 197–387. CiteSeerX 10.1.1.691.3679 . DOI : 10.1561 / 2000000039 . Архивировано 22 октября 2014 года (PDF) .  
  70. ^ Yu, D .; Deng, L .; Даль, Г. (2010). «Роли предварительного обучения и тонкой настройки в контекстно-зависимых DBN-HMM для распознавания речи в реальном мире» (PDF) . Семинар NIPS по глубокому обучению и неконтролируемому обучению функций .
  71. ^ Даль, Джордж Э .; Ю, Донг; Дэн Ли; Асеро, Алекс (2012). «Контекстно-зависимые предварительно обученные глубокие нейронные сети для распознавания речи с большим словарным запасом». Транзакции IEEE по обработке звука, речи и языка . 20 (1): 30–42. DOI : 10,1109 / TASL.2011.2134090 . S2CID 14862572 . 
  72. ^ Deng L., Li, J., Huang, J., Yao, K., Yu, D., Seide, F. et al. Последние достижения в области глубокого обучения для исследования речи в Microsoft . ICASSP, 2013.
  73. ^ а б Ю, Д .; Дэн, Л. (2014). «Автоматическое распознавание речи: подход глубокого обучения (Издатель: Springer)». Цитировать журнал требует |journal=( помощь )
  74. ^ Дэн, L .; Ли, Сяо (2013). «Парадигмы машинного обучения для распознавания речи: обзор» (PDF) . Транзакции IEEE по обработке звука, речи и языка . 21 (5): 1060–1089. DOI : 10,1109 / TASL.2013.2244083 . S2CID 16585863 .  
  75. ^ Шмидхубер, Юрген (2015). «Глубокое обучение» . Scholarpedia . 10 (11): 32832. Bibcode : 2015SchpJ..1032832S . DOI : 10,4249 / scholarpedia.32832 .
  76. ^ Л. Денг, М. Зельцер, Д. Ю, А. Асеро, А. Мохамед и Г. Хинтон (2010) Двоичное кодирование речевых спектрограмм с использованием глубинного автокодировщика . Межречье.
  77. ^ Tüske, Zoltán; Голик, Павел; Шлютер, Ральф; Ней, Германн (2014). «Акустическое моделирование с глубокими нейронными сетями с использованием необработанного временного сигнала для LVCSR» (PDF) . Интерспич 2014 . Архивировано (PDF) из оригинала 21 декабря 2016 года.
  78. ^ Jurafsky, Daniel (2016). Обработка речи и языка .
  79. Перейти ↑ Graves, Alex (2014). «На пути к сквозному распознаванию речи с рекуррентными нейронными сетями» (PDF) . ICML .
  80. ^ Amodei, Dario (2016). «Глубокая речь 2: Сквозное распознавание речи на английском и мандаринском языках». arXiv : 1512.02595 [ cs.CL ].
  81. ^ "LipNet: Как вы думаете, насколько легко читать по губам?" . YouTube . Архивировано 27 апреля 2017 года . Дата обращения 5 мая 2017 .
  82. ^ Ассаэль, Яннис; Шиллингфорд, Брендан; Уайтсон, Шимон; де Фрейтас, Нандо (5 ноября 2016 г.). «LipNet: непрерывное чтение по губам на уровне предложения». arXiv : 1611.01599 [ cs.CV ].
  83. ^ Шиллингфорд, Брендан; Ассаэль, Яннис; Хоффман, Мэтью В .; Пейн, Томас; Хьюз, Сиан; Прабху, Утсав; Ляо, Хэнк; Сак, хасим; Рао, Канишка (13 июля 2018 г.). «Широкомасштабное визуальное распознавание речи». arXiv : 1807.05162 [ cs.CV ].
  84. ^ Чан, Уильям; Джайтли, Навдип; Ле, Куок; Виньялс, Ориол (2016). «Слушайте, посещайте и пишите: нейронная сеть для распознавания разговорной речи с большим словарным запасом» (PDF) . ICASSP .
  85. ^ Bahdanau, Dzmitry (2016). «Сквозное распознавание речи с большим словарным запасом на основе внимания». arXiv : 1508.04395 [ cs.CL ].
  86. ^ Хоровски, Ян; Джайтли, Навдип (8 декабря 2016 г.). «На пути к лучшему декодированию и интеграции языковых моделей последовательно с моделями последовательностей». arXiv : 1612.02695 [ cs.NE ].
  87. ^ Чан, Уильям; Чжан, Ю; Ле, Куок; Джайтли, Навдип (10 октября 2016 г.). «Скрытые разложения последовательности». arXiv : 1610.03035 [ stat.ML ].
  88. ^ Чунг, Джун Сон; Старший, Андрей; Виньялс, Ориол; Зиссерман, Андрей (16 ноября 2016 г.). «Приговоры для чтения по губам в дикой природе». Конференция IEEE 2017 года по компьютерному зрению и распознаванию образов (CVPR) . С. 3444–3453. arXiv : 1611.05358 . DOI : 10.1109 / CVPR.2017.367 . ISBN 978-1-5386-0457-1. S2CID  1662180 .
  89. Перейти ↑ Englund, Christine (2004). Распознавание речи в самолете JAS 39 Gripen: Адаптация к речи при различных перегрузках (PDF) (магистерская диссертация). Стокгольмский Королевский технологический институт . Архивировано 2 октября 2008 года (PDF) .
  90. ^ "Кабина" . Еврофайтер Тайфун . Архивировано 1 марта 2017 года.
  91. ^ "Eurofighter Typhoon - Самый продвинутый истребитель в мире" . www.eurofighter.com . Архивировано 11 мая 2013 года . Проверено 1 мая 2018 .
  92. ^ Шютте, Джон (15 октября 2007 г.). «Исследователи отлаживают речевую систему пилота F-35» . ВВС США. Архивировано из оригинального 20 октября 2007 года.
  93. ^ Серф, Винтон; Врубель, Роб; Шервуд, Сьюзен. «Может ли программное обеспечение для распознавания речи преодолеть языковые барьеры в образовании?» . Curiosity.com . Discovery Communications. Архивировано из оригинального 7 -го апреля 2014 года . Проверено 26 марта 2014 .
  94. ^ a b «Распознавание речи для обучения» . Национальный центр технологических инноваций. 2010. Архивировано 13 апреля 2014 года . Проверено 26 марта 2014 .
  95. ^ Фолленсби, Боб; Макклоски-Дейл, Сьюзан (2000). «Распознавание речи в школах: новости с мест» . Технологии и инвалиды конференцией 2000 года . Архивировано 21 августа 2006 года . Проверено 26 марта 2014 .
  96. ^ «Преодоление коммуникационных барьеров в классе» . MassMATCH. 18 марта 2010. Архивировано 25 июля 2013 года . Проверено 15 июня 2013 года .
  97. ^ «Распознавание речи для людей с ограниченными возможностями» . Архивировано 4 апреля 2008 года.
  98. ^ Международная группа поддержки друзей
  99. ^ Гарретт, Дженнифер Тумлин; и другие. (2011). «Использование программного обеспечения для распознавания речи для повышения беглости письма для людей с физическими недостатками» . Журнал технологии специального образования . 26 (1): 25–41. DOI : 10.1177 / 016264341102600104 . S2CID 142730664 . 
  100. ^ Форгрейв, Карен Э. «Вспомогательные технологии: расширение прав и возможностей студентов с ограниченными возможностями». Информационный центр 75.3 (2002): 122–6. Интернет.
  101. ^ Тан, кВт; Камуа, Рида; Сутан, Виктор (2004). «Технология распознавания речи в образовании с ограниченными возможностями». Журнал систем образовательных технологий . 33 (2): 173–84. CiteSeerX 10.1.1.631.3736 . DOI : 10.2190 / K6K8-78K2-59Y7-R9R2 . S2CID 143159997 .  
  102. ^ "Проекты: Планетарные микрофоны" . Планетарное общество. Архивировано из оригинального 27 января 2012 года .
  103. ^ Каридакис, Джордж; Кастеллано, Джиневра; Кессоус, Лоик; Раузайу, Амариллис; Малатеста, Лори; Астериадис, Стелиос; Карпузис, Костас (19 сентября 2007 г.). Мультимодальное распознавание эмоций по выразительным лицам, телодвижениям и речи . IFIP Международная федерация обработки информации . 247 . Springer США. С. 375–388. DOI : 10.1007 / 978-0-387-74161-1_41 . ISBN 978-0-387-74160-4.
  104. ^ Чжэн, Томас Фанг; Ли, Ланьтянь (2017). Проблемы, связанные с надежностью распознавания говорящего . SpringerBriefs в области электротехники и вычислительной техники. Сингапур: Springer Singapore. DOI : 10.1007 / 978-981-10-3238-7 . ISBN 978-981-10-3237-0.
  105. ^ Чарамелла, Альберто. «Отчет об оценке производительности прототипа». Набор солнечных часов 8000 (1993).
  106. ^ Gerbino, E .; Baggia, P .; Ciaramella, A .; Руллент, К. (1993). «Тестирование и оценка системы разговорного диалога». Международная конференция IEEE по акустике обработки речи и сигналов . С. 135–138 т.2. DOI : 10.1109 / ICASSP.1993.319250 . ISBN 0-7803-0946-4. S2CID  57374050 .
  107. ^ Национальный институт стандартов и технологий. « История оценки автоматического распознавания речи в NIST, заархивированная 8 октября 2013 года в Wayback Machine ».
  108. ^ «Слушайте: ваш AI-помощник тоже сходит с ума от NPR» . NPR . 6 марта 2016. Архивировано 23 июля 2017 года.
  109. ^ Claburn, Томас (25 августа 2017). «Можно ли управлять Amazon Alexa, Google Now с помощью неслышных команд? Абсолютно» . Реестр . Архивировано 2 сентября 2017 года.
  110. ^ «Атака на системы автоматического распознавания речи» . Vice.com . 31 января 2018. Архивировано 3 марта 2018 года . Проверено 1 мая 2018 .
  111. ^ Beigi, Homayoon (2011). Основы распознавания говорящего . Нью-Йорк: Спрингер. ISBN 978-0-387-77591-3. Архивировано 31 января 2018 года.
  112. ^ "Общий голос Mozilla" . voice.mozilla.org .
  113. ^ "Реализация TensorFlow архитектуры Baidu DeepSpeech: mozilla / DeepSpeech" . 9 ноября 2019 г. - через GitHub.
  114. ^ «GitHub - tensorflow / docs: документация TensorFlow» . 9 ноября 2019 г. - через GitHub.
  115. ^ «Службы когнитивной речи | Microsoft Azure» . azure.microsoft.com .
  116. ^ «Кобальтовая речь: демонстрация распознавания речи» . demo-cubic.cobaltspeech.com .

Дальнейшее чтение [ править ]

  • Пьерачини, Роберто (2012). Голос в машине. Создание компьютеров, понимающих речь . MIT Press. ISBN 978-0262016858.
  • Вельфель, Матиас; Макдонаф, Джон (26 мая 2009 г.). Распознавание речи на расстоянии . Вайли. ISBN 978-0470517048.
  • Карат, Клэр-Мари; Верго, Джон; Нахаму, Дэвид (2007). «Технологии разговорного интерфейса». В Sears, Эндрю ; Джеко, Джули А. (ред.). Справочник по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения (человеческий фактор и эргономика) . Лоуренс Эрлбаум Ассошиэйтс Инк. ISBN 978-0-8058-5870-9.
  • Коул, Рональд; Мариани, Джозеф ; Uszkoreit, Hans; Вариле, Джованни Баттиста; Заенен, Энни; Замполли; Зу, Виктор, ред. (1997). Обзор современного состояния технологий человеческого языка . Кембриджские исследования в области обработки естественного языка. XII – XIII. Издательство Кембриджского университета. ISBN 978-0-521-59277-2.
  • Junqua, J.-C .; Хатон, Ж.-П. (1995). Устойчивость в автоматическом распознавании речи: основы и приложения . Kluwer Academic Publishers. ISBN 978-0-7923-9646-8.
  • Пирани, Джанкарло, изд. (2013). Продвинутые алгоритмы и архитектуры для понимания речи . Springer Science & Business Media. ISBN 978-3-642-84341-9.

Внешние ссылки [ править ]

  • Подписавший, Beat and Hoste, Lode: SpeeG2: интерфейс на основе речи и жестов для эффективного ввода текста без контроллера , In Proceedings of ICMI 2013, 15-я Международная конференция по мультимодальному взаимодействию, Сидней, Австралия, декабрь 2013 г.
  • Речевые технологии в Curlie