Временная классификация коннекционистов ( CTC ) - это тип вывода нейронной сети и связанная с ней функция оценки для обучения рекуррентных нейронных сетей (RNN), таких как сети LSTM, для решения проблем с последовательностью, где время является переменным. Его можно использовать для таких задач, как онлайн- распознавание рукописного ввода [1] или распознавание фонем в звуковой речи. CTC относится к выходным данным и оценке и не зависит от базовой структуры нейронной сети. Он был представлен в 2006 году. [2]
Входными данными является последовательность наблюдений, а выходными данными - последовательность меток, которые могут включать пустые выходные данные. Сложность обучения возникает из-за того, что наблюдений гораздо больше, чем ярлыков. Например, в звуковой речи может быть несколько отрезков времени, соответствующих одной фонеме. Поскольку мы не знаем выравнивания наблюдаемой последовательности с целевыми метками, мы прогнозируем распределение вероятностей на каждом временном шаге. [3] Сеть CTC имеет непрерывный выход (например, softmax), который настраивается путем обучения для моделирования вероятности метки. CTC не пытается узнать границы и время: последовательности меток считаются эквивалентными, если они различаются только выравниванием, игнорируя пробелы. Эквивалентные последовательности меток могут возникать по-разному, что делает оценку нетривиальной задачей, но для этого существует эффективный алгоритм прямого и обратного направления .
Затем оценки CTC можно использовать с алгоритмом обратного распространения для обновления весов нейронной сети.
Альтернативные подходы к нейронной сети, оснащенной CTC, включают скрытую марковскую модель (HMM).
Рекомендации
- ^ Ливицки, Маркус; Грейвс, Алекс; Бунке, Хорст; Шмидхубер, Юрген (2007). «Новый подход к распознаванию рукописного текста в режиме онлайн, основанный на двунаправленных сетях долговременной краткосрочной памяти». В материалах 9-й Международной конференции по анализу и распознаванию документов, ICDAR 2007 . CiteSeerX 10.1.1.139.5852 .
- ^ Грейвс, Алекс; Фернандес, Сантьяго; Гомес, Фаустино (2006). «Временная классификация коннекционистов: маркировка несегментированных данных последовательности с помощью рекуррентных нейронных сетей». В материалах Международной конференции по машинному обучению, ICML 2006 : 369–376. CiteSeerX 10.1.1.75.6306 .
- ^ Ханнун, Авни (27 ноября 2017 г.). «Последовательное моделирование с помощью СТС». Дистиллировать . 2 (11). arXiv : 1508.01211 . DOI : 10,23915 / distill.00008 . ISSN 2476-0757 .