Нейронный машинный перевод

Нейронный машинный перевод (NMT) - это подход к машинному переводу, который использует искусственную нейронную сеть для прогнозирования вероятности последовательности слов, обычно моделируя целые предложения в единой интегрированной модели.

Свойства [ править ]

Им требуется лишь небольшая часть памяти, необходимой для традиционных моделей статистического машинного перевода (SMT). Кроме того, в отличие от обычных систем перевода, все части нейронной модели перевода обучаются совместно (от начала до конца), чтобы максимизировать производительность перевода. ^{[1] [2] [3]}

История [ править ]

Приложения глубокого обучения впервые появились в области распознавания речи в 1990-х годах. Первая научная статья об использовании нейронных сетей в машинном переводе появилась в 2014 году, после чего в последующие несколько лет последовал большой прогресс. (NMT с большим словарем, приложение для создания подписей к изображениям, Subword-NMT, Multilingual NMT, Multi-Source NMT, Character-dec NMT, Zero-Resource NMT, Google, Fully Character-NMT, Zero-Shot NMT в 2017 г.) В 2015 г. был первым появлением системы NMT на публичном конкурсе машинного перевода (OpenMT'15). WMT'15 также впервые имел соперника по NMT; в следующем году среди победителей уже было 90% систем NMT. ^[4]

Работы [ править ]

NMT отходит от статистических подходов на основе фраз , в которых используются отдельно разработанные подкомпоненты. ^[5] Нейронный машинный перевод (NMT) не является радикальным шагом вперед по сравнению с тем, что традиционно делается в статистическом машинном переводе (SMT). Его основным отличием является использование векторных представлений («вложений», «непрерывных пространственных представлений») для слов и внутренних состояний. Структура моделей проще, чем модели, основанные на фразах. Не существует отдельной языковой модели, модели перевода и модели переупорядочения, а есть только одна модель последовательности, которая предсказывает одно слово за раз. Однако это предсказание последовательности зависит от всего исходного предложения и всей уже созданной целевой последовательности. Модели NMT используют глубокое обучение ирепрезентативное обучение .

Моделирование последовательности слов сначала обычно выполнялось с использованием рекуррентной нейронной сети (RNN). Двунаправленная рекуррентная нейронная сеть, известная как кодировщик , используется нейронной сетью для кодирования исходного предложения для второй RNN, известного как декодер , который используется для предсказания слов на целевом языке . ^[6] Рекуррентные нейронные сети сталкиваются с трудностями при кодировании длинных входных данных в один вектор. Это может быть компенсировано механизмом внимания ^[7].что позволяет декодеру фокусироваться на разных частях ввода при генерации каждого слова вывода. Существуют и другие модели охвата, решающие проблемы в таких механизмах внимания, такие как игнорирование прошлой информации о согласовании, приводящей к чрезмерному и недостаточному переводу. ^[8]

Сверточные нейронные сети (Convnets) в принципе несколько лучше подходят для длинных непрерывных последовательностей, но изначально не использовались из-за нескольких недостатков. Они были успешно компенсированы в 2017 году с помощью «механизмов внимания». ^[9]

Архитектура преобразователя ^[10], основанная на внимании, остается доминирующей архитектурой для нескольких языковых пар. ^[11]

Ссылки [ править ]