Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Машинный перевод языка жестов был возможно, хотя и в ограниченных масштабах , с 1977 г. Когда исследовательский проект успешно сравнена английские буквы с клавиатуры в ASL ручной букву алфавита , которые были смоделированы на роботизированную руку. Эти технологии переводят жестовые языки на письменную или устную речь, а письменную или устную речь на жестовый язык без использования человека-переводчика . Языки жестов обладают фонологическими особенностями, отличными от разговорных языков, что создает препятствия для разработчиков. Разработчики используют компьютерное зрение и машинное обучение для распознавания определенных фонологических параметров и эпентезов [1] уникальна для жестовых языков, а распознавание речи и обработка естественного языка обеспечивают интерактивное общение между слышащими и глухими людьми.

Ограничения [ править ]

Технологии перевода на жестовый язык ограничены так же, как и устный перевод. Никто не может переводить со 100% точностью. Фактически, технологии перевода на язык жестов сильно отстают от своих устных аналогов. Это, нетривиально, связано с тем, что жестовые языки имеют несколько артикуляторов. Там, где разговорные языки артикулируются через голосовой тракт, жестовые языки артикулируются через руки, руки, голову, плечи, туловище и части лица. Эта многоканальная артикуляция очень затрудняет перевод жестовых языков. Дополнительной проблемой для жестового языка МП является отсутствие формального письменного формата для жестовых языков. Существуют системы обозначений, но ни одна система письма не была принята международным сообществом глухих достаточно широко, чтобы ее можно было считатьписьменная форма данного языка жестов. Затем жестовые языки записываются в различных видеоформатах. Нет золотого стандартапараллельный корпус , достаточно большой, например, для SMT.

История [ править ]

История автоматического перевода на язык жестов началась с разработки аппаратного обеспечения, такого как руки роботов для распознавания слов с помощью пальца. В 1977 году в рамках проекта рукописного ввода пальцев под названием RALPH (сокращение от «Роботизированный алфавит») была создана рука-робот, способная переводить алфавиты в рукописное написание. [2] Позже использование перчаток с датчиками движения стало массовым явлением, и появились такие проекты, как CyberGlove и VPL Data Glove. [3] Носимое оборудование позволяло фиксировать формы и движения рук подписывающих с помощью компьютерного программного обеспечения. Однако с развитием компьютерного зрения носимые устройства были заменены камерами из-за их эффективности и меньших физических ограничений для подписывающих лиц. [3]Для обработки данных, собранных с помощью устройств, исследователи внедрили нейронные сети, такие как Stuttgart Neural Network Simulator [4], для распознавания образов в таких проектах, как CyberGlove. Исследователи также используют множество других подходов для распознавания знаков. Например, скрытые марковские модели используются для статистического анализа данных [3], а GRASP и другие программы машинного обучения используют обучающие наборы для повышения точности распознавания знаков. [5] Сочетание не носимых технологий, таких как камеры и контроллеры Leap Motion , показало, что увеличивает возможности программного обеспечения для автоматического распознавания языка жестов и перевода. [6]

Технологии [ править ]

VISICAST [ править ]

http://www.visicast.cmp.uea.ac.uk/Visicast_index.html

проект eSIGN [ править ]

http://www.visicast.cmp.uea.ac.uk/eSIGN/index.html

Проект аватаров американского языка жестов в Университете ДеПола [ править ]

http://asl.cs.depaul.edu/

Испанский в LSE [ править ]

https://www.semanticscholar.org/paper/Methodology-for-developing-a-Speech-into-Sign-in-aL%C3%B3pez-Lude%C3%B1a-San-Segundo/496f8e35add9fad94a59156f473261ecd3175635

SignAloud [ править ]

SignAloud - это технология, которая включает пару перчаток, изготовленных группой студентов Вашингтонского университета, которые транслитерируют [7] американский язык жестов (ASL) на английский. [8] В феврале 2015 года Томас Прайор, слушатель из Вашингтонского университета, создал первый прототип этого устройства на хакатоне Hack Arizona в Университете Аризоны. Прайор продолжил разработку изобретения, и в октябре 2015 года Прайор пригласил Навида Азоди в проект SignAloud для маркетинга и помощи в связях с общественностью. Азоди имеет богатый опыт и участие в управлении бизнесом, а Прайор имеет богатый опыт в инженерии. [9]В мае 2016 года дуэт сообщил NPR, что они более тесно работают с людьми, которые используют ASL, чтобы они могли лучше понимать свою аудиторию и адаптировать свой продукт к потребностям этих людей, а не предполагаемым потребностям. [10] Однако с тех пор не было выпущено никаких других версий. Это изобретение было одним из семи, получивших студенческую премию Lemelson-MIT, которая направлена ​​на награждение и аплодисменты молодых изобретателей. Их изобретение подпадало под действие «Используй!» категория награды, которая включает технологические достижения в существующих продуктах. Им было присуждено 10 000 долларов. [11] [12]

В перчатках есть датчики, которые отслеживают движения рук пользователя, а затем отправляют данные в компьютерную систему через Bluetooth . Компьютерная система анализирует данные и сопоставляет их с английскими словами, которые затем произносятся вслух цифровым голосом. [10] У перчаток нет возможности для письменного ввода данных на английском языке для вывода движения перчаток или способности слышать язык, а затем подписывать его глухим, что означает, что они не обеспечивают взаимного общения. Устройство также не включает выражения лица и другие неуправляемые маркеры языков жестов, которые могут изменить фактическую интерпретацию от ASL. [13]

ProDeaf [ править ]

ProDeaf (WebLibras) [14] - это компьютерная программа, которая может переводить как текст, так и голос на португальский Libras (португальский язык жестов) «с целью улучшения общения между глухими и слышащими». [15] В настоящее время также разрабатывается бета-версия для американского языка жестов . Первоначальная команда начала проект в 2010 году, объединив экспертов, включая лингвистов, дизайнеров, программистов и переводчиков, как слышащих, так и глухих. Команда возникла в Федеральном университете Пернамбуку.(UFPE) от группы студентов, участвующих в проекте по информатике. В группе был глухой член команды, которому было трудно общаться с остальной частью группы. Чтобы завершить проект и помочь товарищам по команде общаться, группа создала Proativa Soluções и с тех пор движется вперед. [16] Текущая бета-версия на американском жестовом языке очень ограничена. Например, есть раздел словаря, и единственное слово под буквой «j» - «прыжок». Если устройство не было запрограммировано со словом, цифровой аватар должен ввести слово по пальцу. Последнее обновление приложения было в июне 2016 года, но ProDeaf был показан в более чем 400 статьях в самых популярных СМИ страны. [17]

Приложение не может читать язык жестов и преобразовывать его в слово или текст, поэтому оно служит только для одностороннего общения. Кроме того, пользователь не может войти в приложение и получить перевод на английский язык в любой форме, поскольку английский язык все еще находится в бета-версии.

Переводчик языка жестов Kinect [ править ]

С 2012 года исследователи Китайской академии наук и специалисты по обучению глухих из Пекинского унионного университета в Китае сотрудничают с азиатской командой Microsoft Research для создания переводчика языка жестов Kinect. [18] Переводчик состоит из двух режимов: режима переводчика и режима связи. В режиме переводчика можно переводить отдельные слова со знака в письменные слова и наоборот. Режим общения может переводить полные предложения, а разговор может быть автоматически переведен с использованием 3D- аватара . Режим переводчика также может определять позы и формы рук подписывающего лица, а также траекторию движения с использованием технологий машинного обучения ,распознавание образов и компьютерное зрение . Устройство также обеспечивает взаимное общение, поскольку технология распознавания речи позволяет переводить разговорный язык на язык жестов, а аватар 3D-моделирования может отвечать глухим людям. [19]

Первоначальный проект был начат в Китае на основе перевода китайского языка жестов . В 2013 году проект был представлен на саммите Microsoft Research Faculty Summit и встрече компании Microsoft. [20] В настоящее время над этим проектом также работают исследователи в Соединенных Штатах, чтобы внедрить перевод на американский язык жестов . [21] На данный момент устройство все еще является прототипом, и точность перевода в режиме связи все еще не идеальна.

SignAll [ править ]

SignAll [22] - это система автоматического перевода на язык жестов, предоставляемая Dolphio Technologies [23] в Венгрии. Команда является «первопроходцем в области автоматизированного перевода на язык жестов, основанного на компьютерном зрении и обработке естественного языка (NLP), чтобы обеспечить повседневное общение между людьми со слухом, которые используют разговорный английский, и глухими или слабослышащими людьми, которые используют ASL». Система SignAll использует Kinect от Microsoft и другие веб-камеры с датчиками глубины, подключенными к компьютеру. Технология компьютерного зрения может распознавать форму руки и движение подписывающего лица, а также систему обработки естественного языка.конвертирует собранные данные компьютерного зрения в простую английскую фразу. Разработчик устройства глухой, а остальная часть проектной группы состоит из множества инженеров и лингвистов из сообществ глухих и слышащих. Эта технология может включать все пять параметров ASL, которые помогают устройству точно интерпретировать подписывающего лица. SignAll был одобрен многими компаниями, включая Deloitte и LT- Innovate, и наладил партнерские отношения с Microsoft Bizspark и венгерской Renewal. [24]

MotionSavvy [ править ]

MotionSavvy [25] был первым языком жестов для голосовой системы. Устройство было создано в 2012 году группой из Рочестерского технологического института / Национального технического института глухих и «возникло из ускорителя Leap Motion AXLR8R». [26] Команда использовала чехол для планшета, в котором используется мощь контроллера Leap Motion. Вся команда из шести человек была создана глухими учениками из отделения глухонемых школ. [27]В настоящее время это устройство является одним из двух устройств взаимной связи, предназначенных исключительно для американского жестового языка. Он позволяет глухим подписывать устройство, которое затем переводится или наоборот, переводя разговорный английский на американский язык жестов. Стоимость устройства составляет 198 долларов. Некоторые другие функции включают возможность взаимодействия, обратную связь в реальном времени, конструктор вывесок и краудсайн.

Устройство было проверено всеми, от технологических журналов до Time . Wired сказал: «Нетрудно было увидеть, насколько революционной может быть такая технология, как [UNI]» и что «[UNI] показался мне своего рода волшебством». Кэти Стейнмец из TIME сказала: «Эта технология может изменить образ жизни. глухие люди живут ". Шон Бакли из Engadget отметил: «UNI может стать невероятным средством коммуникации ».

Ссылки [ править ]

  1. ^ Моциалов, Борис; Тернер, Грэм; Лохан, Катрин; Хасти, Хелен (2017). «К непрерывному распознаванию жестового языка с помощью глубокого обучения» (PDF) . Создание смысла с помощью роботов-помощников: пробел, оставленный интеллектуальными устройствами (Международная конференция IEEE-RAS по роботам-гуманоидам) .
  2. ↑ Джефф, Дэвид (1994). «Эволюция механических пальцев рук для слепоглухих» . Журнал исследований и разработок в области реабилитации : 236–44.
  3. ^ a b c Партон, Бекки. «Распознавание и перевод жестового языка: многопрофильный подход из области искусственного интеллекта» (PDF) . Журнал глухих исследований и образования глухих .
  4. ^ Weissmann, J .; Саломон, Р. (1999-01-01). Распознавание жестов для приложений виртуальной реальности с помощью информационных перчаток и нейронных сетей . Международная совместная конференция по нейронным сетям, 1999. IJCNN '99 . 3 . С. 2043–2046 т.3. DOI : 10.1109 / IJCNN.1999.832699 . ISBN 978-0-7803-5529-3.
  5. ^ Боуден, Ричард. «Интерпретация естественного языка жестов на основе видения». 3-я Международная конференция по системам компьютерного зрения .
  6. ^ Берд, Джордан Дж .; Экарт, Анико; Фариа, Диего Р. (2020). «Распознавание британского языка жестов посредством позднего слияния компьютерного зрения и скачка с переносом обучения на американский язык жестов» . Датчики . 20 (18): 5151. DOI : 10,3390 / s20185151 .
  7. ^ «В чем разница между переводом и транслитерацией» . english.stackexchange.com . Проверено 6 апреля 2017 .
  8. ^ "SignAloud" .
  9. ^ "Томас Прайор и Навид Азоди | Программа Lemelson-MIT" . lemelson.mit.edu . Проверено 4 июля 2019 .
  10. ^ a b «Эти перчатки предлагают современный взгляд на язык жестов» . NPR.org . Проверено 9 марта 2017 .
  11. ^ "Коллегиальные изобретатели награждены студенческой премией Lemelson-MIT" . Программа Lemelson-MIT . Проверено 9 марта 2017 .
  12. ^ «Студенческая команда UW выигрывает студенческий приз Lemelson-MIT в размере 10 000 долларов за перчатки, которые переводят язык жестов» . Вашингтонский университет. 2016-04-12 . Проверено 9 апреля 2017 .
  13. ^ «Неуправляемые маркеры на американском языке жестов (ASL)» . www.lifeprint.com . Проверено 6 апреля 2017 .
  14. ^ "ProDeaf" . prodeaf.net . Проверено 9 апреля 2017 .
  15. ^ "ProDeaf" . www.prodeaf.net . Проверено 9 марта 2017 .
  16. ^ "ProDeaf" . www.prodeaf.net . Проверено 16 марта 2017 .
  17. ^ «ProDeaf Tradutor для Весов в App Store» . Магазин приложений . Проверено 9 марта 2017 .
  18. ^ Xilin, Чен (2013). «Переводчик языка жестов Kinect расширяет возможности общения» (PDF) . Microsoft Research Connections . Архивировано из оригинального (PDF) 04.04.2017 . Проверено 17 марта 2017 .
  19. ^ Чжоу, Мин. «Распознавание и перевод жестового языка с помощью Kinect» (PDF) . Конференция IEEE .
  20. ^ "Переводчик языка жестов Kinect" .
  21. ^ Zafrulla, Захур; Брашир, Элен; Старнер, Тад; Гамильтон, Харлей; Прести, Питер (01.01.2011). Распознавание американского языка жестов с помощью Kinect . Материалы 13-й Международной конференции по мультимодальным интерфейсам . ICMI '11. Нью-Йорк, Нью-Йорк, США: ACM. С. 279–286. DOI : 10.1145 / 2070481.2070532 . ISBN 978-1-4503-0641-6.
  22. ^ «SignAll. Мы переводим язык жестов. Автоматически» . www.signall.us . Проверено 9 апреля 2017 .
  23. ^ "Dolphio | Уникальные ИТ-технологии" . www.dolphio.hu . Проверено 6 апреля 2017 .
  24. ^ «SignAll. Мы переводим язык жестов. Автоматически» . www.signall.us . Проверено 9 марта 2017 .
  25. ^ «MotionSavvy UNI: 1-й язык жестов для голосовой системы» . Indiegogo . Проверено 9 марта 2017 .
  26. ^ "Рочестерский технологический институт (RIT)" . Рочестерский технологический институт (RIT) . Проверено 6 апреля 2017 .
  27. ^ Цоцис, Алексия. «MotionSavvy - это приложение для планшетов, которое понимает язык жестов» . TechCrunch . Проверено 9 апреля 2017 .