Из Википедии, бесплатной энциклопедии
  (Перенаправлено с Lipreading )
Перейти к навигации Перейти к поиску

Чтение по губам , также известное как чтение по губам или чтение речи , - это метод понимания речи путем визуальной интерпретации движений губ, лица и языка, когда нормальный звук недоступен. Он также полагается на информацию, предоставляемую контекстом, знанием языка и остаточным слухом. Хотя чтение по губам наиболее широко используется глухими и слабослышащими людьми, большинство людей с нормальным слухом обрабатывают некоторую речевую информацию, зная, что движется рот. [1]

Процесс [ править ]

Хотя восприятие речи считается слуховым навыком, оно по своей сути является мультимодальным, поскольку для произнесения речи говорящий должен совершать движения губ, зубов и языка, которые часто видны при общении лицом к лицу. Информация из губ и лица поддерживает восприятие на слух [2], и большинство людей, свободно владеющих языком, чувствительны к видимым речевым действиям (см. Эффект Мак-Гурка ). Степень, в которой люди используют видимые речевые действия, зависит от видимости речевого действия, а также знаний и навыков воспринимающего.

Фонемы и виземы [ править ]

Фонема является наименьшим обнаруживаемый единицей звука на языке , который служит , чтобы различать слова друг от друга. / pit / и / pik / отличаются одной фонемой и относятся к разным понятиям. Разговорный английский насчитывает около 44 фонем. При чтении по губам количество визуально отличительных единиц - визем - намного меньше, поэтому несколько фонем сопоставляются с несколькими виземами. Это потому, что многие фонемы производятся во рту и в горле, и их нельзя увидеть. К ним относятся голосовые согласные и большинство жестов языка. Звонкие и невокализованные пары выглядят одинаково, например, [p] и [b], [k] и [g], [t] и [d], [f] и [v], и [s] и [z] »; то же самое для назализации (например, [m] vs. [b]).Гомофены - это слова, которые выглядят одинаково при чтении по губам, но содержат разные фонемы. Поскольку в английском языке примерно в три раза больше фонем, чем визем, часто утверждают, что только 30% речи можно прочитать по губам. Гомофены - главный источник неправильного чтения по губам .

Легенда к этой головоломке гласит: «Вот класс из дюжины мальчиков, которые, будучи призваны называть свои имена, были мгновенно сфотографированы, когда каждый начинал произносить свое имя. Двенадцать имен были Оом, Олденом. , Истман, Альфред, Артур, Люк, Флетчер, Мэтью, Теодор, Ричард, Ширмер и Хиссвальд. Теперь, казалось бы, невозможно дать правильное имя каждому из двенадцати мальчиков, но если вы отработаете список заново для каждого из вас будет нетрудно найти правильное имя для каждого из мальчиков ". [3]

Совместная артикуляция [ править ]

Виземы можно снимать как неподвижные изображения, но речь разворачивается во времени. Плавная артикуляция речевых звуков в последовательности может означать, что образы рта могут быть «сформированы» смежной фонемой: звук «th» в «зубе» и «зубах» выглядит очень разным из-за вокального контекста. Эта особенность динамического чтения речи влияет на чтение по губам «вне виземы». [4]

Как это может «работать» с таким небольшим количеством висем? [ редактировать ]

Статистическое распределение фонем в лексиконе языка неравномерно. Хотя есть группы слов, которые фонематически похожи друг на друга («лексические соседи», такие как spit / sip / sit / stick ... и т. Д.), Другие слова не похожи на все другие слова: они «уникальны» с точки зрения распределение их фонем (например, «зонтик»). Квалифицированные пользователи языка используют эти знания при интерпретации речи, поэтому, как правило, труднее идентифицировать услышанное слово с большим количеством лексических соседей, чем со словом с несколькими соседями. Применяя это понимание к видимой речи, некоторые слова в языке можно однозначно читать по губам, даже если они содержат несколько визем - просто потому, что никакие другие слова не могут «соответствовать». [5]

Различия в читаемости и навыках [ править ]

На видимость говорящего лица влияют многие факторы, включая освещение, движение головы / камеры, частоту кадров движущегося изображения и расстояние от зрителя (см., Например, [6] ). Движение головы, сопровождающее нормальную речь, также может улучшить чтение по губам, независимо от оральных действий. [7] Однако, когда чтение по губам связывает речь , знание зрителем устной речи, знакомство с говорящим и стилем речи, а также контекст материала для чтения по губам [8]так же важны, как и видимость говорящего. Хотя большинство слышащих людей чувствительны к видимой речи, индивидуальные навыки чтения речи сильно различаются. Хорошие читатели часто точнее, чем плохие читатели, распознают фонемы по визуальной речи.

Некоторые исследователи ставят под сомнение простую висемическую меру «читабельности губ». Мера «класс эквивалентности фонем» учитывает статистическую структуру лексикона [9], а также может учитывать индивидуальные различия в способности читать по губам. [10] [11] В соответствии с этим, отличное чтение по губам часто ассоциируется с более широкими когнитивными навыками, включая общее владение языком, исполнительную функцию и рабочую память . [12] [13]

Чтение по губам и изучение языка у слышащих младенцев и детей [ править ]

Первые несколько месяцев [ править ]

Видение рта играет важную роль в ранней чувствительности к речи очень маленького ребенка и подготавливает его к тому, чтобы стать говорящим в возрасте 1-2 лет. Чтобы подражать, младенец должен научиться формировать губы в соответствии со звуками, которые они слышат; видение говорящего может помочь им в этом. [14] Новорожденные имитируют движения рта взрослых, такие как высунут язык или открывание рта, что может быть предвестником дальнейшей имитации и последующего изучения языка. [15] Младенцы обеспокоены, когда аудиовизуальная речь знакомого говорящего рассинхронизирована [16] и, как правило, демонстрирует различные модели для знакомых, чем для незнакомых лиц, когда они сопоставлены с (записанными) голосами. [17] Младенцы чувствительны к иллюзиям Мак-Герка.за несколько месяцев до того, как они научились говорить. [18] [19] Эти и многие другие исследования указывают на роль зрения в развитии чувствительности к (слуховой) речи в первые полгода жизни.

Следующие полгода; роль в изучении родного языка [ править ]

Примерно до шестимесячного возраста большинство слышащих младенцев чувствительны к широкому спектру речевых жестов, включая те, которые можно увидеть у рта, которые в дальнейшем могут быть, а могут и не стать частью фонологии их родного языка. Но во втором полугодии жизни слышащий младенец демонстрирует сужение восприятия фонетической структуры своего собственного языка и может потерять раннюю чувствительность к бесполезным образцам рта. Речевые звуки / v / и / b /, которые визуально различимы в английском языке, но не в кастильском испанском, точно различаются у детей в возрасте до 6 месяцев, подвергавшихся воздействию испанского и английского языков. Однако младенцы старшего возраста, подвергшиеся воздействию испанского происхождения, теряют способность «видеть» это различие, в то время как оно сохраняется для младенцев, подвергшихся воздействию английского языка.[20] Такие исследования показывают, что вместо того, чтобы слух и зрение развивались независимым образом в младенчестве, мультимодальная обработка данных является правилом, а не исключением, в (речевом) развитии детского мозга. [21]

Раннее языковое производство: от одного до двух лет [ править ]

Учитывая множество исследований, указывающих на роль зрения в развитии речи у доъязыкового младенца, влияние врожденной слепоты на развитие речи удивительно мало. 18-месячные дети легче заучивают новые слова, когда они их слышат, и не заучивают их, когда им показывают речевые движения, не слыша. [22] Однако дети, слепые от рождения, могут путать / m / и / n / в их собственном раннем образовании английских слов - путаница, редко наблюдаемая у зрячих слышащих детей, поскольку / m / и / n / явно различимы, но на слух запутанный. [23]Роль зрения у детей в возрасте 1–2 лет может быть менее критичной для выработки их родного языка, поскольку к этому возрасту они приобретают навыки, необходимые для распознавания звуков речи и имитации их. Однако слух на неродном языке может переключить внимание ребенка на визуальное и слуховое взаимодействие посредством чтения по губам и слушания, чтобы обрабатывать, понимать и воспроизводить речь. [24]

В детстве [ править ]

В исследованиях на младенцах и детях с доязыком используются косвенные невербальные критерии для определения чувствительности к видимой речи. Явное чтение по губам можно надежно проверить у слышащих дошкольников, попросив их «произнести вслух то, что я говорю беззвучно». [25] У детей школьного возраста можно легко вызвать чтение по губам знакомых закрытых слов, таких как числовые слова. [26] Индивидуальные различия в навыках чтения по губам, которые были проверены, когда ребенка просили «произнести слово, которое вы читаете по губам», или сравнивая высказывание по губам с изображением, [27] показывают взаимосвязь между чтением по губам навыки чтения и возраст. [28] [29]

На слух у взрослых: соображения продолжительности жизни [ править ]

В то время как чтение по губам беззвучной речи представляет проблему для большинства слышащих людей, добавление зрения говорящего к слышимой речи улучшает обработку речи во многих условиях. Механизмы этого и точные способы, которыми помогает чтение по губам, являются темами текущих исследований. [30] Видение говорящего помогает на всех уровнях обработки речи, от распознавания фонетических признаков до интерпретации прагматических высказываний. [31] Положительные эффекты добавления зрения к слышимой речи больше в шумной, чем в тихой обстановке, [32] где, облегчая восприятие речи, видение говорящего может высвободить когнитивные ресурсы, обеспечивая более глубокую обработку речевого содержания.

Поскольку у пожилых людей слух становится менее надежным, люди могут больше полагаться на чтение по губам, и им рекомендуется это делать. Однако более частое чтение по губам не всегда может исправить последствия возрастной потери слуха. Снижение когнитивных функций с возрастом может предшествовать и / или быть связано с измеримой потерей слуха. [33] [34] Таким образом, чтение по губам не всегда может полностью компенсировать комбинированные ухудшения слуха и когнитивных способностей, связанные с возрастом.

В определенных (слуховых) группах населения [ править ]

В ряде исследований сообщается об аномалиях чтения по губам в группах населения с характерными нарушениями развития. Аутизм : люди с аутизмом могут демонстрировать снижение способности читать по губам и снижение зависимости от зрения при восприятии аудиовизуальной речи. [35] [36] Это может быть связано с аномалиями взгляда в лицо у этих людей. [37] Синдром Вильямса : люди с синдромом Вильямса демонстрируют некоторые недостатки в чтении речи, которые могут не зависеть от их зрительно-пространственных трудностей. [38] Специфические языковые нарушения . Сообщается, что у детей с SLI снижена чувствительность к чтению по губам [39], как и у людей с дислексией . [40]

Глухота [ править ]

На протяжении сотен лет бушевали споры о роли чтения по губам (« устной речи ») по сравнению с другими методами коммуникации (в последнее время - тотальным общением ) в обучении глухих. Степень, в которой тот или иной подход полезен, зависит от ряда факторов, включая уровень потери слуха глухого человека, возраст потери слуха, участие родителей и язык (и) родителей. Затем возникает вопрос о целях глухих, их сообщества и лиц, осуществляющих уход. Цель образования - улучшить общение в целом, развить язык жестовв качестве первого языка или для развития навыков разговорной речи в сообществе слушателей? Теперь исследователи сосредотачиваются на том, какие аспекты языка и общения могут быть лучше всего представлены с помощью каких средств и в каком контексте, учитывая статус слуха ребенка и его семьи, а также их образовательные планы. [41] Бимодальное двуязычие (владение речью и языком жестов) является одним из доминирующих современных подходов в языковом обучении глухих детей. [42]

Глухие люди часто лучше читают по губам, чем люди с нормальным слухом. [43] Некоторые глухие люди практикуются в качестве профессиональных читателей по губам, например, в судебно-медицинской экспертизе . У глухих людей с кохлеарным имплантатом умение читать по губам до имплантации может предсказать постимплантационную (слуховую или аудиовизуальную) обработку речи. [44] Для многих глухих людей доступ к устному общению может быть облегчен, если устное сообщение передается через обученного профессионального говорящего по губам . [45] [46]

В связи с чтением по губам и развитием грамотности у глухих детей от рождения обычно наблюдается задержка в развитии навыков грамотности [47], что может отражать трудности в овладении элементами разговорной речи. [48] В частности, надежное отображение фонемы-графемы может быть более трудным для глухих детей, которым необходимо уметь читать речь, чтобы освоить этот необходимый шаг в приобретении грамотности. Умение читать по губам связано со способностями к грамотности у глухих взрослых и детей [49] [50], и обучение чтению по губам может помочь развить навыки грамотности. [51]

В Cued Speech используется чтение по губам с сопутствующими формами рук, которые устраняют неоднозначность виземической (согласной) формы губ. Говорят, что слышащим родителям легче выучить управляемую речь, чем язык жестов, и исследования, проведенные в основном в Бельгии, показывают, что глухой ребенок, который в младенчестве слышал звуковую речь, может добиться более эффективных успехов в изучении разговорной речи, чем чтение по губам. [52] Использование звуковой команды при кохлеарной имплантации при глухоте, вероятно, будет положительным. [53] Похожий подход, предполагающий использование форм рук, сопровождающих видимую речь, - это визуальная акустика , которая используется некоторыми преподавателями для поддержки изучения письменной и устной речи.

Обучение и обучение [ править ]

Целью обучения чтению по губам является развитие понимания природы чтения по губам и отработка способов улучшения способности воспринимать речь «на глаз». [54] Уроки чтения по губам , часто называемые курсами чтения по губам и управления потерей слуха , в основном предназначены для взрослых с потерей слуха. Наибольшая доля взрослых с потерей слуха имеет возрастную , или связанную с шумом потерю ; при обеих этих формах потери слуха сначала теряются высокочастотные звуки. Поскольку многие согласные в речи являются высокочастотными звуками, речь становится искаженной. Слуховые аппараты помогают, но не могут вылечить это. Уроки чтения по губам оказались полезными в исследованиях, проведенных в Великобритании по заказу Action on Surfing.благотворительность [55] (2012).

Тренеры признают, что чтение по губам - искусство неточное. Студентов учат следить за движениями губ, языка и челюстей, следить за ударением и ритмом языка, использовать свой остаточный слух, со слуховыми аппаратами или без них, следить за выражением лица и языком тела, а также использовать свою способность рассуждать и делать выводы. . Их обучают азбуке чтецов , группам звуков, которые похожи на губы (виземы), например, p, b, m или f, v. Цель состоит в том, чтобы уловить суть, чтобы иметь уверенность в том, чтобы присоединиться к разговору. и избежать пагубной социальной изоляции, которая часто сопровождает потерю слуха. Уроки чтения по губам рекомендуются всем, кто плохо слышит в шуме, и помогают приспособиться к потере слуха. ATLA(Ассоциация обучения чтению по губам для взрослых) - это профессиональная ассоциация Великобритании для квалифицированных преподавателей чтения по губам.

Тесты [ править ]

Большинство тестов чтения по губам были разработаны для измерения индивидуальных различий в выполнении определенных задач по обработке речи и для выявления изменений в производительности после тренировки. Тесты на чтение по губам использовались с относительно небольшими группами в экспериментальных условиях или в качестве клинических индикаторов с отдельными пациентами и клиентами. Таким образом, тесты чтения по губам на сегодняшний день имеют ограниченную ценность в качестве маркеров навыков чтения по губам среди населения в целом.

Машинное чтение и говорение по губам [ править ]

Автоматическое чтение по губам было предметом интереса в вычислительной технике, а также в научно-фантастических фильмах . Вычислительный инженер Стив Омохундро , среди прочих, был пионером его разработки. В лицевой анимации цель состоит в том, чтобы создать реалистичные лицевые действия, особенно движения рта, которые имитируют человеческие речевые действия. Компьютерные алгоритмы деформации или манипулирования изображениями лиц могут управляться устным или письменным языком. Системы могут быть основаны на детальных моделях, полученных на основе движений лица ( захват движения ); по анатомическому моделированию действий челюсти, рта и языка; или о картировании известных свойств висемфонемы. [56] [57]В обучении чтению речи использовалась лицевая анимация (демонстрирующая, как «выглядят» разные звуки). [58] Эти системы представляют собой подмножество моделирования синтеза речи, цель которого - обеспечить надежные выходные данные «текст в (видимую) речь». Дополнительная цель - обратная движению лиц в речи - состоит в разработке компьютерных алгоритмов, которые могут предоставить реалистичную интерпретацию речи (например, письменную расшифровку или аудиозапись) на основе естественных видеоданных о лице в действии: это распознавание речи по лицу. Эти модели также могут быть получены из различных данных. [59] Автоматическое визуальное распознавание речи из видео оказалось весьма успешным в различении разных языков (из корпуса данных разговорного языка). [60]Демонстрационные модели, использующие алгоритмы машинного обучения, добились некоторого успеха в чтении по губам элементов речи, таких как определенные слова, из видео [61] и для идентификации фонем, которые трудно читать по губам, из визуально схожих видимых действий рта. [62] Машинное чтение речи в настоящее время успешно использует алгоритмы на основе нейронных сетей, которые используют большие базы данных говорящих и речевого материала (после успешной модели для слухового автоматического распознавания речи ). [63]

Использование машинного чтения по губам может включать автоматическое чтение по губам только видеозаписей, автоматическое чтение по губам говорящих с поврежденными речевыми трактами и обработку речи в видео лицом к лицу (т. Е. По данным видеофона). Автоматическое чтение по губам может помочь в обработке шумной или незнакомой речи. [64] Автоматическое чтение по губам может способствовать биометрической идентификации личности, заменяя идентификацию на основе пароля. [65] [66]

Мозг [ править ]

После открытия того, что слуховые области мозга , включая извилину Гешля , активируются видимой речью [67], было показано, что нейронная схема для чтения речи включает надмодальные области обработки, особенно верхнюю височную борозду (все части), а также заднюю нижнюю затылочную часть. -временные регионы, включая регионы, специализирующиеся на обработке лиц и биологическом движении . [68] В некоторых, но не во всех исследованиях, сообщается об активации зоны Брока для чтения речи [69] [70], предполагая, что артикуляционные механизмы могут быть активированы при чтении речи. [71]Исследования динамики аудиовизуальной обработки речи показали, что зрение речи может активировать области слуховой обработки раньше акустического сигнала. [72] [73] Лучшее умение читать по губам связано с большей активацией (слева) верхней височной борозды и прилегающих нижних височных (зрительных) областей у слышащих людей. [74] [75] У глухих людей схема, предназначенная для чтения речи, очень похожа на схему у слышащих людей, с аналогичными ассоциациями (слева) высшей временной активации и навыка чтения по губам. [76]

Ссылки [ править ]

  1. ^ Вудхаус, L; Hickson, L; Додд, Б. (2009). «Обзор зрительного восприятия речи слабослышащими и слабослышащими людьми: клинические последствия». Международный журнал расстройств языка и общения . 44 (3): 253–70. DOI : 10.1080 / 13682820802090281 . PMID  18821117 .
  2. Перейти ↑ Erber, NP (1969). «Взаимодействие слуха и зрения при распознавании стимулов устной речи». J Speech Hear Res . 12 (2): 423–5. DOI : 10,1044 / jshr.1202.423 . PMID 5808871 . 
  3. ^ Лойд в Cyclopedia пазлов, 1914
  4. ^ Benguerel, AP; Пичора-Фуллер, МК (1982). «Эффекты коартикуляции при чтении по губам». J Speech Hear Res . 25 (4): 600–7. DOI : 10,1044 / jshr.2504.600 . PMID 7162162 . 
  5. Перейти ↑ Auer, ET (2010). «Исследование чтения речи и глухоты» . Журнал Американской академии аудиологии . 21 (3): 163–8. DOI : 10.3766 / jaaa.21.3.4 . PMC 3715375 . PMID 20211120 .  
  6. ^ Иордания, TR; Томас, С.М. (2011). «Когда половина лица в целом так же хороша: эффекты простой субстанциальной окклюзии на визуальное и аудиовизуальное восприятие речи» . Внимание Психофизика Восприятия . 73 (7): 2270–85. DOI : 10,3758 / s13414-011-0152-4 . PMID 21842332 . 
  7. ^ Томас, SM; Иордания, TR (2004). «Вклад устных и экстраоральных движений лица в визуальное и аудиовизуальное восприятие речи». J Exp Psychol Hum Percept Perform . 30 (5): 873–88. DOI : 10.1037 / 0096-1523.30.5.873 . PMID 15462626 . 
  8. ^ Спехар, B; Goebel, S; Тай-Мюррей, Н. (2015). «Влияние типа контекста на производительность чтения по губам и слушания и последствия для обработки предложений» . J Speech Lang Hear Res . 58 (3): 1093–102. DOI : 10,1044 / 2015_JSLHR-Н-14-0360 . PMC 4610295 . PMID 25863923 .  
  9. ^ Файлы, BT; Тян, BS; Цзян, Дж; Бернштейн, Л. Е. (2015). «Визуальное распознавание речи и идентификация естественных и синтетических согласных раздражителей» . Front Psychol . 6 : 878. DOI : 10.3389 / fpsyg.2015.00878 . PMC 4499841 . PMID 26217249 .  
  10. ^ Ауэр, ET; Бернштейн, Л. Е. (1997). «Чтение речи и структура лексики: компьютерное моделирование влияния пониженной фонетической различимости на лексическую уникальность». J Acoust Soc Am . 102 (6): 3704–10. DOI : 10.1121 / 1.420402 . PMID 9407662 . 
  11. ^ Feld J1, Sommers M 2011 Там идет соседство: чтение по губам и структура ментального лексикона. Речь общ. Февраль; 53 (2): 220-228
  12. ^ Тай-Мюррей, N; Хейл, S; Spehar, B; Майерсон, Дж; Соммерс, MS (2014). «Чтение по губам у детей школьного возраста: роль возраста, слуха и когнитивных способностей» . J Speech Lang Hear Res . 57 (2): 556–65. DOI : 10,1044 / 2013_JSLHR-Н-12-0273 . PMC 5736322 . PMID 24129010 .  
  13. ^ Feld, JE; Соммерс, MS (2009). «Чтение по губам, скорость обработки и рабочая память у молодых и пожилых людей» . J Speech Lang Hear Res . 52 (6): 1555–65. DOI : 10,1044 / 1092-4388 (2009 / 08-0137) . PMC 3119632 . PMID 19717657 .  
  14. ^ «HuffPost - Последние новости, новости США и мира» . HuffPost . Проверено 11 октября 2020 .
  15. ^ Meltzoff, АН; Мур, МК (1977). «Имитация мимики и жестов рук новорожденными людьми» . Наука . 198 (4312): 74–8. DOI : 10.1126 / science.897687 . PMID 897687 . 
  16. ^ Додд B.1976 Чтение по губам у младенцев: внимание к речи, представленной синхронно и несинхронно. Когнитивная психология Октябрь; 11 (4): 478-84
  17. ^ Spelke, E (1976). «Младенцы интермодальное восприятие событий». Когнитивная психология . 8 (4): 553–560. DOI : 10.1016 / 0010-0285 (76) 90018-9 .
  18. ^ Бернхэм, D; Додд, Б. (2004). «Слухово-визуальная речевая интеграция у младенцев с проязычностью: восприятие возникающего согласного в эффекте Мак-Гурка». Психобиология развития . 45 (4): 204–20. DOI : 10.1002 / dev.20032 . PMID 15549685 . 
  19. ^ Розенблюм, LD; Шмуклер, Массачусетс; Джонсон, Дж. А. (1997). «Эффект МакГерка у младенцев» . Восприятие психофизики . 59 (3): 347–57. DOI : 10.3758 / BF03211902 . PMID 9136265 . 
  20. ^ Pons, F; и другие. (2009). «Сужение межсенсорного восприятия речи в младенчестве» . Труды Национальной академии наук . 106 (26): 10598–602. DOI : 10.1073 / pnas.0904134106 . PMC 2705579 . PMID 19541648 .  
  21. ^ Левкович, DJ; Газанфар, AA (2009). «Возникновение мультисенсорных систем через сужение восприятия». Тенденции в когнитивных науках . 13 (11): 470–8. CiteSeerX 10.1.1.554.4323 . DOI : 10.1016 / j.tics.2009.08.004 . PMID 19748305 .  
  22. ^ Havy, М., Foroud А., Fais, L., & Werker, JF (в прессе,сайте 26 января 2017). Роль слуховой и визуальной речи в обучении слов в 18 месяцев и в зрелом возрасте. Развитие ребенка. (Предпечатная версия)
  23. ^ Миллс, AE 1987 Развитие фонологии у слепого ребенка. В B.Dodd & R.Campbell (Eds) Hearing by Eye: психология чтения по губам, Hove UK, Lawrence Erlbaum Associates
  24. ^ Левкович, DJ; Хансен-Тифт, AM (январь 2012 г.). «Младенцы избирательно уделяют внимание рту говорящего лица при изучении речи» . Труды Национальной академии наук . 109 (5): 1431–6. DOI : 10.1073 / pnas.1114783109 . PMC 3277111 . PMID 22307596 .  
  25. ^ Дэвис R1, Кидд E; Лендер, К. (2009). «Исследование психолингвистических коррелятов чтения речи у детей дошкольного возраста». Международный журнал расстройств языка и общения . 44 (2): 164–74. DOI : 10.1080 / 13682820801997189 . hdl : 11858 / 00-001M-0000-002E-2344-8 . PMID 18608607 . 
  26. ^ Додд Б. 1987 Приобретение навыков чтения по губам нормально слышащими детьми. В B.Dodd & R.Campbell (Eds) Hearing by Eye, Erlbaum NJ pp 163-176.
  27. ^ Джергер, S; и другие. (2009). «Изменения в развитии чувствительности детей к визуальной речи: новая мультимодальная задача« картинка-слово »» . J Exp Child Psychol . 102 (1): 40–59. DOI : 10.1016 / j.jecp.2008.08.002 . PMC 2612128 . PMID 18829049 .  
  28. ^ Кайл, ИП; Кэмпбелл, Р. Мохаммед, Т; Коулман, М; Максуини, М (2013). «Развитие чтения речи у глухих и слышащих детей: вводный тест по чтению речи у детей» . Журнал исследований речи, языка и слуха . 56 (2): 416–26. DOI : 10,1044 / 1092-4388 (2012 / 12-0039) . PMC 4920223 . PMID 23275416 .  
  29. ^ Тай-Мюррей, N; Хейл, S; Spehar, B; Майерсон, Дж; Соммерс, MS (2014). «Чтение по губам у детей школьного возраста: роль возраста, слуха и когнитивных способностей» . J Speech Lang Hear Res . 57 (2): 556–65. DOI : 10,1044 / 2013_JSLHR-Н-12-0273 . PMC 5736322 . PMID 24129010 .  
  30. ^ Peelle, JE; Соммерс, MS (2015). «Предсказание и ограничение аудиовизуального восприятия речи» . Cortex . 68 : 169–81. DOI : 10.1016 / j.cortex.2015.03.006 . PMC 4475441 . PMID 25890390 .  
  31. Перейти ↑ Campbell, R (2008). «Обработка аудиовизуальной речи: эмпирические и нейронные основы» . Философские труды Королевского общества B . 363 (1493): 1001–1010. DOI : 10.1098 / rstb.2007.2155 . PMC 2606792 . PMID 17827105 .  
  32. ^ Сумби, WH; Поллак, я (1954). «Визуальный вклад в разборчивость речи в шуме». Журнал Акустического общества Америки . 26 (2): 212–215. DOI : 10.1121 / 1.1907309 .
  33. ^ Тальяард, Шмулиан; и другие. (2015). «Взаимосвязь между нарушением слуха и когнитивной функцией: метаанализ у взрослых» (PDF) . Клин Отоларингол . 41 (6): 718–729. DOI : 10.1111 / coa.12607 . ЛВП : 2263/60768 . PMID 26670203 .  
  34. ^ Хунг, Южная Каролина; и другие. (2015). «Потеря слуха связана с риском болезни Альцгеймера: исследование методом случай-контроль у пожилых людей» . J Epidemiol . 25 (8): 517–21. DOI : 10.2188 / jea.JE20140147 . PMC 4517989 . PMID 25986155 .  
  35. ^ Смит, EG; Беннетто, LJ (2007). «Аудиовизуальная интеграция речи и чтение по губам при аутизме». Детская психическая психиатрия . 48 (8): 813–21. DOI : 10.1111 / j.1469-7610.2007.01766.x . PMID 17683453 . 
  36. ^ Ирвин, младший; Торнаторе, Луизиана; Бранкацио, L; Whalen, DH (2011). «Могут ли дети с расстройствами аутистического спектра слышать« говорящее лицо »?» . Child Dev . 82 (5): 1397–403. DOI : 10.1111 / j.1467-8624.2011.01619.x . PMC 3169706 . PMID 21790542 .  
  37. ^ Ирвин, младший; Бранкацио, Л. (2014). «Видеть, чтобы слышать? Образцы взгляда на говорящие лица у детей с расстройствами аутистического спектра» . Front Psychol . 5 : 397. DOI : 10.3389 / fpsyg.2014.00397 . PMC 4021198 . PMID 24847297 .  
  38. ^ Böhning, M; Кэмпбелл, Р. Кармилов-Смит, А (2002). «Аудиовизуальное восприятие речи при синдроме Вильямса». Нейропсихология . 40 (8): 1396–406. DOI : 10.1016 / s0028-3932 (01) 00208-1 . PMID 11931944 . 
  39. ^ Leybaert, J; Макки, L; Huyse, A; Champoux, F; Bayard, C; Колин, К; Бертомье, Ф (2014). «Атипичное аудиовизуальное восприятие речи и эффекты Мак-Герка у детей с определенными языковыми нарушениями» . Front Psychol . 5 : 422. DOI : 10.3389 / fpsyg.2014.00422 . PMC 4033223 . PMID 24904454 .  
  40. ^ Мохаммед Т1, Кэмпбелл Р; Максуини, М; Барри, Ф; Коулман, М. (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и страдающих дислексией». Клиническая лингвистика и фонетика . 20 (7–8): 621–30. DOI : 10.1080 / 02699200500266745 . PMID 17056494 . 
  41. ^ "Руки и голоса :: Статьи" .
  42. ^ Сванвика R (2016). "Бимодальное двуязычие и образование глухих детей" (PDF) . Обучение языкам . 49 (1): 1–34. DOI : 10.1017 / S0261444815000348 .
  43. ^ Бернштейн, LE; Demorest, ME; Такер, ЧП (2000). «Восприятие речи без слуха» . Восприятие и психофизика . 62 (2): 233–52. DOI : 10.3758 / bf03205546 . PMID 10723205 . 
  44. ^ Bergeson TR1, Pisoni DB; Дэвис, РА (2005). «Развитие навыков аудиовизуального понимания у детей с доязычной глухотой с кохлеарными имплантатами» . Ухо и слух . 26 (2): 149–64. DOI : 10.1097 / 00003446-200504000-00004 . PMC 3432935 . PMID 15809542 .  
  45. ^ «Коммуникационная поддержка глухих» . 2015-11-24.
  46. ^ "Lipspeaker UK - Услуги связи для глухих и слабослышащих людей" .
  47. ^ "Чтение и дислексия у глухих детей | Фонд Наффилда" .
  48. Перейти ↑ Mayer, C. (2007). «Что действительно важно в раннем развитии грамотности глухих детей» . J Deaf Stud Deaf Educ . 12 (4): 411–31. DOI : 10.1093 / deafed / enm020 . PMID 17566067 . 
  49. ^ Мохаммед, Тара; Кэмпбелл, Рут; МакСвини, Майрид; Барри, Фиона; Коулман, Майкл (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и страдающих дислексией». Клиническая лингвистика и фонетика . 20 (7–8): 621–630. DOI : 10.1080 / 02699200500266745 . PMID 17056494 . 
  50. ^ Кайл, ИП; Харрис, М. (2010). «Предикторы развития чтения у глухих детей: трехлетнее продольное исследование» (PDF) . J Exp Child Psychol . 107 (3): 229–243. DOI : 10.1016 / j.jecp.2010.04.011 .
  51. ^ Кайл, Фиона Э .; Кэмпбелл, Рут; Мохаммед, Тара; Коулман, Майк; МакСвини, Майрид (2013). «Развитие чтения речи у глухих и слышащих детей: введение в тест на чтение речи у детей» . Журнал исследований речи, языка и слуха . 56 (2): 416–426. DOI : 10,1044 / 1092-4388 (2012 / 12-0039) . PMC 4920223 . PMID 23275416 .  
  52. ^ Николс, GH; Линг, Д. (1982). «Поданная речь и прием разговорной речи» . J Speech Hear Res . 25 (2): 262–9. DOI : 10,1044 / jshr.2502.262 . PMID 7120965 . 
  53. ^ Leybaert, J; ЛаСассо, CJ (2010). «Речь с инструкциями для улучшения восприятия речи и развития первого языка у детей с кохлеарными имплантатами» . Тенденции усиления . 14 (2): 96–112. DOI : 10.1177 / 1084713810375567 . PMC 4111351 . PMID 20724357 .  
  54. ^ «Алфавит чтения по губам: круглые гласные» . Архивировано 23 июня 2014 года . Проверено 23 июня 2014 .
  55. ^ «Кампании и влияние» .
  56. ^ http://www-bcf.usc.edu/~rwalker/Walker/Publications_files/1996_CohenWalker%26Massaro_VisualSpeech.pdf
  57. ^ «Основанный на правилах синтез визуальной речи» . 1995. С. 299–302.
  58. ^ Босселер, Алексис; Массаро, Доминик В. (2003). «Разработка и оценка учителя с компьютерной анимацией для изучения словарного запаса и языка у детей с аутизмом». Журнал аутизма и нарушений развития . 33 (6): 653–672. DOI : 10,1023 / Б: JADD.0000006002.82367.4f . PMID 14714934 . 
  59. ^ "Визуальный синтез речи - UEA" .
  60. ^ "Читающий по губам компьютер может различать языки" .
  61. ^ https://www.youtube.com/watch?v=Tu2vInqqHX8
  62. ^ Хики, Шейн (2016-04-24). «Новаторы: можно ли научить компьютеры читать по губам?» . Хранитель .
  63. ^ "Google DeepMind AI может читать телешоу по губам лучше, чем профессионал" .
  64. ^ Petajan, E .; Bischoff, B .; Bodoff, D .; Брук, Н.М. (1988). «Улучшенная система автоматического чтения по губам для улучшения распознавания речи» . Материалы конференции SIGCHI по человеческому фактору в вычислительных системах - CHI '88 . С. 19–25. DOI : 10.1145 / 57167.57170 . ISBN 978-0201142372.
  65. ^ http://www.asel.udel.edu/icslp/cdrom/vol1/954/a954.pdf
  66. ^ http: //www.planetbiometrics.com-article-details-i-2250 [ постоянная мертвая ссылка ]
  67. ^ Калверт, Джорджия; Bullmore, ET; Браммер, MJ; и другие. (1997). «Активация слуховой коры при молчаливом чтении по губам». Наука . 276 (5312): 593–6. DOI : 10.1126 / science.276.5312.593 . PMID 9110978 . 
  68. ^ Бернштейн, LE; Либенталь, Э (2014). «Нервные пути зрительного восприятия речи» . Front Neurosci . 8 : 386. DOI : 10,3389 / fnins.2014.00386 . PMC 4248808 . PMID 25520611 .  
  69. ^ Шкипер, JI; ван Вассенхов, V; Нусбаум, ХК; Маленький, SL (2007). «Слышание губ и видение голосов: как области коры, поддерживающие производство речи, опосредуют аудиовизуальное восприятие речи» . Кора головного мозга . 17 (10): 2387–2399. DOI : 10.1093 / cercor / bhl147 . PMC 2896890 . PMID 17218482 .  
  70. ^ Кэмпбелл, R; Максуини, М; Сургуладзе, С; Calvert, G; McGuire, P; Грудное вскармливание, Дж; Браммер, MJ; Дэвид, А.С. (2001). «Корковые субстраты для восприятия действий лица: исследование с помощью фМРТ специфичности активации видимой речи и бессмысленных действий нижней части лица (скрежетание)». Brain Res Cogn Brain Res . 12 (2): 233–43. DOI : 10.1016 / s0926-6410 (01) 00054-4 . PMID 11587893 . 
  71. ^ Swaminathan, S .; MacSweeney, M .; Boyles, R .; Waters, D .; Уоткинс, KE; Мёттёнен, Р. (2013). «Двигательная возбудимость при зрительном восприятии известных и неизвестных разговорных языков» . Мозг и язык . 126 (1): 1–7. DOI : 10.1016 / j.bandl.2013.03.002 . PMC 3682190 . PMID 23644583 .  
  72. ^ Sams, M; и другие. (1991). «Ауленко и др., 1991 г. Видящая речь: визуальная информация от движений губ изменяет активность слуховой коры человека». Письма неврологии . 127 (1): 141–145. DOI : 10.1016 / 0304-3940 (91) 90914-F . PMID 1881611 . 
  73. ^ Ван Вассенхов, V; Грант, кВт; Poeppel, D (январь 2005 г.). «Визуальная речь ускоряет нейронную обработку слуховой речи» . Труды Национальной академии наук . 102 (4): 1181–6. DOI : 10.1073 / pnas.0408949102 . PMC 545853 . PMID 15647358 .  
  74. ^ Hall DA1, Fussell C, Саммерфильд AQ. 2005 Чтение беглой речи с говорящих лиц: типичные мозговые сети и индивидуальные различия. J. Cogn Neurosci. 17 (6): 939-53.
  75. ^ Бернштейн, LE; Цзян, Дж; Pantazis, D; Лу, З.Л .; Джоши, А (2011). «Визуальная фонетическая обработка, локализованная с помощью речевых и неречевых жестов лица на видео и точечных световых дисплеях» . Hum Brain Mapp . 32 (10): 1660–76. DOI : 10.1002 / hbm.21139 . PMC 3120928 . PMID 20853377 .  
  76. ^ Чапек, CM; Максуини, М; Woll, B; Waters, D; Макгуайр, ПК; Дэвид, А.С.; Браммер, MJ; Кэмпбелл, Р. (2008). «Корковые цепи для беззвучного чтения речи глухонемыми и слышащими людьми» . Нейропсихология . 46 (5): 1233–41. DOI : 10.1016 / j.neuropsychologia.2007.11.026 . PMC 2394569 . PMID 18249420 .  

Библиография [ править ]

  • Д. Сторк и М. Хеннеке (редакторы) (1996) Чтение речи людьми и машинами: модели систем и приложений. Серия ASI НАТО F Компьютерные и системные науки Том 150. Шпрингер, Берлин, Германия
  • Э. Байи, П. Перье и Э. Ватикиотис-Бейтсон (редакторы) (2012) Обработка аудиовизуальной речи, Cambridge University Press, Cambridge UK
  • Слушать глазами (1987) , Б. Додд и Р. Кэмпбелл (редакторы), Эрлбаум Асстес, Хиллсдейл, штат Нью-Джерси, США; Hearing by Eye II , (1997) Р. Кэмпбелл, Б. Додд и Д. Бернем (редакторы), Psychology Press, Hove UK
  • Д. У. Массаро (1987, перепечатано в 2014 году) Восприятие речи на слух и на глаз , Lawrence Erlbaum Associates, Хиллсдейл, штат Нью-Джерси.

Дальнейшее чтение [ править ]

  • Дэн Нозовиц (18 февраля 2020 г.). "Какой язык сложнее всего в мире читать по губам?" . Атлас-обскура .
  • Лаура Рингхэм (2012). «Почему пришло время признать ценность чтения по губам и помощи при потере слуха (Действия в связи с потерей слуха, полный отчет)» (PDF) .

Внешние ссылки [ править ]

  • Шотландский сенсорный центр 2005: семинар по чтению по губам [1]
  • Уроки чтения по губам в Шотландии: путь вперед. Отчет за 2015 год
  • ВИЗА; Специальная группа Международной ассоциации речевой коммуникации, специализирующаяся на чтении по губам и аудиовизуальной речи
  • Чтение речи для сбора информации: обзор научных источников [2]