Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Чтение по губам , также известное как чтение по губам или чтение речи , - это метод понимания речи путем визуальной интерпретации движений губ, лица и языка, когда нормальный звук недоступен. Он также полагается на информацию, предоставляемую контекстом, знанием языка и остаточным слухом. Хотя чтение по губам наиболее широко используется глухими и слабослышащими людьми, большинство людей с нормальным слухом обрабатывают некоторую речевую информацию, зная, что движется рот. [1]

Процесс [ править ]

Хотя восприятие речи считается слуховым навыком, оно по своей сути мультимодально, поскольку для произнесения речи говорящий должен совершать движения губ, зубов и языка, которые часто видны при общении лицом к лицу. Информация от губ и лица поддерживает восприятие на слух [2], и большинство людей, свободно владеющих языком, чувствительны к увиденным речевым действиям (см. Эффект Мак-Гурка ). Степень, в которой люди используют видимые речевые действия, зависит от видимости речевого действия, а также от знаний и навыков воспринимающего.

Фонемы и виземы [ править ]

Фонема является наименьшим обнаруживаемый единицей звука на языке , который служит , чтобы различать слова друг от друга. / pit / и / pik / отличаются одной фонемой и относятся к разным понятиям. Разговорный английский насчитывает около 44 фонем. При чтении по губам количество визуально отличительных единиц - визем - намного меньше, поэтому несколько фонем сопоставляются с несколькими виземами. Это потому, что многие фонемы производятся во рту и в горле и не видны. К ним относятся голосовые согласные и большинство жестов языка. Звонкие и невокализованные пары выглядят одинаково, например, [p] и [b], [k] и [g], [t] и [d], [f] и [v], и [s] и [z] »; то же самое для назализации (например, [m] vs. [b]).Гомофены - это слова, которые выглядят одинаково при чтении по губам, но содержат разные фонемы. Поскольку в английском языке примерно в три раза больше фонем, чем визем, часто утверждается, что только 30% речи можно прочитать по губам. Гомофены - главный источник неправильного чтения по губам .

Легенда к этой головоломке гласит: «Вот класс из дюжины мальчиков, которые, будучи призваны назвать свои имена, были мгновенно сфотографированы, когда каждый начинал произносить свое имя. Двенадцать имен были Оом, Олденом. , Истман, Альфред, Артур, Люк, Флетчер, Мэтью, Теодор, Ричард, Ширмер и Хиссвальд. Теперь не представляется возможным дать правильное имя каждому из двенадцати мальчиков, но если вы попрактикуетесь в списке для каждого из них вы найдете несложной задачей найти правильное имя для каждого из мальчиков ". [3]

Совместная артикуляция [ править ]

Виземы можно снимать как неподвижные изображения, но речь разворачивается во времени. Плавная артикуляция речевых звуков в последовательности может означать, что модели рта могут быть «сформированы» смежной фонемой: звук «th» в «зубе» и «зубах» выглядит очень разным из-за вокального контекста. Эта особенность динамического чтения речи влияет на чтение по губам «вне виземы». [4]

Как это может «работать» с таким небольшим количеством висем? [ редактировать ]

Статистическое распределение фонем в лексиконе языка неравномерно. Хотя есть группы слов, которые фонематически похожи друг на друга («лексические соседи», такие как spit / sip / sit / stick ... и т. Д.), Другие слова не похожи на все другие слова: они «уникальны» с точки зрения распределение их фонем (например, «зонтик»). Квалифицированные пользователи языка используют эти знания при интерпретации речи, поэтому, как правило, труднее идентифицировать услышанное слово с большим количеством лексических соседей, чем со словом с несколькими соседями. Применяя это понимание к видимой речи, некоторые слова в языке можно однозначно читать по губам, даже если они содержат несколько визем - просто потому, что никакие другие слова не могут «соответствовать». [5]

Различия в читаемости и навыках [ править ]

На видимость говорящего лица влияют многие факторы, включая освещение, движение головы / камеры, частоту кадров движущегося изображения и расстояние от зрителя (см., Например, [6] ). Движение головы, которое сопровождает нормальную речь, также может улучшить чтение по губам, независимо от устных действий. [7] Однако, когда чтение по губам связано с речью , знание зрителем устной речи, знакомство с говорящим и стилем речи, а также с контекстом материала для чтения по губам [8]так же важны, как и видимость говорящего. Хотя большинство слышащих людей чувствительны к видимой речи, индивидуальные навыки чтения речи сильно различаются. Хорошие читатели часто более точно определяют фонемы по визуальной речи, чем плохие читатели.

Некоторые исследователи ставят под сомнение простую висемическую меру «читабельности губ». Мера «класса эквивалентности фонем» учитывает статистическую структуру лексикона [9], а также может учитывать индивидуальные различия в способности читать по губам. [10] [11] В соответствии с этим, отличное чтение по губам часто ассоциируется с более широкими когнитивными навыками, включая общее владение языком, исполнительную функцию и рабочую память . [12] [13]

Чтение по губам и изучение языка у слышащих младенцев и детей [ править ]

Первые несколько месяцев [ править ]

Видение рта играет важную роль в ранней чувствительности к речи очень маленького ребенка и подготавливает его к тому, чтобы стать говорящим в возрасте 1-2 лет. Чтобы подражать, малыш должен научиться формировать губы в соответствии с слышимыми звуками; видение говорящего может помочь им в этом. [14] Новорожденные имитируют движения рта взрослых, такие как высунут язык или открывание рта, что может быть предвестником дальнейшей имитации и последующего изучения языка. [15] Младенцы обеспокоены, когда аудиовизуальная речь знакомого говорящего рассинхронизирована [16] и, как правило, демонстрирует различные модели для знакомых, чем для незнакомых лиц, когда они сопоставляются с (записанными) голосами. [17] Младенцы чувствительны к иллюзиям Мак-Герка.за несколько месяцев до того, как они научились говорить. [18] [19] Эти и многие другие исследования указывают на роль зрения в развитии чувствительности к (слуховой) речи в первые полгода жизни.

Следующие полгода; роль в изучении родного языка [ править ]

Примерно до шестимесячного возраста большинство слышащих младенцев чувствительны к широкому спектру речевых жестов, включая те, которые можно увидеть у рта, которые в дальнейшем могут быть, а могут и не стать частью фонологии их родного языка. Но во вторые шесть месяцев жизни слышащий младенец демонстрирует сужение восприятия фонетической структуры своего собственного языка и может потерять раннюю чувствительность к бесполезным образцам рта. Звуки речи / v / и / b /, которые визуально различимы в английском языке, но не в кастильском испанском, точно различаются у детей в возрасте до 6 месяцев, подвергшихся воздействию испанского и английского языков. Однако младенцы старшего возраста, подвергшиеся воздействию испанского происхождения, теряют способность «видеть» это различие, в то время как оно сохраняется для младенцев, подвергшихся воздействию английского языка.[20] Такие исследования показывают, что вместо того, чтобы слух и зрение развивались независимо в младенчестве, мультимодальная обработка данных является правилом, а не исключением, в (речевом) развитии детского мозга. [21]

Производство ранних языков: от одного до двух лет [ править ]

Учитывая множество исследований, указывающих на роль зрения в развитии речи у доъязыкового младенца, влияние врожденной слепоты на развитие речи удивительно мало. 18-месячные дети легче заучивают новые слова, когда они их слышат, и не заучивают их, когда им показывают речевые движения, не слыша. [22] Тем не менее, слепые от рождения дети могут путать / m / и / n / в их собственном раннем образовании английских слов - путаница, редко наблюдаемая у зрячих слышащих детей, поскольку / m / и / n / явно различимы, но на слух запутанный. [23]Роль зрения у детей в возрасте 1–2 лет может быть менее критичной для выработки их родного языка, поскольку к этому возрасту они приобретают навыки, необходимые для распознавания звуков речи и имитации их. Тем не менее, слух на неродном языке может переключить внимание ребенка на визуальное и слуховое взаимодействие посредством чтения по губам и слушания, чтобы обрабатывать, понимать и воспроизводить речь. [24]

В детстве [ править ]

В исследованиях с участием младенцев и детей с доязычным языком используются косвенные невербальные критерии для определения чувствительности к видимой речи. Явное чтение по губам можно надежно проверить у слышащих дошкольников, попросив их «произнести вслух то, что я говорю беззвучно». [25] У детей школьного возраста можно легко вызвать чтение по губам знакомых закрытых слов, таких как числовые слова. [26] Индивидуальные различия в навыках чтения по губам, которые были проверены, когда ребенка просили «произнести слово, которое вы читаете по губам», или сопоставив высказывание по губам с изображением, [27] показывают взаимосвязь между чтением по губам. навыки чтения и возраст. [28] [29]

У слышащих взрослых: соображения продолжительности жизни [ править ]

В то время как чтение по губам беззвучной речи представляет проблему для большинства слышащих людей, добавление зрения говорящего к слышимой речи улучшает обработку речи во многих условиях. Механизмы этого и конкретные способы, которыми помогает чтение по губам, являются темами текущих исследований. [30] Видение говорящего помогает на всех уровнях обработки речи, от распознавания фонетических признаков до интерпретации прагматических высказываний. [31] Положительные эффекты добавления зрения к слышимой речи больше в шумной, чем в тихой обстановке, [32] где, облегчая восприятие речи, видение говорящего может высвободить когнитивные ресурсы, обеспечивая более глубокую обработку речевого содержания.

По мере того, как у пожилых людей слух становится менее надежным, люди могут больше полагаться на чтение по губам, и им это рекомендуется. Однако более частое чтение по губам не всегда может исправить последствия возрастной потери слуха. Снижение когнитивных способностей с возрастом может предшествовать и / или быть связано с измеримой потерей слуха. [33] [34] Таким образом, чтение по губам не всегда может полностью компенсировать совокупное снижение слуха и когнитивных функций, связанных с возрастом.

В определенных (слуховых) группах населения [ править ]

В ряде исследований сообщается об аномалиях чтения по губам у населения с характерными нарушениями развития. Аутизм : люди с аутизмом могут демонстрировать снижение способности читать по губам и меньшую зависимость от зрения при восприятии аудиовизуальной речи. [35] [36] Это может быть связано с аномалиями взгляда в лицо у этих людей. [37] Синдром Вильямса : люди с синдромом Вильямса демонстрируют некоторые недостатки в чтении речи, которые могут не зависеть от их зрительно-пространственных трудностей. [38] Специфические языковые нарушения : Сообщается, что у детей с SLI снижена чувствительность к чтению по губам [39], как и у людей с дислексией . [40]

Глухота [ править ]

На протяжении сотен лет бушевали споры о роли чтения по губам (« устной речи ») по сравнению с другими методами коммуникации (совсем недавно - тотальной коммуникацией ) в обучении глухих. Насколько полезен тот или иной подход, зависит от ряда факторов, включая уровень потери слуха глухого человека, возраст потери слуха, участие родителей и родной язык (языки). Затем возникает вопрос о целях глухих, их сообщества и лиц, осуществляющих уход. Цель обучения - улучшить общение в целом, развить язык жестовв качестве первого языка или для развития навыков разговорного языка среди слушателей? В настоящее время исследователи сосредотачиваются на том, какие аспекты языка и общения могут быть лучше всего представлены с помощью каких средств и в каком контексте, учитывая статус слуха ребенка и его семьи, а также их образовательные планы. [41] Бимодальное двуязычие (владение речью и языком жестов) является одним из доминирующих современных подходов в языковом обучении глухих детей. [42]

Глухие люди часто лучше читают по губам, чем люди с нормальным слухом. [43] Некоторые глухие люди практикуются в качестве профессиональных читателей по губам, например, в судебной медицине . У глухих людей с кохлеарным имплантатом умение читать по губам до имплантации может предсказать постимплантационную (слуховую или аудиовизуальную) обработку речи. [44] Для многих глухих людей доступ к устному общению может быть облегчен, если устное сообщение передается через обученного профессионального говорящего . [45] [46]

В связи с чтением по губам и развитием грамотности у глухих детей от рождения обычно наблюдается задержка в развитии навыков грамотности [47], что может отражать трудности в овладении элементами разговорной речи. [48] В частности, надежное отображение фонемы и графемы может быть более трудным для глухих детей, которым необходимо уметь читать речь, чтобы освоить этот необходимый шаг в приобретении грамотности. Навыки чтения по губам связаны со способностями к грамотности у глухих взрослых и детей [49] [50], и обучение чтению по губам может помочь развить навыки грамотности. [51]

В Cued Speech используется чтение по губам с сопутствующими формами рук, которые устраняют неоднозначность виземической (согласной) формы губ. Говорят, что слышащим родителям легче выучить управляемую речь, чем язык жестов, и исследования, проведенные в основном в Бельгии, показывают, что глухой ребенок, который в младенчестве слышал звуковую речь, может добиться более эффективных успехов в изучении разговорной речи, чем чтение по губам. [52] Использование речевых сигналов при кохлеарной имплантации при глухоте, вероятно, будет положительным. [53] Похожий подход, предполагающий использование форм рук, сопровождающих видимую речь, - это визуальная акустика , которая используется некоторыми преподавателями для поддержки изучения письменной и устной речи.

Обучение и обучение [ править ]

Целью обучения чтению по губам является развитие осведомленности о природе чтения по губам и отработка способов улучшения способности воспринимать речь «на глаз». [54] Уроки чтения по губам , часто называемые курсами чтения по губам и управления потерей слуха , в основном предназначены для взрослых с потерей слуха. Наибольшая доля взрослых с потерей слуха имеет возрастную , или связанную с шумом потерю ; при обеих этих формах потери слуха сначала теряются высокочастотные звуки. Поскольку многие согласные в речи являются высокочастотными звуками, речь становится искаженной. Слуховые аппараты помогают, но не могут вылечить это. Уроки чтения по губам оказались полезными в исследованиях, проведенных в Великобритании по заказу Action on Surfing.благотворительность [55] (2012).

Тренеры признают, что чтение по губам - искусство неточное. Студентов учат следить за движениями губ, языка и челюстей, следить за ударением и ритмом языка, использовать свой остаточный слух, со слуховыми аппаратами или без них, следить за выражением лица и языком тела, а также использовать свою способность рассуждать и делать выводы. . Их обучают азбуке чтецов с губ , группам звуков, которые выглядят одинаково на губах (виземы), например, p, b, m или f, v. Цель состоит в том, чтобы понять суть, чтобы иметь уверенность в участии в разговоре. и избежать пагубной социальной изоляции, которая часто сопровождает потерю слуха. Уроки чтения по губам рекомендуются всем, кто плохо слышит в шуме, и помогают приспособиться к потере слуха. ATLA(Ассоциация обучения чтению по губам взрослых) - это профессиональная ассоциация Великобритании для квалифицированных преподавателей чтения по губам.

Тесты [ править ]

Большинство тестов чтения по губам были разработаны для измерения индивидуальных различий в выполнении определенных задач по обработке речи и для выявления изменений в производительности после тренировки. Тесты на чтение по губам использовались в относительно небольших группах в экспериментальных условиях или в качестве клинических показателей для отдельных пациентов и клиентов. Таким образом, тесты чтения по губам на сегодняшний день имеют ограниченную ценность в качестве маркеров навыков чтения по губам среди населения в целом.

Машинное чтение и говорение по губам [ править ]

Автоматическое чтение по губам было предметом интереса в вычислительной технике, а также в научно-фантастических фильмах . Вычислительный инженер Стив Омохундро , среди прочих, был пионером его разработки. В лицевой анимации цель состоит в том, чтобы создать реалистичные лицевые действия, особенно движения рта, которые имитируют человеческие речевые действия. Компьютерные алгоритмы деформирования или манипулирования изображениями лиц могут управляться устным или письменным языком. Системы могут быть основаны на детальных моделях, полученных на основе движений лица ( захват движения ); по анатомическому моделированию действий челюсти, рта и языка; или о картировании известных свойств висемфонемы. [56] [57]В обучении чтению речи использовалась лицевая анимация (демонстрирующая, как «выглядят» разные звуки). [58] Эти системы представляют собой подмножество моделирования синтеза речи, цель которого - обеспечить надежные выходные данные «текст в (видимую) речь». Дополнительная цель - обратная движению лиц в речи - состоит в разработке компьютерных алгоритмов, которые могут обеспечить реалистичную интерпретацию речи (например, письменную расшифровку или аудиозапись) из естественных видеоданных о лице в действии: это распознавание речи по лицу. Эти модели также могут быть получены из различных данных. [59] Автоматическое визуальное распознавание речи из видео оказалось весьма успешным в распознавании разных языков (из корпуса разговорных языковых данных). [60]Демонстрационные модели, использующие алгоритмы машинного обучения, добились некоторого успеха в чтении по губам элементов речи, таких как определенные слова, из видео [61] и в идентификации фонем, которые трудно читать по губам, из визуемически похожих действий рта. [62] Машинное чтение речи в настоящее время успешно использует алгоритмы на основе нейронных сетей, которые используют большие базы данных говорящих и речевого материала (после успешной модели для слухового автоматического распознавания речи ). [63]

Использование машинного чтения по губам может включать автоматическое чтение по губам только видеозаписей, автоматическое чтение по губам говорящих с поврежденными речевыми трактами и обработку речи в видео лицом к лицу (т. Е. По данным видеофона). Автоматическое чтение по губам может помочь в обработке шумной или незнакомой речи. [64] Автоматическое чтение по губам может способствовать биометрической идентификации личности, заменяя идентификацию на основе пароля. [65] [66]

Мозг [ править ]

После открытия, что слуховые области мозга , включая извилину Гешля , активируются видимой речью [67], было показано, что нейронные цепи для чтения речи включают надмодальные области обработки, особенно верхнюю височную борозду (все части), а также заднюю нижнюю затылочную борозду. -временные области, включая области, специализирующиеся на обработке лиц и биологическом движении . [68] В некоторых, но не во всех исследованиях, сообщается об активации зоны Брока для чтения речи [69] [70], предполагая, что артикуляционные механизмы могут быть активированы при чтении речи. [71]Исследования динамики аудиовизуальной обработки речи показали, что зрение речи может активировать области слуховой обработки раньше акустического сигнала. [72] [73] Лучшее умение читать по губам связано с большей активацией (слева) верхней височной борозды и прилегающих нижних височных (зрительных) областей у слышащих людей. [74] [75] У глухих людей схемы, предназначенные для чтения речи, очень похожи на схемы у слышащих людей, с аналогичными ассоциациями (слева) высшей временной активации и навыка чтения по губам. [76]

Ссылки [ править ]

  1. ^ Вудхаус, L; Hickson, L; Додд, Б. (2009). «Обзор зрительного восприятия речи людьми с нарушением слуха: клинические последствия». Международный журнал расстройств языка и общения . 44 (3): 253–70. DOI : 10.1080 / 13682820802090281 . PMID  18821117 .
  2. Перейти ↑ Erber, NP (1969). «Взаимодействие слуха и зрения при распознавании стимулов устной речи». J Speech Hear Res . 12 (2): 423–5. DOI : 10,1044 / jshr.1202.423 . PMID 5808871 . 
  3. ^ Лойд в Cyclopedia пазлов, 1914
  4. ^ Benguerel, AP; Пичора-Фуллер, МК (1982). «Эффекты коартикуляции при чтении по губам». J Speech Hear Res . 25 (4): 600–7. DOI : 10,1044 / jshr.2504.600 . PMID 7162162 . 
  5. Перейти ↑ Auer, ET (2010). «Исследование речевого чтения и глухоты» . Журнал Американской академии аудиологии . 21 (3): 163–8. DOI : 10.3766 / jaaa.21.3.4 . PMC 3715375 . PMID 20211120 .  
  6. ^ Иордания, TR; Томас, С.М. (2011). «Когда половина лица в целом хороша: эффекты простой субстанциальной окклюзии на визуальное и аудиовизуальное восприятие речи» . Atten Percept Psychophys . 73 (7): 2270–85. DOI : 10,3758 / s13414-011-0152-4 . PMID 21842332 . 
  7. ^ Томас, SM; Иордания, TR (2004). «Вклад устных и экстраоральных движений лица в визуальное и аудиовизуальное восприятие речи». J Exp Psychol Hum Percept Perform . 30 (5): 873–88. DOI : 10.1037 / 0096-1523.30.5.873 . PMID 15462626 . 
  8. ^ Спехар, B; Goebel, S; Тай-Мюррей, Н. (2015). «Влияние типа контекста на производительность чтения по губам и слушания и последствия для обработки предложений» . J Speech Lang Hear Res . 58 (3): 1093–102. DOI : 10,1044 / 2015_JSLHR-Н-14-0360 . PMC 4610295 . PMID 25863923 .  
  9. ^ Файлы, BT; Тян, BS; Цзян, Дж; Бернштейн, Л. Е. (2015). «Визуальное распознавание речи и определение естественных и синтетических согласных раздражителей» . Front Psychol . 6 : 878. DOI : 10.3389 / fpsyg.2015.00878 . PMC 4499841 . PMID 26217249 .  
  10. ^ Ауэр, ET; Бернштейн, Л. Е. (1997). «Чтение речи и структура лексики: компьютерное моделирование влияния пониженной фонетической различимости на лексическую уникальность». J Acoust Soc Am . 102 (6): 3704–10. DOI : 10.1121 / 1.420402 . PMID 9407662 . 
  11. ^ Feld J1, Sommers M 2011 Там идет соседство: чтение по губам и структура ментального лексикона. Речь общ. Февраль; 53 (2): 220-228
  12. ^ Тай-Мюррей, N; Хейл, S; Спехар, B; Майерсон, Дж; Соммерс, MS (2014). «Чтение по губам у детей школьного возраста: роль возраста, слуха и когнитивных способностей» . J Speech Lang Hear Res . 57 (2): 556–65. DOI : 10,1044 / 2013_JSLHR-Н-12-0273 . PMC 5736322 . PMID 24129010 .  
  13. ^ Feld, JE; Соммерс, MS (2009). «Чтение по губам, скорость обработки и рабочая память у молодых и пожилых людей» . J Speech Lang Hear Res . 52 (6): 1555–65. DOI : 10,1044 / 1092-4388 (2009 / 08-0137) . PMC 3119632 . PMID 19717657 .  
  14. ^ «HuffPost - Последние новости, новости США и мира» . HuffPost . Проверено 11 октября 2020 .
  15. ^ Meltzoff, АН; Мур, МК (1977). «Имитация мимики и жестов рук новорожденными людьми» . Наука . 198 (4312): 74–8. DOI : 10.1126 / science.897687 . PMID 897687 . 
  16. ^ Додд B.1976 Чтение по губам у младенцев: внимание к речи, представленной синхронно и несинхронно. Когнитивная психология Октябрь; 11 (4): 478-84
  17. ^ Spelke, E (1976). «Младенцы интермодальное восприятие событий». Когнитивная психология . 8 (4): 553–560. DOI : 10.1016 / 0010-0285 (76) 90018-9 .
  18. ^ Бернхэм, D; Додд, Б. (2004). «Слухово-визуальная речевая интеграция у младенцев с проязычностью: восприятие возникающего согласного в эффекте Мак-Гурка». Психобиология развития . 45 (4): 204–20. DOI : 10.1002 / dev.20032 . PMID 15549685 . 
  19. ^ Розенблюм, LD; Шмуклер, Массачусетс; Джонсон, Дж. А. (1997). «Эффект МакГерка у младенцев» . Восприятие психофизики . 59 (3): 347–57. DOI : 10.3758 / BF03211902 . PMID 9136265 . 
  20. ^ Понс, F; и другие. (2009). «Сужение межсенсорного восприятия речи в младенчестве» . Труды Национальной академии наук . 106 (26): 10598–602. DOI : 10.1073 / pnas.0904134106 . PMC 2705579 . PMID 19541648 .  
  21. ^ Левкович, DJ; Газанфар, AA (2009). «Возникновение мультисенсорных систем через сужение восприятия». Тенденции в когнитивных науках . 13 (11): 470–8. CiteSeerX 10.1.1.554.4323 . DOI : 10.1016 / j.tics.2009.08.004 . PMID 19748305 .  
  22. ^ Havy, М., Foroud А., Fais, L., & Werker, JF (в прессе,сайте 26 января 2017). Роль слуховой и визуальной речи в обучении словам в 18 месяцев и в зрелом возрасте. Развитие ребенка. (Предпечатная версия)
  23. ^ Миллс, AE 1987 Развитие фонологии у слепого ребенка. В B.Dodd & R.Campbell (Eds) Hearing by Eye: Психология чтения по губам, Hove UK, Lawrence Erlbaum Associates
  24. ^ Левкович, DJ; Хансен-Тифт, AM (январь 2012 г.). «Младенцы избирательно уделяют внимание рту говорящего лица при обучении речи» . Труды Национальной академии наук . 109 (5): 1431–6. DOI : 10.1073 / pnas.1114783109 . PMC 3277111 . PMID 22307596 .  
  25. ^ Дэвис R1, Кидд Э; Лендер, К. (2009). «Исследование психолингвистических коррелятов чтения речи у детей дошкольного возраста». Международный журнал расстройств языка и общения . 44 (2): 164–74. DOI : 10.1080 / 13682820801997189 . hdl : 11858 / 00-001M-0000-002E-2344-8 . PMID 18608607 . 
  26. ^ Додд Б. 1987 Приобретение навыков чтения по губам нормально слышащими детьми. В B.Dodd & R.Campbell (Eds) Hearing by Eye, Erlbaum NJ pp 163-176
  27. ^ Джергер, S; и другие. (2009). «Изменения в развитии чувствительности детей к визуальной речи: новая мультимодальная задача« картинка-слово »» . J Exp Child Psychol . 102 (1): 40–59. DOI : 10.1016 / j.jecp.2008.08.002 . PMC 2612128 . PMID 18829049 .  
  28. ^ Кайл, ИП; Кэмпбелл, Р. Мохаммед, Т; Коулман, М; Максуини, М (2013). «Развитие чтения речи у глухих и слышащих детей: вводный тест по чтению речи у детей» . Журнал исследований речи, языка и слуха . 56 (2): 416–26. DOI : 10,1044 / 1092-4388 (2012 / 12-0039) . PMC 4920223 . PMID 23275416 .  
  29. ^ Тай-Мюррей, N; Хейл, S; Спехар, B; Майерсон, Дж; Соммерс, MS (2014). «Чтение по губам у детей школьного возраста: роль возраста, слуха и когнитивных способностей» . J Speech Lang Hear Res . 57 (2): 556–65. DOI : 10,1044 / 2013_JSLHR-Н-12-0273 . PMC 5736322 . PMID 24129010 .  
  30. ^ Peelle, JE; Соммерс, MS (2015). «Предсказание и ограничение аудиовизуального восприятия речи» . Cortex . 68 : 169–81. DOI : 10.1016 / j.cortex.2015.03.006 . PMC 4475441 . PMID 25890390 .  
  31. Перейти ↑ Campbell, R (2008). «Обработка аудиовизуальной речи: эмпирические и нейронные основы» . Философские труды Королевского общества B . 363 (1493): 1001–1010. DOI : 10.1098 / rstb.2007.2155 . PMC 2606792 . PMID 17827105 .  
  32. ^ Сумби, WH; Поллак, я (1954). «Визуальный вклад в разборчивость речи в шуме». Журнал Акустического общества Америки . 26 (2): 212–215. DOI : 10.1121 / 1.1907309 .
  33. ^ Тальяард, Шмулиан; и другие. (2015). «Взаимосвязь между нарушением слуха и когнитивной функцией: метаанализ у взрослых» (PDF) . Клин Отоларингол . 41 (6): 718–729. DOI : 10.1111 / coa.12607 . ЛВП : 2263/60768 . PMID 26670203 .  
  34. ^ Хунг, Южная Каролина; и другие. (2015). «Потеря слуха связана с риском болезни Альцгеймера: исследование методом случай-контроль у пожилых людей» . J Epidemiol . 25 (8): 517–21. DOI : 10.2188 / jea.JE20140147 . PMC 4517989 . PMID 25986155 .  
  35. ^ Смит, EG; Беннетто, LJ (2007). «Аудиовизуальная интеграция речи и чтение по губам при аутизме». Детская психическая психиатрия . 48 (8): 813–21. DOI : 10.1111 / j.1469-7610.2007.01766.x . PMID 17683453 . 
  36. ^ Ирвин, младший; Торнаторе, Луизиана; Бранкацио, L; Уэлен, DH (2011). «Могут ли дети с расстройствами аутистического спектра слышать« говорящее лицо »?» . Child Dev . 82 (5): 1397–403. DOI : 10.1111 / j.1467-8624.2011.01619.x . PMC 3169706 . PMID 21790542 .  
  37. ^ Ирвин, младший; Бранкацио, Л. (2014). «Видеть, чтобы слышать? Образцы взгляда на говорящие лица у детей с расстройствами аутистического спектра» . Front Psychol . 5 : 397. DOI : 10.3389 / fpsyg.2014.00397 . PMC 4021198 . PMID 24847297 .  
  38. ^ Böhning, M; Кэмпбелл, Р. Кармилов-Смит, А (2002). «Аудиовизуальное восприятие речи при синдроме Вильямса». Нейропсихология . 40 (8): 1396–406. DOI : 10.1016 / s0028-3932 (01) 00208-1 . PMID 11931944 . 
  39. ^ Leybaert, J; Макки, L; Huyse, A; Champoux, F; Баярд, С; Колин, К; Бертомье, Ф (2014). «Атипичное аудиовизуальное восприятие речи и эффекты Мак-Герка у детей с определенными языковыми нарушениями» . Front Psychol . 5 : 422. DOI : 10.3389 / fpsyg.2014.00422 . PMC 4033223 . PMID 24904454 .  
  40. ^ Мохаммед Т1, Кэмпбелл Р; Максуини, М; Барри, Ф; Коулман, М. (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и страдающих дислексией». Клиническая лингвистика и фонетика . 20 (7–8): 621–30. DOI : 10.1080 / 02699200500266745 . PMID 17056494 . 
  41. ^ "Руки и голоса :: Статьи" .
  42. ^ Сванвика R (2016). «Бимодальное двуязычие и образование глухих детей» (PDF) . Обучение языкам . 49 (1): 1–34. DOI : 10.1017 / S0261444815000348 .
  43. ^ Бернштейн, LE; Demorest, ME; Такер, ЧП (2000). «Восприятие речи без слуха» . Восприятие и психофизика . 62 (2): 233–52. DOI : 10.3758 / bf03205546 . PMID 10723205 . 
  44. ^ Bergeson TR1, Pisoni DB; Дэвис, РА (2005). «Развитие навыков аудиовизуального понимания у детей с доязычной глухотой с кохлеарными имплантатами» . Ухо и слух . 26 (2): 149–64. DOI : 10.1097 / 00003446-200504000-00004 . PMC 3432935 . PMID 15809542 .  
  45. ^ «Коммуникационная поддержка глухих» . 2015-11-24.
  46. ^ "Lipspeaker UK - Услуги связи для глухих и слабослышащих людей" .
  47. ^ "Чтение и дислексия у глухих детей | Фонд Наффилда" .
  48. Перейти ↑ Mayer, C. (2007). «Что действительно важно в раннем развитии грамотности глухих детей» . J Deaf Stud Deaf Educ . 12 (4): 411–31. DOI : 10.1093 / deafed / enm020 . PMID 17566067 . 
  49. ^ Мохаммед, Тара; Кэмпбелл, Рут; МакСвини, Майрид; Барри, Фиона; Коулман, Майкл (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и страдающих дислексией». Клиническая лингвистика и фонетика . 20 (7–8): 621–630. DOI : 10.1080 / 02699200500266745 . PMID 17056494 . 
  50. ^ Кайл, ИП; Харрис, М. (2010). «Предикторы развития чтения у глухих детей: трехлетнее продольное исследование» (PDF) . J Exp Child Psychol . 107 (3): 229–243. DOI : 10.1016 / j.jecp.2010.04.011 .
  51. ^ Кайл, Фиона Э .; Кэмпбелл, Рут; Мохаммед, Тара; Коулман, Майк; МакСвини, Майрид (2013). «Развитие чтения речи у глухих и слышащих детей: введение в тест чтения речи у детей» . Журнал исследований речи, языка и слуха . 56 (2): 416–426. DOI : 10,1044 / 1092-4388 (2012 / 12-0039) . PMC 4920223 . PMID 23275416 .  
  52. ^ Николс, GH; Линг, Д. (1982). «Речь с репликами и прием разговорной речи» . J Speech Hear Res . 25 (2): 262–9. DOI : 10,1044 / jshr.2502.262 . PMID 7120965 . 
  53. ^ Leybaert, J; ЛаСассо, CJ (2010). «Речь с инструкциями для улучшения восприятия речи и развития первого языка у детей с кохлеарными имплантатами» . Тенденции в усилении . 14 (2): 96–112. DOI : 10.1177 / 1084713810375567 . PMC 4111351 . PMID 20724357 .  
  54. ^ «Алфавит чтения по губам: круглые гласные» . Архивировано 23 июня 2014 года . Проверено 23 июня 2014 .
  55. ^ «Кампании и влияние» .
  56. ^ http://www-bcf.usc.edu/~rwalker/Walker/Publications_files/1996_CohenWalker%26Massaro_VisualSpeech.pdf
  57. ^ «Основанный на правилах синтез визуальной речи» . 1995. С. 299–302.
  58. ^ Босселер, Алексис; Массаро, Доминик В. (2003). «Разработка и оценка компьютерно-анимированного репетитора по словарному запасу и изучению языка у детей с аутизмом». Журнал аутизма и нарушений развития . 33 (6): 653–672. DOI : 10,1023 / Б: JADD.0000006002.82367.4f . PMID 14714934 . 
  59. ^ "Визуальный синтез речи - UEA" .
  60. ^ "Читающий по губам компьютер может различать языки" .
  61. ^ https://www.youtube.com/watch?v=Tu2vInqqHX8
  62. ^ Хики, Шейн (2016-04-24). «Новаторы: можно ли научить компьютеры читать по губам?» . Хранитель .
  63. ^ "Google DeepMind AI может читать телешоу по губам лучше, чем профессионал" .
  64. ^ Petajan, E .; Bischoff, B .; Bodoff, D .; Брук, Н.М. (1988). «Усовершенствованная система автоматического чтения по губам для улучшения распознавания речи» . Материалы конференции SIGCHI «Человеческий фактор в вычислительных системах» - CHI '88 . С. 19–25. DOI : 10.1145 / 57167.57170 . ISBN 978-0201142372.
  65. ^ http://www.asel.udel.edu/icslp/cdrom/vol1/954/a954.pdf
  66. ^ http: //www.planetbiometrics.com-article-details-i-2250 [ постоянная мертвая ссылка ]
  67. ^ Калверт, Джорджия; Bullmore, ET; Браммер, MJ; и другие. (1997). «Активация слуховой коры при молчаливом чтении по губам». Наука . 276 (5312): 593–6. DOI : 10.1126 / science.276.5312.593 . PMID 9110978 . 
  68. ^ Бернштейн, LE; Либенталь, Э (2014). «Нервные пути зрительного восприятия речи» . Front Neurosci . 8 : 386. DOI : 10,3389 / fnins.2014.00386 . PMC 4248808 . PMID 25520611 .  
  69. ^ Шкипер, JI; ван Вассенхов, V; Нусбаум, ХК; Маленький, SL (2007). «Слышание губ и видение голосов: как области коры головного мозга, поддерживающие производство речи, опосредуют аудиовизуальное восприятие речи» . Кора головного мозга . 17 (10): 2387–2399. DOI : 10.1093 / cercor / bhl147 . PMC 2896890 . PMID 17218482 .  
  70. ^ Кэмпбелл, R; МакСвини, М; Сургуладзе, С; Калверт, G; McGuire, P; Сосание, Дж; Браммер, MJ; Дэвид, А.С. (2001). «Корковые субстраты для восприятия действий лица: исследование с помощью фМРТ специфичности активации видимой речи и бессмысленных действий нижней части лица (скрежетание)». Brain Res Cogn Brain Res . 12 (2): 233–43. DOI : 10.1016 / s0926-6410 (01) 00054-4 . PMID 11587893 . 
  71. ^ Swaminathan, S .; MacSweeney, M .; Boyles, R .; Waters, D .; Уоткинс, KE; Мёттёнен, Р. (2013). «Двигательная возбудимость при зрительном восприятии известных и неизвестных разговорных языков» . Мозг и язык . 126 (1): 1–7. DOI : 10.1016 / j.bandl.2013.03.002 . PMC 3682190 . PMID 23644583 .  
  72. ^ Sams, M; и другие. (1991). «Ауленко и др., 1991 г. Видящая речь: визуальная информация от движений губ изменяет активность слуховой коры человека». Письма неврологии . 127 (1): 141–145. DOI : 10.1016 / 0304-3940 (91) 90914-F . PMID 1881611 . 
  73. ^ Ван Вассенхов, V; Грант, кВт; Poeppel, D (январь 2005 г.). «Визуальная речь ускоряет нейронную обработку слуховой речи» . Труды Национальной академии наук . 102 (4): 1181–6. DOI : 10.1073 / pnas.0408949102 . PMC 545853 . PMID 15647358 .  
  74. ^ Hall DA1, Fussell C, Саммерфильд AQ. 2005 Чтение беглой речи с говорящих лиц: типичные мозговые сети и индивидуальные различия. J. Cogn Neurosci. 17 (6): 939-53.
  75. ^ Бернштейн, LE; Цзян, Дж; Пантазис, Д; Лу, З.Л .; Джоши, А (2011). «Визуальная фонетическая обработка, локализованная с помощью речевых и неречевых жестов лица в видео и точечных световых дисплеях» . Hum Brain Mapp . 32 (10): 1660–76. DOI : 10.1002 / hbm.21139 . PMC 3120928 . PMID 20853377 .  
  76. ^ Чапек, CM; Максуини, М; Woll, B; Waters, D; Макгуайр, ПК; David, AS; Браммер, MJ; Кэмпбелл, Р. (2008). «Корковые контуры для беззвучного чтения речи глухонемыми и слышащими людьми» . Нейропсихология . 46 (5): 1233–41. DOI : 10.1016 / j.neuropsychologia.2007.11.026 . PMC 2394569 . PMID 18249420 .  

Библиография [ править ]

  • Д. Сторк и М. Хеннеке (редакторы) (1996) Чтение речи людьми и машинами: модели систем и приложений. Серия ASI НАТО F Компьютерные и системные науки Том 150. Шпрингер, Берлин, Германия
  • E.Bailly, P.Perrier и E.Vatikiotis-Bateson (Eds) (2012) Обработка аудиовизуальной речи, Cambridge University Press, Cambridge UK
  • Слышать глазами (1987) , Б. Додд и Р. Кэмпбелл (редакторы), Эрлбаум Асстес, Хиллсдейл, штат Нью-Джерси, США; Hearing by Eye II , (1997) Р. Кэмпбелл, Б. Додд и Д. Бернем (редакторы), Psychology Press, Hove UK
  • Д. У. Массаро (1987 г., перепечатано в 2014 г.) Восприятие речи на слух и на глаз , Lawrence Erlbaum Associates, Hillsdale NJ

Дальнейшее чтение [ править ]

  • Дэн Нозовиц (18 февраля 2020 г.). "Какой язык сложнее всего в мире читать по губам?" . Атлас-обскура .
  • Лаура Рингхэм (2012). «Почему пришло время признать ценность чтения по губам и управления поддержкой потери слуха (Действия в связи с потерей слуха, полный отчет)» (PDF) .

Внешние ссылки [ править ]

  • Шотландский сенсорный центр 2005: семинар по чтению по губам [1]
  • Уроки чтения по губам в Шотландии: путь вперед. Отчет за 2015 год
  • ВИЗА; Специальная группа Международной ассоциации речевой коммуникации, специализирующаяся на чтении по губам и аудиовизуальной речи
  • Чтение речи для сбора информации: обзор научных источников [2]