Визема

Viseme является одной из нескольких звуков речи , которые выглядят так же, к примеру , когда чтение по губам (Fisher 1968).

Виземы и фонемы не имеют однозначного соответствия. Часто несколько фонем соответствуют одной виземе, так как несколько фонем выглядят одинаково на лице при воспроизведении, например / k, ɡ, ŋ / , (визема: / k /), / t͡ʃ, ʃ, d͡ʒ, ʒ / (viseme : / ch /), / t, d, n, l / (визема: / t /) и / p, b, m / (визема: / p /). Таким образом, такие слова, как домашнее животное, колокольчик и человекчитателям трудно различить, так как все они похожи на / pet /. Однако могут быть различия во времени и продолжительности реальной речи с точки зрения визуальной «сигнатуры» данного жеста, которую невозможно запечатлеть с помощью одной фотографии. И наоборот, некоторые звуки, которые трудно различить акустически, четко различимы по лицу (Chen 2001). Например, акустически говорящие на английском языке / l / и / r / могут быть очень похожими (особенно в кластерах, таких как «трава» и «стекло»), но визуальная информация может показывать четкий контраст. Об этом свидетельствует более частое неправильное расслышание слов по телефону, чем при личном разговоре. Некоторые лингвистыутверждали, что речь лучше всего понимается как бимодальная (слуховая и визуальная), и понимание может быть нарушено, если одна из этих двух областей отсутствует ( McGurk and MacDonald 1976 ).

Висемы часто могут быть юмористическими, как, например, фраза «слоновий сок», которая при чтении по губам кажется идентичной «Я люблю тебя».

Заявки на участие в исследовании визет включают обработку речи , распознавание речи и компьютерную анимацию лица .

См. Также [ править ]

• Семе
• Хронема

Ссылки [ править ]

• Чен, Т. (1998, май). «Аудиовизуальная интеграция в мультимодальной коммуникации». Труды IEEE 86, 837–852.
• Чен, Т. (2001). «Аудиовизуальная обработка речи». Журнал IEEE Signal Processing , 9–31.
• Фишер, CG (1968). «Путаница среди визуально воспринимаемых согласных звуков». Журнал исследований речи и слуха , 11 (4): 796–804.
• МакГурк, Х. и Макдональд, Дж. (1976, декабрь). «Слышать губы и видеть голоса». Природа , 746–748.
• Патрик Люси, Терренс Мартин, Шрида Шридхаран (2004). «Сложность фонем, сгруппированных в соответствии с их классами визем в шумной среде». Представлено на Десятой австралийской международной конференции по речевой науке и технологиям, Университет Маккуори , Сидней, 8–10 декабря 2004 г. Статья в Интернете (документ в формате PDF)