Захват движения лица — это процесс электронного преобразования движений лица человека в цифровую базу данных с использованием камер или лазерных сканеров . Затем эта база данных может использоваться для создания компьютерной графики (CG), компьютерной анимации для фильмов, игр или аватаров в реальном времени. Поскольку движение персонажей компьютерной графики основано на движениях реальных людей, это приводит к более реалистичной и детализированной компьютерной анимации персонажей, чем если бы анимация создавалась вручную.
База данных захвата движения лица описывает координаты или относительные положения контрольных точек на лице актера. Захват может осуществляться в двух измерениях, и в этом случае процесс захвата иногда называют « отслеживанием выражений », или в трех измерениях. Двумерный захват может быть достигнут с помощью одной камеры и программного обеспечения для захвата. Это обеспечивает менее сложное отслеживание и не может полностью фиксировать трехмерные движения, такие как вращение головы. Трехмерный захват осуществляется с помощью многокамерных установок или системы лазерных маркеров. Такие системы, как правило, намного дороже, сложнее и требуют больше времени для использования. Существуют две преобладающие технологии: маркерные и безмаркерные системы слежения.
Захват движения лица связан с захватом движения тела, но является более сложным из-за более высоких требований к разрешению для обнаружения и отслеживания тонких выражений, возможных благодаря небольшим движениям глаз и губ. Эти движения часто составляют менее нескольких миллиметров, что требует еще большего разрешения и точности, а также других методов фильтрации, чем обычно используется при захвате всего тела. Дополнительные ограничения грани также открывают больше возможностей для использования моделей и правил.
Захват выражения лица аналогичен захвату движения лица. Это процесс использования визуальных или механических средств для манипулирования сгенерированными компьютером персонажами с вводом данных с человеческих лиц или для распознавания эмоций пользователя.
Одна из первых статей, посвященных анимации, ориентированной на производительность, была опубликована Лэнсом Уильямсом в 1990 году. Там он описывает «средство получения выражений реальных лиц и их применения к лицам, созданным компьютером». [1]
Традиционные системы на основе маркеров наносят до 350 маркеров на лица актеров и отслеживают движение маркеров с помощью камер с высоким разрешением . Это использовалось в таких фильмах, как «Полярный экспресс» и « Беовульф » , чтобы позволить актеру, такому как Том Хэнкс , управлять выражением лица нескольких разных персонажей. К сожалению, это довольно громоздко и делает выражения лиц актеров чрезмерно управляемыми после сглаживания и фильтрации. Системы следующего поколения, такие как CaptiveMotion , используют ответвления традиционной системы на основе маркеров с более высоким уровнем детализации.