Захват движения лица - это процесс электронного преобразования движений лица человека в цифровую базу данных с помощью камер или лазерных сканеров . Затем эту базу данных можно использовать для создания компьютерной графики (CG), компьютерной анимации для фильмов, игр или аватаров в реальном времени. Поскольку движение персонажей компьютерной графики происходит от движений реальных людей, это приводит к более реалистичной и детализированной компьютерной анимации персонажей, чем если бы анимация была создана вручную.
База данных захвата движения лица описывает координаты или относительное положение контрольных точек на лице актера. Захват может быть в двух измерениях, и в этом случае процесс захвата иногда называют « отслеживанием выражения », или в трех измерениях. Двумерный захват может быть достигнут с помощью одной камеры и программного обеспечения для захвата. Это обеспечивает менее сложное отслеживание и не может полностью уловить трехмерные движения, такие как вращение головы. Трехмерный захват выполняется с помощью многокамерных установок или системы лазерного маркера. Такие системы обычно намного дороже, сложнее и требуют много времени в использовании. Существуют две преобладающие технологии: маркерные и безмаркерные системы слежения.
Захват движений лица связан с захватом движений тела, но является более сложной задачей из-за требований к более высокому разрешению для обнаружения и отслеживания едва уловимых выражений лиц, которые могут возникнуть при небольших движениях глаз и губ. Эти движения часто меньше нескольких миллиметров, что требует еще большего разрешения и точности, а также других методов фильтрации, чем обычно используется при захвате всего тела. Дополнительные ограничения лица также предоставляют больше возможностей для использования моделей и правил.
Захват выражения лица похож на захват движения лица. Это процесс использования визуальных или механических средств для управления персонажами, сгенерированными компьютером, с вводом от человеческих лиц или для распознавания эмоций пользователя.
История
Одна из первых статей, в которых обсуждалась анимация, управляемая производительностью, была опубликована Лэнсом Уильямсом в 1990 году. Там он описывает «средства получения выражений реальных лиц и их применения к лицам, созданным компьютером». [1]
Технологии
На основе маркера
Традиционные системы на основе маркеров наносят до 350 маркеров на лица актеров и отслеживают движение маркеров с помощью камер с высоким разрешением . Это использовалось в таких фильмах, как «Полярный экспресс» и « Беовульф», чтобы позволить актеру, такому как Том Хэнкс, управлять выражениями лиц нескольких разных персонажей. К сожалению, это относительно громоздко и делает выражения актеров чрезмерно управляемыми после выполнения сглаживания и фильтрации. Системы следующего поколения, такие как CaptiveMotion, используют ответвления традиционной системы на основе маркеров с более высоким уровнем детализации.
Технология Active LED Marker в настоящее время используется для управления лицевой анимацией в режиме реального времени, чтобы обеспечить обратную связь с пользователем.
Без маркера
Безмаркерные технологии используют черты лица, такие как ноздри , уголки губ и глаз, а также морщины, а затем отслеживают их. Эта технология обсуждается и демонстрируется в CMU , [2] IBM , [3] Университете Манчестера (где большая часть этого началась с Тимом Кутсом , [4] Гаретом Эдвардсом и Крисом Тейлором) и других местах с использованием активных моделей внешнего вида , главного компонента. анализ , собственное отслеживание , модели деформируемой поверхности и другие методы для отслеживания желаемых черт лица от кадра к кадру. Эта технология гораздо менее громоздка и позволяет актеру более выразительно.
Эти подходы, основанные на зрении, также позволяют отслеживать движение зрачков, век, окклюзию зубов губами и языком, что является очевидной проблемой в большинстве компьютерных анимационных функций. Типичными ограничениями подходов, основанных на зрении, являются разрешение и частота кадров, которые уменьшаются по мере того, как высокоскоростные CMOS-камеры с высоким разрешением становятся доступными из множества источников.
Технология безмаркерного отслеживания лица связана с технологией в системе распознавания лиц , поскольку система распознавания лиц потенциально может применяться последовательно к каждому кадру видео, что приводит к отслеживанию лица. Например, система Neven Vision [5] (ранее называвшаяся Eyematics, теперь приобретенная Google) позволяла отслеживать лица в 2D в реальном времени без индивидуального обучения; их система также была одной из самых эффективных систем распознавания лиц в тесте поставщиков распознавания лиц (FRVT), проведенном правительством США в 2002 году. С другой стороны, некоторые системы распознавания явно не отслеживают выражения или даже не работают с ненейтральными выражениями, и поэтому не подходят для отслеживания. И наоборот, такие системы, как модели деформируемой поверхности, объединяют временную информацию для устранения неоднозначности и получения более надежных результатов, поэтому их нельзя применить к одной фотографии.
Отслеживание лица без маркеров перешло в коммерческие системы, такие как Image Metrics , которые применялись в таких фильмах, как сиквелы «Матрицы» [6] и «Загадочная история Бенджамина Баттона» . Последний использовал систему Mova для захвата деформируемой модели лица, которая затем была анимирована с помощью комбинации ручного и визуального отслеживания. [7] « Аватар» был еще одним известным фильмом о захвате перформанса, однако в нем использовались нарисованные маркеры, а не без маркеров. Dynamixyz [ постоянная мертвая ссылка ] - еще одна коммерческая система, которая используется в настоящее время.
Безмаркерные системы можно классифицировать по нескольким отличительным критериям:
- Сравнение 2D и 3D отслеживания
- требуется ли индивидуальное обучение или другая человеческая помощь
- производительность в реальном времени (что возможно только в том случае, если не требуется обучение или контроль)
- нужен ли им дополнительный источник информации, такой как проецируемые узоры или невидимая краска, например, используемая в системе Mova.
На сегодняшний день ни одна система не является идеальной по всем этим критериям. Например, система Neven Vision была полностью автоматической и не требовала скрытых шаблонов или индивидуального обучения, но работала в 2D. Система Face / Off [8] является трехмерной, автоматической и работает в реальном времени, но требует проецирования шаблонов.
Захват выражения лица
Технология
Методы на основе цифрового видео становятся все более предпочтительными, поскольку механические системы имеют тенденцию быть громоздкими и сложными в использовании.
Используя цифровые камеры , вводимые выражения лиц обрабатываются для определения позы головы , которая позволяет программному обеспечению затем находить глаза, нос и рот. Лицо изначально откалибровано с использованием нейтрального выражения. Затем, в зависимости от архитектуры, брови, веки, щеки и рот можно обрабатывать как отличия от нейтрального выражения. Это делается, например, путем поиска краев губ и распознавания их как уникального объекта. Часто наносится макияж, усиливающий контраст, или маркеры, или какой-либо другой способ ускорить обработку. Как и в случае с распознаванием голоса, лучшие методы работают только в 90% случаев, требуя большой ручной настройки или терпимости к ошибкам.
Поскольку у персонажей, сгенерированных компьютером, на самом деле нет мускулов , для достижения тех же результатов используются разные методы. Некоторые аниматоры создают кости или объекты, управляемые программой захвата, и перемещают их соответствующим образом, что при правильной настройке персонажа дает хорошее приближение. Поскольку лица очень эластичны, эту технику часто смешивают с другими, корректируя веса по-разному в зависимости от эластичности кожи и других факторов в зависимости от желаемого выражения лица.
Применение
Несколько коммерческих компаний разрабатывают продукты, которые уже были в употреблении, но довольно дорогие.
Ожидается, что это станет основным устройством ввода для компьютерных игр, как только программное обеспечение будет доступно в доступном формате, но аппаратное и программное обеспечение еще не существует, несмотря на то, что исследования, проведенные за последние 15 лет, дали почти применимые результаты.
Смотрите также
Рекомендации
- ^ Performance-Driven Анимация лица, Лэнс Уильямс, Компьютерная графика, Volume 24, Number 4, август 1990
- ^ А алгоритмов в архиве 2017-02-22 в Wayback Machine из Carnegie Mellon Института робототехники
- ^ «Автоматическое распознавание мимики в реальном времени в реальном времени» (PDF) . Архивировано из оригинального (PDF) 19 ноября 2015 года . Проверено 17 ноября 2015 .
- ^ Программное обеспечение для моделирования и поиска. Архивировано 23февраля2009 г. на Wayback Machine («В этом документе описывается, как создавать, отображать и использовать статистические модели внешнего вида»).
- ^ Вискотт, Лоренц; Ж.-М. Fellous; Н. Крюгер; К. фон дер Мальсург (1997), «Распознавание лиц с помощью сопоставления графов с упругой связкой», конспект лекций по информатике , Springer, 1296 : 456–463, CiteSeerX 10.1.1.18.1256 , doi : 10.1007 / 3-540-63460- 6_150 , ISBN 978-3-540-63460-7
- ^ Борщуков, Георгий; Д. Пипони; О. Ларсен; Дж. Льюис; К. Темпллаар-Литц (2003), «Универсальный захват - анимация лица на основе изображений для« Матрицы: перезагрузка » », ACM SIGGRAPH
- ^ Барба, Эрик; Стив Приг (18 марта 2009 г.), «Любопытное лицо Бенджамина Баттона», презентация в Ванкувере, глава ACM SIGGRAPH, 18 марта 2009 г.
- ^ Weise, Thibaut; Х. Ли; Л. Ван Гул; М. Поли (2009), «Face / off: Live Face Puppetry», Симпозиум ACM по компьютерной анимации
Внешние ссылки
- Университет Карнеги Меллон
- Делфтский технологический университет
- Intel
- Шеффилд и Отаго