Захвата движения

Захват движения (иногда для краткости называемый mo-cap или mocap ) - это процесс записи движения объектов или людей. Он используется в военных , развлекательных , спортивных , медицинских приложениях, а также для проверки компьютерного зрения [3] и робототехники. [4] В кинопроизводстве и разработке видеоигр это относится к записи действий людей-актеров и использованию этой информации для анимации цифровых моделей персонажей в компьютерной 2D- или 3D- анимации . [5] [6] [7]Когда он включает в себя лицо и пальцы или захватывает едва различимые выражения, его часто называют захватом производительности . [8] Во многих областях захват движения иногда называют отслеживанием движения , но в кинопроизводстве и играх отслеживание движения обычно больше относится к соответствию движению .

"> Файл: Temporal-Control-and-Hand-Movement-Efficiency-in-Skilled-Music-Performance-pone.0050901.s001.ogvВоспроизвести медиа
Захват движения правых рук двух пианистов , играющих одну и ту же пьесу (замедленная съемка, без звука) [1]
Два повторения последовательности ходьбы, записанные с помощью системы захвата движения [2]

В сеансах захвата движения движения одного или нескольких актеров записываются много раз в секунду. В то время как ранние методы , используемые изображения с нескольких камер для расчета 3D позиции , [9] часто цель захвата движения заключается в записи только движения актера, а не их внешний вид. Эти данные анимации отображаются на 3D-модель, так что модель выполняет те же действия, что и актер. Этот процесс можно сравнить со старой техникой ротоскопирования .

Движения камеры также могут быть захвачены движением, так что виртуальная камера в сцене будет панорамировать, наклонять или перемещать тележку вокруг сцены, управляемую оператором камеры во время выступления актера. В то же время система захвата движения может захватывать камеру и реквизит, а также игру актера. Это позволяет сгенерированным компьютером персонажам, изображениям и декорациям иметь ту же перспективу, что и видеоизображения с камеры. Компьютер обрабатывает данные и отображает движения актера, обеспечивая желаемое положение камеры с точки зрения объектов в наборе. Ретроактивное получение данных о перемещении камеры из отснятого материала называется перемещением совпадения или отслеживанием камеры .

Захват движения дает несколько преимуществ по сравнению с традиционной компьютерной анимацией 3D-модели:

  • Низкая задержка, близкая к реальному времени, результаты могут быть получены. В развлекательных приложениях это может снизить затраты на анимацию на основе ключевых кадров . [10] сдайте методом является примером этого.
  • Объем работы не зависит от сложности или продолжительности выступления в той же степени, как при использовании традиционных техник. Это позволяет проводить множество тестов с разными стилями или постановками, придавая различную индивидуальность, ограниченную только талантом актера.
  • Сложные движения и реалистичные физические взаимодействия, такие как вторичные движения, вес и обмен силами, могут быть легко воссозданы физически точным образом. [11]
  • Количество данных анимации, которые могут быть созданы за заданное время, чрезвычайно велико по сравнению с традиционными методами анимации. Это способствует как экономической эффективности, так и соблюдению сроков производства. [12]
  • Возможность бесплатного программного обеспечения и решений сторонних производителей, снижающих затраты.

  • Для получения и обработки данных требуется специальное оборудование и специальное программное обеспечение.
  • Стоимость необходимого программного обеспечения, оборудования и персонала может быть непомерно высокой для небольших производств.
  • Система захвата может иметь особые требования к пространству, в котором она работает, в зависимости от поля зрения камеры или магнитного искажения.
  • Когда возникают проблемы, легче снова снять сцену, чем пытаться манипулировать данными. Только несколько систем позволяют просматривать данные в реальном времени, чтобы решить, нужно ли переделывать дубль.
  • Первоначальные результаты ограничиваются тем, что может быть выполнено в объеме захвата без дополнительного редактирования данных.
  • Движение, которое не подчиняется законам физики, невозможно уловить.
  • Традиционные методы анимации, такие как добавление акцента на ожидание и завершение, вторичное движение или манипулирование формой персонажа, такие как методы анимации сжатия и растяжения , должны быть добавлены позже.
  • Если компьютерная модель имеет другие пропорции от объекта съемки, могут возникнуть артефакты. Например, если у мультипликационного персонажа большие, негабаритные руки, они могут пересекать тело персонажа, если человек-исполнитель не будет осторожен со своими физическими движениями.

Исполнители Motion Capture из Нового университета Бакингемшира

Видеоигры часто используют захват движения для анимации спортсменов, мастеров боевых искусств и других игровых персонажей. [13] [14] Еще в 1988 году ранняя форма захвата движения использовалась для анимации 2D главного героя видеоигры Vixen от Martech , которую исполнила модель Корин Рассел . [15] Захват движения позже использовался для анимации 3D- моделей персонажей в аркадной игре Virtua Fighter 2 для Sega Model 2 в 1994 году. [16] В середине 1995 года разработчик / издатель Acclaim Entertainment имел собственную студию захвата движения. встроен в его штаб-квартиру. [14] В аркадной игре Soul Edge от Namco 1995 года для захвата движения использовались маркеры пассивной оптической системы. [17]

В фильмах используется захват движения для эффектов компьютерной графики, в некоторых случаях заменяющих традиционную целую анимацию, а также для полностью созданных компьютером существ, таких как Голлум , Мумия , Кинг-Конг , Дэви Джонс из « Пиратов Карибского моря» , На'ви из фильма « Аватар». , и Clu из Tron: Legacy . Великий гоблин, три каменных тролля , многие орки и гоблины из фильма «Хоббит: неожиданное путешествие» 2012 года и Смауг были созданы с использованием захвата движения.

Звездные войны: Эпизод I - Скрытая угроза (1999) был первым полнометражным фильмомчтобы включить главный геройсозданныйпомощью захвата движения (что символбыть Джа-Джа Бинкс , которую играет Ахмед Бест ), и индийский - американский фильм Синдбад: Beyond «Покров тумана» (2000) был первым полнометражным фильмом, созданным в основном с использованием захвата движения, хотя многие аниматоры персонажей также работали над фильмом, выпуск которого был очень ограниченным. « Final Fantasy: The Spirits Within» 2001 годабыл первым широко выпущенным фильмом, созданным в основном с использованием технологии захвата движения. Несмотря на низкие кассовые сборы, сторонники технологии захвата движения обратили на это внимание. Total Recall уже использовал эту технику в сцене с рентгеновским сканером и скелетами.

Властелин колец: Две башни был первым художественным фильмом, в котором использовалась система захвата движения в реальном времени. Этот метод транслировал действия актера Энди Серкиса в созданный компьютером скин Голлума / Смеагола во время его выполнения. [18]

Из трех номинантов на премию « Оскар» за лучший анимационный полнометражный фильм в 2006 году два номинанта (« Дом монстров» и победитель « Счастливые ноги» ) использовали захват движения, и только « Машинки Disney · Pixar » были анимированы без захвата движения. В финальных титрах фильма Pixar « Рататуй» появляется штамп с надписью «100% чистая анимация - без захвата движения!».

С 2001 года захват движения широко используется для имитации или приближения внешнего вида кинематографа с почти фотореалистичными цифровыми моделями персонажей. Polar Express использовал захват движения, чтобы Том Хэнкс мог выступать в качестве нескольких отдельных цифровых персонажей (в которых он также озвучивал голоса). Адаптация 2007 года саги « Беовульф» анимированных цифровых персонажей, внешность которых частично основана на актерах, которые обеспечивали свои движения и голоса. Популярный Аватар Джеймса Кэмерона использовал эту технику для создания На'ви, населяющих Пандору. Компания Уолта Диснея сняла « Рождественский гимн» Роберта Земекиса, используя эту технику. В 2007 году Disney приобрела компанию Zemeckis ImageMovers Digital (которая производит фильмы для захвата движения), но затем закрыла ее в 2011 году после провала кассовых сборов фильма « Марс нуждается в мамах» .

Телевизионные сериалы, полностью созданные с использованием анимации захвата движения, включают Laflaque в Канаде, Sprookjesboom и Cafe de Wereld  [ nl ] в Нидерландах, а также Headcases в Великобритании.

Поставщики виртуальной и дополненной реальности , такие как uSens и Gestigon , позволяют пользователям взаимодействовать с цифровым контентом в реальном времени, фиксируя движения рук. Это может быть полезно для учебных симуляций, тестов визуального восприятия или выполнения виртуальных прогулок в трехмерной среде. Технология захвата движения часто используется в цифровых кукольных системах для управления персонажами, сгенерированными компьютером, в режиме реального времени.

Анализ походки - одно из применений захвата движения в клинической медицине . Методы позволяют клиницистам оценивать движение человека по нескольким биомеханическим факторам, часто при потоковой передаче этой информации в аналитическое программное обеспечение.

Некоторые физиотерапевтические клиники используют захват движения как объективный способ количественной оценки прогресса пациента. [19]

Во время съемок « Аватара» Джеймса Кэмерона все сцены, связанные с этим процессом, были направлены в реальном времени с использованием программного обеспечения Autodesk MotionBuilder для рендеринга изображения на экране, что позволило режиссеру и актеру увидеть, как они будут выглядеть в фильме, что упростило режиссуру. фильм таким, каким его видел бы зритель. Этот метод допускал виды и углы, недоступные для предварительно отрендеренной анимации. Кэмерон так гордился своими результатами, что пригласил Стивена Спилберга и Джорджа Лукаса на съемочную площадку, чтобы посмотреть на систему в действии.

В «Мстителях» Marvel Марк Руффало использовал захват движения, чтобы он мог играть своего персонажа Халка , а не использовать компьютерную графику, как в предыдущих фильмах, что сделало Руффало первым актером, сыгравшим как человека, так и версию Халка Брюса Баннера.

Программное обеспечение FaceRig использует технологию распознавания лиц от ULSee.Inc для сопоставления выражений лица игрока и технологию отслеживания тела от Perception Neuron для сопоставления движения тела с движением 3D- или 2D-персонажа на экране. [20] [21]

Во время конференции разработчиков игр 2016 года в Сан-Франциско Epic Games продемонстрировали захват движения всего тела в реальном времени на Unreal Engine. Вся сцена из предстоящей игры Hellblade о женщине-воительнице по имени Сенуа была визуализирована в реальном времени. Лейтмотивом [22] стало сотрудничество Unreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinema и Xsens .

Светоотражающие маркеры, прикрепленные к коже, для обозначения ориентиров тела и трехмерного движения сегментов тела.
Отслеживание силуэта

Отслеживание движения или захват движения зародились как инструмент фотограмметрического анализа в исследованиях биомеханики в 1970-х и 1980-х годах и расширились до образования, обучения, спорта и недавно компьютерной анимации для телевидения , кино и видеоигр по мере развития технологий. С 20 века исполнитель должен носить маркеры возле каждого сустава, чтобы определять движение по положению или углам между маркерами. Акустические, инерционные, светодиодные , магнитные или отражающие маркеры или их комбинации отслеживаются, оптимально, по крайней мере, в два раза превышающей частоту желаемого движения. Разрешение системы важно как для пространственного, так и для временного разрешения, поскольку размытие при движении вызывает почти те же проблемы, что и низкое разрешение. С начала 21 века и в связи с быстрым развитием технологий были разработаны новые методы. Большинство современных систем позволяют выделить силуэт исполнителя из фона. После этого все углы сочленения рассчитываются путем подгонки математической модели к силуэту. Для движений вы не можете увидеть изменение силуэта, доступны гибридные системы, которые могут делать и то, и другое (маркер и силуэт), но с меньшим количеством маркеров. [ необходима цитата ] В робототехнике некоторые системы захвата движения основаны на одновременной локализации и картировании . [23]

Оптические системы используют данные, полученные с датчиков изображения, для триангуляции трехмерного положения объекта между двумя или более камерами, откалиброванными для обеспечения перекрывающихся проекций. Сбор данных традиционно осуществляется с помощью специальных маркеров, прикрепленных к актеру; однако более современные системы способны генерировать точные данные, отслеживая особенности поверхности, динамически идентифицируемые для каждого конкретного объекта. Отслеживание большого количества исполнителей или расширение зоны захвата достигается за счет добавления большего количества камер. Эти системы производят данные с тремя степенями свободы для каждого маркера, и информация о вращении должна выводиться из относительной ориентации трех или более маркеров; например, маркеры на плечах, локтях и запястьях, указывающие угол сгиба локтя. Новые гибридные системы объединяют инерционные датчики с оптическими датчиками для уменьшения окклюзии, увеличения количества пользователей и улучшения возможности отслеживания без необходимости вручную очищать данные [ необходима цитата ] .

Пассивные маркеры

Танцовщица в костюме, используемом в оптической системе захвата движения.
Маркеры помещаются в определенные точки на лице актера во время оптического захвата движения лица.

В пассивных оптических системах используются маркеры, покрытые световозвращающим материалом для отражения света, который генерируется около объектива камеры. Порог камеры можно отрегулировать так, чтобы отбирались только яркие отражающие маркеры, без учета кожи и ткани.

Центроид маркера оценивается как положение в захваченном двумерном изображении. Значение оттенков серого для каждого пикселя можно использовать для обеспечения субпиксельной точности путем нахождения центроида гауссианы .

Объект с маркерами, прикрепленными в известных положениях, используется для калибровки камер и определения их положения, а также измеряется искажение объектива каждой камеры. Если две откалиброванные камеры видят маркер, можно получить трехмерное исправление. Обычно система состоит от 2 до 48 камер. Существуют системы из более чем трехсот камер, чтобы попытаться уменьшить замену маркеров. Дополнительные камеры необходимы для полного охвата объекта съемки и нескольких объектов.

Поставщики имеют ограничивающее программное обеспечение, чтобы уменьшить проблему замены маркеров, поскольку все пассивные маркеры кажутся идентичными. В отличие от активных систем маркеров и магнитных систем, пассивные системы не требуют, чтобы пользователь носил провода или электронное оборудование. [24] Вместо этого сотни резиновых шариков прикреплены светоотражающей лентой, которую необходимо периодически заменять. Маркеры обычно прикрепляются непосредственно к коже (как в биомеханике) или прикрепляются на липучке к исполнителю, одетому в костюм из спандекса / лайкры, предназначенный специально для захвата движения . Этот тип системы может захватывать большое количество маркеров с частотой кадров обычно от 120 до 160 кадров в секунду, хотя, снижая разрешение и отслеживая меньшую интересующую область, они могут отслеживать до 10000 кадров в секунду.

Активный маркер

захват движения тела

Активные оптические системы триангулируют положения, очень быстро подсвечивая один светодиод за раз или несколько светодиодов с помощью программного обеспечения, чтобы идентифицировать их по их относительному положению, что-то вроде астрономической навигации. Вместо того, чтобы отражать свет, который генерируется извне, сами маркеры получают питание, чтобы излучать свой собственный свет. Так как закон обратных квадратов обеспечивает четверть мощности при удвоении расстояния, это может увеличить расстояния и объем для захвата. Это также обеспечивает высокое отношение сигнал / шум, что приводит к очень низкому дрожанию маркера и, как результат, к высокому разрешению измерения (часто до 0,1 мм в калиброванном объеме).

В сериале « Звездные врата SG1» в эпизодах использовалась активная оптическая система для визуальных эффектов, позволяющая актеру ходить вокруг реквизита, что затрудняло бы захват движения для других неактивных оптических систем. [ необходима цитата ]

ILM использовала активные маркеры в Ван Хельсинге, чтобы позволить захватывать летающих невест Дракулы на очень больших площадках, подобно тому, как Weta использовала активные маркеры в Rise of the Planet of the Apes . Питание каждого маркера может подаваться последовательно, синхронно с системой захвата, обеспечивающей уникальную идентификацию каждого маркера для данного кадра захвата за счет результирующей частоты кадров. Возможность идентифицировать каждый маркер таким образом полезна в приложениях реального времени. Альтернативный метод идентификации маркеров - это сделать это алгоритмически, требуя дополнительной обработки данных.

Также есть возможность найти позицию с помощью цветных светодиодных маркеров. В этих системах каждому цвету соответствует определенная точка тела.

Одной из первых активных систем маркеров в 1980-х годах была гибридная пассивно-активная система мокапов с вращающимися зеркалами и цветными стеклянными отражающими маркерами, в которой использовались замаскированные линейные матричные детекторы.

Активный маркер с временной модуляцией

Уникально идентифицированная активная система маркеров высокого разрешения с разрешением 3600 × 3600 при 960 Гц, обеспечивающая субмиллиметровые положения в реальном времени

Системы активных маркеров могут быть дополнительно усовершенствованы путем стробирования одного маркера за раз или отслеживания нескольких маркеров с течением времени и модуляции амплитуды или ширины импульса для получения идентификатора маркера. Системы с 12-мегапиксельным модулированием с пространственным разрешением демонстрируют более тонкие движения, чем 4-мегапиксельные оптические системы, благодаря более высокому пространственному и временному разрешению. Режиссеры могут видеть игру актеров в режиме реального времени и наблюдать за результатами компьютерной графики, управляемой захватом движений. Уникальные идентификаторы маркеров сокращают время обработки, устраняя необходимость замены маркеров и обеспечивая более чистые данные, чем другие технологии. Светодиоды со встроенной обработкой и радиосинхронизацией позволяют захватывать движение на открытом воздухе под прямыми солнечными лучами, при этом снимая со скоростью от 120 до 960 кадров в секунду благодаря высокоскоростному электронному затвору. Компьютерная обработка модулированных идентификаторов позволяет реже обрабатывать вручную или фильтровать результаты, что снижает эксплуатационные расходы. Эта более высокая точность и разрешение требуют большей обработки, чем пассивные технологии, но дополнительная обработка выполняется в камере для улучшения разрешения с помощью субпиксельной или центроидной обработки, обеспечивая как высокое разрешение, так и высокую скорость. Эти системы захвата движения обычно стоят 20000 долларов за восемь камер, 12-мегапиксельную систему с пространственным разрешением 120 герц и одним актером.

ИК- датчики могут вычислять свое местоположение при освещении мобильными мульти-светодиодными излучателями, например, в движущемся автомобиле. Эти сенсорные метки с идентификатором на маркер можно носить под одеждой и отслеживать при 500 Гц средь бела дня.

Полупассивный незаметный маркер

Можно полностью изменить традиционный подход, основанный на высокоскоростных камерах. Такие системы, как Prakash, используют недорогие мульти-светодиодные высокоскоростные проекторы. Специально созданные мульти-светодиодные ИК-проекторы оптически кодируют пространство. Вместо световозвращающих или активных светоизлучающих диодных (LED) маркеров система использует светочувствительные маркеры для декодирования оптических сигналов. Прикрепляя метки с фотодатчиками к точкам сцены, метки могут вычислять не только свое собственное местоположение каждой точки, но также свою собственную ориентацию, падающее освещение и отражательную способность.

Эти теги отслеживания работают в условиях естественного освещения и могут незаметно встраиваться в одежду или другие предметы. Система поддерживает неограниченное количество тегов в сцене, причем каждый тег уникально идентифицируется для устранения проблем с повторным захватом маркера. Поскольку система исключает высокоскоростную камеру и соответствующий высокоскоростной поток изображений, она требует значительно меньшей полосы пропускания данных. Теги также предоставляют данные о падающем освещении, которые можно использовать для согласования освещения сцены при вставке синтетических элементов. Эта методика кажется идеальной для захвата движения на съемочной площадке или трансляции виртуальных съемок в реальном времени, но ее еще предстоит испытать.

Система захвата подводного движения

Технология захвата движения была доступна исследователям и ученым в течение нескольких десятилетий, что позволило по-новому взглянуть на многие области.

Подводные камеры

Важнейшая часть системы - подводная камера - имеет водонепроницаемый корпус. Корпус имеет покрытие, устойчивое к коррозии и воздействию хлора, что делает его идеальным для использования в бассейнах и бассейнах. Есть два типа камер. Промышленные высокоскоростные камеры также могут использоваться в качестве инфракрасных. Инфракрасные подводные камеры поставляются со стробоскопом голубого света вместо обычного инфракрасного света - для минимального затухания под водой и конуса высокоскоростной камеры со светодиодной подсветкой или с возможностью использования обработки изображения.

Подводная камера для захвата движения
Отслеживание движения при плавании с помощью обработки изображений
Объем измерения

Подводная камера обычно может измерять 15–20 метров в зависимости от качества воды, камеры и типа используемого маркера. Неудивительно, что лучший диапазон достигается при чистой воде, и, как всегда, объем измерения также зависит от количества камер. Для различных условий доступен ряд подводных маркеров.

На заказ

Разные бассейны требуют разных креплений и приспособлений. Таким образом, все подводные системы захвата движения индивидуально адаптированы к каждой конкретной установке бассейна. Для камер, размещенных в центре бассейна, предусмотрены специально разработанные штативы с присосками.

Без маркера

Новые методы и исследования в области компьютерного зрения приводят к быстрому развитию безмаркерного подхода к захвату движения. Безмаркерные системы, такие как разработанные в Стэнфордском университете , Университете Мэриленда , Массачусетском технологическом институте и Институте Макса Планка , не требуют, чтобы испытуемые носили специальное оборудование для отслеживания. Специальные компьютерные алгоритмы разработаны, чтобы позволить системе анализировать несколько потоков оптического ввода и идентифицировать человеческие формы, разбивая их на составные части для отслеживания. ESC Entertainment , дочерняя компания Warner Brothers Pictures, созданная специально для обеспечения виртуальной кинематографии , включая фотореалистичные цифровые двойники для съемок фильмов The Matrix Reloaded и Matrix Revolutions , использовала технику под названием Universal Capture, в которой использовались настройки 7 камер и отслеживание оптического потока. всех пикселей по всем 2-мерным плоскостям камер для захвата движения, жестов и выражения лица, что приводит к фотореалистичным результатам.

Традиционные системы

Традиционно безмаркерное оптическое слежение за движением используется для отслеживания различных объектов, включая самолеты, ракеты-носители, ракеты и спутники. Многие из таких приложений оптического отслеживания движения применяются на открытом воздухе, что требует различных конфигураций объективов и камер. Таким образом, изображения отслеживаемой цели с высоким разрешением могут предоставить больше информации, чем просто данные о движении. Изображение, полученное системой дальнего слежения НАСА во время фатального запуска космического корабля "Челленджер", предоставило важные доказательства причины аварии. Системы оптического слежения также используются для идентификации известных космических аппаратов и космического мусора, несмотря на то, что они имеют недостаток по сравнению с радаром в том, что объекты должны отражать или излучать достаточное количество света. [25]

Система оптического слежения обычно состоит из трех подсистем: системы оптического изображения, механической платформы слежения и компьютера слежения.

Система оптической визуализации отвечает за преобразование света из целевой области в цифровое изображение, которое может обрабатывать отслеживающий компьютер. В зависимости от конструкции оптической системы слежения, система оптического изображения может варьироваться от простой, как стандартная цифровая камера, до такой специализированной, как астрономический телескоп на вершине горы. Технические характеристики оптической системы визуализации определяют верхний предел эффективного диапазона системы слежения.

Платформа механического слежения удерживает оптическую систему визуализации и отвечает за управление оптической системой визуализации таким образом, чтобы она всегда указывала на отслеживаемую цель. Динамика механической платформы слежения в сочетании с оптической системой визуализации определяет способность системы слежения удерживать цель, которая быстро меняет скорость.

Компьютер слежения отвечает за захват изображений из оптической системы формирования изображений, анализ изображения для определения положения цели и управление механической платформой слежения для отслеживания цели. Есть несколько проблем. Во-первых, компьютер слежения должен иметь возможность захватывать изображение с относительно высокой частотой кадров. Это публикует требования к пропускной способности оборудования для захвата изображений. Вторая проблема заключается в том, что программное обеспечение для обработки изображений должно иметь возможность извлекать целевое изображение из фона и вычислять его положение. Для этой задачи разработано несколько учебниковых алгоритмов обработки изображений. Эту проблему можно упростить, если система слежения может ожидать определенных характеристик, общих для всех целей, которые она будет отслеживать. Следующая проблема - контролировать платформу слежения, чтобы она следовала за целью. Это типичная проблема проектирования системы управления, а не проблема, которая включает моделирование динамики системы и проектирование контроллеров для управления ею. Однако это станет проблемой, если платформа отслеживания, с которой должна работать система, не предназначена для работы в режиме реального времени.

Программное обеспечение, которое запускает такие системы, также настраивается для соответствующих аппаратных компонентов. Одним из примеров такого программного обеспечения является OpticTracker, который управляет компьютеризированными телескопами для отслеживания движущихся объектов на больших расстояниях, таких как самолеты и спутники. Другой вариант - программное обеспечение SimiShape, которое также может использоваться гибридно в сочетании с маркерами.

Инерционные системы

Технология инерционного захвата движения [26] основана на миниатюрных инерциальных датчиках, биомеханических моделях и алгоритмах слияния датчиков. [27] Данные о движении инерционных датчиков ( инерциальная система наведения ) часто передаются по беспроводной сети на компьютер, где движение записывается или просматривается. В большинстве инерциальных систем используются инерциальные измерительные блоки (IMU), содержащие комбинацию гироскопа, магнитометра и акселерометра для измерения скорости вращения. В программном обеспечении эти вращения преобразуются в каркас. Как и в случае с оптическими маркерами, чем больше датчиков IMU, тем естественнее данные. Для относительных движений не требуются внешние камеры, излучатели или маркеры, хотя при желании они необходимы для определения абсолютного положения пользователя. Системы инерционного захвата движения фиксируют полные шесть степеней свободы движения тела человека в режиме реального времени и могут давать ограниченную информацию о направлении, если они включают датчик магнитного подшипника, хотя они имеют гораздо более низкое разрешение и чувствительны к электромагнитному шуму. Преимущества использования инерционных систем включают: захват в различных средах, включая ограниченное пространство, отсутствие решения, портативность и большие области захвата. К недостаткам можно отнести более низкую точность позиционирования и смещение положения, которое со временем может увеличиваться. Эти системы похожи на контроллеры Wii, но более чувствительны, имеют большее разрешение и частоту обновления. Они могут точно измерить направление на землю с точностью до градуса. Популярность инерционных систем растет среди разработчиков игр [10], главным образом из-за быстрой и простой настройки, приводящей к быстрому конвейеру. В настоящее время доступен ряд костюмов от различных производителей, а базовая цена колеблется от 1000 до 80 000 долларов США.

Механическое движение

Механические системы захвата движения непосредственно отслеживают углы суставов тела и часто называются системами захвата движения экзоскелета из-за способа крепления датчиков к телу. Исполнитель прикрепляет скелетоподобную структуру к своему телу и, когда они двигаются, шарнирные механические части, измеряя относительное движение исполнителя. Механические системы захвата движения являются системами реального времени, относительно дешевыми, свободными от окклюзии и беспроводными (не привязанными) системами, которые имеют неограниченный объем захвата. Обычно это жесткие конструкции из сочлененных прямых металлических или пластиковых стержней, соединенных вместе с потенциометрами, которые шарнирно соединены в суставах тела. Эти костюмы обычно находятся в диапазоне от 25 000 до 75 000 долларов плюс внешняя система абсолютного позиционирования. Некоторые костюмы обеспечивают ограниченную обратную связь по силе или тактильную отдачу .

Магнитные системы

Магнитные системы рассчитывают положение и ориентацию по относительному магнитному потоку трех ортогональных катушек как на передатчике, так и на каждом приемнике. [28] Относительная интенсивность напряжения или тока трех катушек позволяет этим системам рассчитывать как дальность, так и ориентацию, тщательно отображая отслеживаемый объем. Выходной сигнал датчика составляет 6DOF , что обеспечивает полезные результаты, полученные при использовании двух третей количества маркеров, необходимых в оптических системах; один на плече и один на нижнем плече для определения положения локтя и угла. [ необходима цитата ] Маркеры не закрываются неметаллическими объектами, но чувствительны к магнитным и электрическим помехам от металлических предметов в окружающей среде, таких как арматура (стальные арматурные стержни в бетоне) или проводка, которые влияют на магнитное поле, и электрические источники, такие как мониторы, фонари, кабели и компьютеры. Отклик датчика нелинейный, особенно по направлению к краям области захвата. Проводка от датчиков имеет тенденцию предотвращать экстремальные движения. [28] С помощью магнитных систем можно отслеживать результаты сеанса захвата движения в режиме реального времени. [28] Объемы захвата для магнитных систем значительно меньше, чем для оптических систем. В магнитных системах существует различие между системами переменного тока (AC) и постоянного тока (DC): в системе постоянного тока используются прямоугольные импульсы, в системах переменного тока используются синусоидальные импульсы.

Датчики растяжения

Датчики растяжения представляют собой гибкие конденсаторы с параллельными пластинами, которые измеряют растяжение, изгиб, сдвиг или давление и обычно изготавливаются из силикона. Когда датчик растягивается или сжимается, его значение емкости изменяется. Эти данные могут быть переданы через Bluetooth или прямой ввод и использованы для обнаружения мельчайших изменений в движениях тела. Датчики растяжения не подвержены влиянию магнитных помех и не имеют окклюзии. Растяжимая природа датчиков также означает, что они не страдают от позиционного дрейфа, который характерен для инерциальных систем.

Захват движения лица

Большинство традиционных поставщиков оборудования для захвата движения предоставляют некоторые типы захвата лиц с низким разрешением с использованием от 32 до 300 маркеров с активной или пассивной системой маркеров. Все эти решения ограничены временем, необходимым для нанесения маркеров, калибровки позиций и обработки данных. В конечном итоге технология также ограничивает их разрешение и уровни качества необработанного вывода.

Захват движения лица с высокой точностью, также известный как захват движения , представляет собой следующее поколение точности и используется для записи более сложных движений человеческого лица, чтобы уловить более высокие уровни эмоций. Захват лица в настоящее время организован в несколько отдельных лагерей, включая традиционные данные захвата движения, решения на основе смешанных форм, фиксацию фактической топологии лица актера и проприетарные системы.

Двумя основными методами являются стационарные системы с массивом камер, фиксирующих выражения лица под разными углами, и использование программного обеспечения, такого как решатель стерео сетки из OpenCV, для создания трехмерной поверхностной сетки или использования световых массивов для расчета нормалей поверхности из изменение яркости при изменении источника света, положения камеры или того и другого. Эти методы имеют тенденцию ограничиваться только разрешением функции разрешением камеры, видимым размером объекта и количеством камер. Если лицо пользователя составляет 50 процентов рабочей области камеры и камера имеет мегапиксельное разрешение, то субмиллиметровые движения лица могут быть обнаружены путем сравнения кадров. Недавняя работа сосредоточена на увеличении частоты кадров и создании оптического потока, чтобы можно было перенаправить движения на другие лица, сгенерированные компьютером, а не просто на создание трехмерной сетки актеров и их выражений.

RF позиционирование

Радиочастотные системы позиционирования становятся все более жизнеспособными [ необходима цитата ], поскольку высокочастотные радиочастотные устройства обеспечивают большую точность, чем более старые радиочастотные технологии, такие как традиционный радар . Скорость света составляет 30 сантиметров в наносекунду (миллиардная доля секунды), поэтому радиочастотный сигнал с частотой 10 гигагерц (миллиардов циклов в секунду) обеспечивает точность около 3 сантиметров. Измеряя амплитуду до четверти длины волны, можно улучшить разрешение примерно до 8 мм. Для достижения разрешающей способности оптических систем необходимы частоты 50 гигагерц или выше, которые почти так же зависят от прямой видимости и так же легко блокируются, как и оптические системы. Многолучевое распространение и переизлучение сигнала, вероятно, вызовут дополнительные проблемы, но эти технологии будут идеальными для отслеживания больших объемов с разумной точностью, поскольку требуемое разрешение на 100-метровых расстояниях вряд ли будет таким высоким. Многие ученые РФ [ кто? ] считают, что радиочастота никогда не даст точности, необходимой для захвата движения.

Исследователи из Массачусетского технологического института заявили в 2015 году, что они создали систему, отслеживающую движение по радиочастотным сигналам, под названием RF Tracking. [29]

Нетрадиционные системы

Был разработан альтернативный подход, в котором актеру предоставляется неограниченное пространство для ходьбы за счет использования вращающейся сферы, похожей на мяч для хомяка , который содержит внутренние датчики, регистрирующие угловые движения, устраняя необходимость во внешних камерах и другом оборудовании. Несмотря на то, что эта технология потенциально может привести к гораздо более низким затратам на захват движения, базовая сфера способна записывать только одно непрерывное направление. Дополнительные датчики, надетые на человека, потребуются для записи чего-либо еще.

Другой альтернативой является использование платформы движения 6DOF (градусов свободы) со встроенной всенаправленной беговой дорожкой с оптическим захватом движения с высоким разрешением для достижения того же эффекта. Захваченный человек может ходить по неограниченному пространству, преодолевая различные неровности местности. Приложения включают медицинскую реабилитацию для тренировки равновесия, биомеханические исследования и виртуальную реальность. [ необходима цитата ]

Оценка позы в 3D

При оценке позы в 3D позу актера можно восстановить по изображению или карте глубины . [30]

  • База данных анимации
  • Распознавание жестов
  • Отслеживание пальца
  • Обратная кинематика (другой способ сделать эффекты CGI реалистичными)
  • Kinect (создано Microsoft Corporation)
  • Список форматов файлов движения и жестов
  • Действие захвата движения
  • Видео слежение
  • Позиционное отслеживание VR

  1. ^ Goebl, W .; Палмер, К. (2013). Баласубраманиам, Рамеш (ред.). «Температурный контроль и эффективность движений рук в квалифицированном музыкальном исполнении» . PLoS ONE . 8 (1): e50901. Bibcode : 2013PLoSO ... 850901G . DOI : 10.1371 / journal.pone.0050901 . PMC  3536780 . PMID  23300946 .
  2. ^ Olsen, NL; Маркуссен, B; Ракет, Л.Л. (2018), «Одновременный вывод для несогласованных многомерных функциональных данных», Журнал Королевского статистического общества, серия C , 67 (5): 1147–76, arXiv : 1606.03295 , doi : 10.1111 / rssc.12276
  3. ^ Дэвид Нунан, Питер Mountney, Daniel Элсон, Ара Darzi и Guang-Zhong Yang. Стереоскопический фиброскоп для движения камеры и восстановления глубины 3D во время минимально инвазивной хирургии. В протоколе ICRA 2009, стр. 4463–68. http://www.sciweavers.org/external.php?u=http%3A%2F%2Fwww.doc.ic.ac.uk%2F%7Epmountne%2Fpublications%2FICRA%25202009.pdf&p=ieee
  4. ↑ Ямане, Кацу и Джессика Ходгинс. « Одновременное отслеживание и балансировка роботов-гуманоидов для имитации данных захвата движения человека ». Интеллектуальные роботы и системы, 2009. IROS 2009. Международная конференция IEEE / RSJ по. IEEE, 2009 г.
  5. ↑ NY Castings, Joe Gatt, Motion Capture Actors: Body Movement Tells the Story. Архивировано 3июля 2014 г.в Wayback Machine , по состоянию на 21 июня 2014 г.
  6. ↑ Эндрю Харрис Саломон, 22 февраля 2013 г., Backstage Magazine, Growth In Performance Capture Helping Gaming Actors Weather Slump , по состоянию на 21 июня 2014 г., «... Но разработки в технологии захвата движения, а также новые игровые консоли ожидаются от Sony. и Microsoft в течение года, указывают на то, что эта ниша продолжает оставаться областью роста для актеров. А для тех, кто задумывался о взломе, послание ясное: займитесь… »
  7. ↑ Бен Чайлд, 12 августа 2011 г., The Guardian, Энди Серкис: почему Оскар не сойдет с ума по игре с захватом движения? Звезда Восстания Планеты обезьян говорит, что захват спектакля неправильно понимается и его актеры заслуживают большего уважения , по состоянию на 21 июня 2014 г.
  8. ↑ Хью Харт, 24 января 2012 г., журнал Wired, Когда актер захвата движения получит Оскара? , По состоянию на 21 июня 2014 г., "... историческое нежелание Академии кинематографических искусств и наук уважать представления о захвате движения. Серкис, облаченный в боди из лайкры с встроенным датчиком, быстро овладел новаторским на тот момент искусством и наука исполнительского мастерства ... "
  9. ^ Cheung, German KM, et al. « Система реального времени для надежной трехмерной воксельной реконструкции движений человека ». Компьютерное зрение и распознавание образов, 2000. Труды. Конференция IEEE по. Vol. 2. IEEE, 2000.
  10. ^ а б «Xsens MVN Animate - Продукты» . Xsens 3D отслеживание движения . Проверено 22 января 2019 .
  11. ^ «Новое поколение 1996 Лексикон от А до Я: захват движения». Следующее поколение . № 15. Imagine Media . Март 1996. с. 37.
  12. ^ "Захвата движения". Следующее поколение . Imagine Media (10): 50. Октябрь 1995 г.
  13. ^ Джон Радофф, Анатомия ММОРПГ, «Архивная копия» . Архивировано из оригинала на 2009-12-13 . Проверено 30 ноября 2009 .CS1 maint: заархивированная копия как заголовок ( ссылка )
  14. ^ а б «Ура Голливуд! Студия признания». GamePro . IDG (82): 28–29. Июль 1995 г.
  15. ^ Мейсон, Грэм. «Martech Games - люди личности» . Ретро-геймер . № 133. с. 51.
  16. ^ Вавро, Алекс (23 октября 2014 г.). «Ю Судзуки вспоминает, как использовал военные технологии для создания Virtua Fighter 2» . Гамасутра . Проверено 18 августа +2016 .
  17. ^ «История захвата движения» . Motioncapturesociety.com. Архивировано из оригинала на 2018-10-23 . Проверено 10 августа 2013 .
  18. ^ Сэвидж, Аннализа (12 июля 2012 г.). «Актер Голлума: как новая технология захвата движения улучшила Хоббита» . Проводной . Проверено 29 января 2017 года .
  19. ^ «Безмаркерный захват движения | EuMotus» . Безмаркерный захват движения | EuMotus . Проверено 12 октября 2018 .
  20. ^ Корриа, Алекса Рэй (30 июня 2014 г.). «Это программное обеспечение для распознавания лиц позволяет вам быть Octodad» . Проверено 4 января 2017 г. - через www.polygon.com.
  21. ^ Планкетт, Люк. «Превратите свое человеческое лицо в персонажа видеоигры» . kotaku.com . Проверено 4 января 2017 года .
  22. ^ «Наденьте свое (цифровое) игровое лицо» . fxguide.com . 24 апреля 2016 . Проверено 4 января 2017 года .
  23. ^ Штурм, Юрген и др. « Тест для оценки систем RGB-D SLAM ». Интеллектуальные роботы и системы (IROS), Международная конференция IEEE / RSJ 2012 г. IEEE, 2012.
  24. ^ «Захват движения: оптические системы». Следующее поколение . Imagine Media (10): 53. Октябрь 1995 г.
  25. ^ Вейс, Г. (1963). «Оптическое сопровождение искусственных спутников». Обзоры космической науки . 2 (2): 250–296. Bibcode : 1963SSRv .... 2..250V . DOI : 10.1007 / BF00216781 .
  26. ^ «Полное отслеживание движения человека 6DOF с использованием миниатюрных инерциальных датчиков» (PDF) .
  27. ^ «История захвата движения» . Xsens 3D отслеживание движения . Проверено 22 января 2019 .
  28. ^ а б в «Захват движения: магнитные системы». Следующее поколение . Imagine Media (10): 51. Октябрь 1995 г.
  29. ^ Альба, Алехандро. «Исследователи Массачусетского технологического института создают устройство, которое может распознавать и отслеживать людей через стены» . nydailynews.com . Проверено 9 декабря 2019 .
  30. ^ Е, Мао и др. « Точная оценка позы в 3D по одному изображению с глубиной ». 2011 Международная конференция по компьютерному зрению. IEEE, 2011.

  • Очарование технологии захвата движения , введение в историю технологии захвата движения