Оценка позы шарнирного тела

Эта статья может быть слишком технической для понимания большинством читателей . Пожалуйста, помогите улучшить его, чтобы он был понятен неспециалистам , не удаляя технические детали. ( Июнь 2018 г. ) ( Узнайте, как и когда удалить этот шаблон сообщения )

Оценка позы шарнирного тела в компьютерном зрении - это исследование алгоритмов и систем, которые восстанавливают позу шарнирного тела, состоящего из суставов и жестких частей, с помощью наблюдений на основе изображений. Это одна из самых давних проблем компьютерного зрения из-за сложности моделей, связывающих наблюдение с позой, а также из-за разнообразия ситуаций, в которых это может быть полезно. ^[1]^[2]

Описание [ править ]

Восприятие людей в окружающей их среде - важная способность, которой должны обладать роботы. Если человек использует жесты, чтобы указать на конкретный объект, тогда взаимодействующая машина должна понимать ситуацию в контексте реального мира. Таким образом, оценка позы является важной и сложной задачей компьютерного зрения, и за последние два десятилетия для ее решения использовалось множество алгоритмов. Многие решения включают обучение сложных моделей с большими наборами данных.

Оценка позы- сложная проблема и активный объект исследований, потому что человеческое тело имеет 244 степени свободы с 230 суставами. Хотя не все движения между суставами очевидны, человеческое тело состоит из 10 больших частей с 20 степенями свободы. Алгоритмы должны учитывать большую вариативность, вызванную различиями во внешнем виде из-за одежды, формы тела, размера и прически. Кроме того, результаты могут быть неоднозначными из-за частичной окклюзии из-за самоартикуляции, такой как рука человека, закрывающая лицо, или окклюзии от внешних объектов. Наконец, большинство алгоритмов оценивают позу по монокулярным (двухмерным) изображениям, снятым с обычной камеры. Другие проблемы включают различное освещение и конфигурацию камеры. Трудности усугубляются, если есть дополнительные требования к производительности.На этих изображениях отсутствует трехмерная информация о реальной позе тела, что приводит к дальнейшим двусмысленностям. В этой области есть недавние работы, в которых изображения с камер RGBD предоставляют информацию о цвете и глубине.^[3]

Существует необходимость в разработке точных, без привязи , систем оценки позы шарнирного тела на основе видения для восстановления позы тел, таких как человеческое тело, рука или другие существа. У такой системы есть несколько предполагаемых приложений, в том числе следующие:

Безмаркерный захват движения для человеко-компьютерных интерфейсов,
Физиотерапия ,
Синтез человеческого образа ,
Эргономические исследования,
Управление роботом и
Визуальное наблюдение.

Типичная система оценки позы шарнирного тела включает подход, основанный на модели, в котором оценка позы достигается путем максимизации / минимизации сходства / несходства между наблюдением (входными данными) и эталонной моделью. Были исследованы различные типы датчиков для использования при проведении наблюдений, в том числе следующие:

Видимые изображения в диапазоне длин волн,
Длинноволновые тепловые инфракрасные изображения, ^[4]
Времяпролетные изображения и
Лазерный сканер изображений.

Эти датчики создают промежуточные представления, которые напрямую используются в модели. Представления включают следующее:

Внешний вид изображения,
Реконструкция вокселя (элемента объема),
Трехмерные облака точек и сумма ядер Гаусса ^[5]
3D поверхностные сетки.

Модели деталей [ править ]

Основную идею модели на основе деталей можно отнести к человеческому скелету. Любой объект, обладающий свойством артикуляции, может быть разбит на более мелкие части, каждая из которых может принимать разные ориентации, что приводит к разным сочленениям одного и того же объекта. Различные масштабы и ориентации основного объекта могут быть связаны с масштабами и ориентациями соответствующих частей. Чтобы сформулировать модель таким образом, чтобы ее можно было представить в математических терминах, части соединяются друг с другом с помощью пружин. Таким образом, модель также известна как пружинная модель. Степень близости между каждой частью объясняется сжатием и расширением пружин. Есть геометрические ограничения на ориентацию пружин. Например, конечности ног не могут двигаться на 360 градусов. Следовательно, детали не могут иметь такую крайнюю ориентацию.Это уменьшает возможные перестановки.^[6]

Модель пружины образует граф G (V, E), где V (узлы) соответствуют частям, а E (ребра) представляет собой пружины, соединяющие две соседние части. Каждое место в изображении может быть достигнуто с помощью и координат местоположения пикселя. Позвольте быть точкой в месте. Тогда стоимость, связанная с соединением пружины между и острием, может быть выражена как . Следовательно, общая стоимость, связанная с размещением компонентов в местах , определяется как ${\ displaystyle x}$ ${\ displaystyle y}$ ${\ Displaystyle \ mathbf {p} _ {я} (х, \, y)}$ ${\ Displaystyle \ mathbf {я} ^ {th}}$ ${\ Displaystyle \ mathbf {я} ^ {th}}$ ${\ displaystyle \ mathbf {j} ^ {th}}$ ${\ Displaystyle S (\ mathbf {p} _ {i}, \, \ mathbf {p} _ {j}) = S (\ mathbf {p} _ {i} - \ mathbf {p} _ {j}) }$ ${\ displaystyle l}$ ${\ displaystyle \ mathbf {P} _ {l}}$

{\ displaystyle S (\ mathbf {P} _ {l}) = \ displaystyle \ sum _ {i = 1} ^ {l} \; \ displaystyle \ sum _ {j = 1} ^ {i} \; \ mathbf {s} _ {ij} (\ mathbf {p} _ {i}, \, \ mathbf {p} _ {j})}

Вышеприведенное уравнение просто представляет модель пружины, используемую для описания позы тела. Чтобы оценить позу по изображениям, необходимо минимизировать функцию стоимости или энергии. Эта энергетическая функция состоит из двух членов. Первый связан с тем, как каждый компонент соответствует данным изображения, а второй связан с тем, насколько совпадают ориентированные (деформированные) части, что позволяет учитывать артикуляцию наряду с обнаружением объекта . ^[7]

Частные модели, также известные как графические структуры, являются одной из основных моделей, на которых другие эффективные модели строятся путем небольших модификаций. Одним из таких примеров является модель гибкой смеси, которая сокращает базу данных из сотен или тысяч деформированных деталей, используя понятие локальной жесткости. ^[8]

Шарнирно-сочлененная модель с кватернионом [ править ]

Кинематический каркас построен в виде древовидной цепочки, как показано на рисунке. ^[9] Каждый сегмент твердого тела имеет свою локальную систему координат, которая может быть преобразована в мировую систему координат с помощью матрицы преобразования 4 × 4 , $T_{l}$

T_{l}=T_{\operatorname {par} (l)}R_{l},

где обозначает локальное преобразование от основного сегмента к его родительскому . Каждый сустав в теле имеет 3 степени свободы (DoF) вращения. Учитывая матрицу трансформации , совместное положение в Т-позе может быть перенесено в соответствующее положение в мировой координации. Во многих работах трехмерное совместное вращение выражается как нормализованный кватернион из-за его непрерывности, что может способствовать оптимизации на основе градиента при оценке параметров. $R_{l}$ $S_{l}$ $\operatorname {par} (S_{l})$ $T_{l}$ $[x,y,z,w]$

Приложения [ править ]

Помощь в проживании [ править ]

Роботы для личной гигиены могут быть развернуты в будущем помощь жилых домов. Для этих роботов необходимо высокоточное обнаружение человека и оценка позы для выполнения различных задач, таких как обнаружение падения. Кроме того, это приложение имеет ряд ограничений производительности. ^{[ необходима цитата ]}

Анимация персонажей [ править ]

Традиционно анимация персонажей выполнялась вручную. Однако позы можно синхронизировать непосредственно с реальным актером с помощью специализированных систем оценки позы. Старые системы полагались на маркеры или специальные костюмы. Последние достижения в области оценки позы и захвата движения позволили использовать безмаркерные приложения, иногда в режиме реального времени. ^[10]

Интеллектуальная система помощи водителю [ править ]

Ежегодно на автомобильные аварии приходится около двух процентов смертей во всем мире. Таким образом, интеллектуальная система слежения за водителем позы может быть полезна для аварийных сигналов ^{[ сомнительно - обсудить ]} . Аналогичным образом, алгоритмы обнаружения пешеходов успешно используются в автономных автомобилях, что позволяет автомобилю принимать более разумные решения. ^{[ необходима цитата ]}

Видеоигры [ править ]

В коммерческих целях оценка позы использовалась в контексте видеоигр, популяризированных благодаря датчику Microsoft Kinect (камера глубины). Эти системы отслеживают пользователя, чтобы отобразить его аватар в игре, в дополнение к выполнению таких задач, как распознавание жестов, чтобы пользователь мог взаимодействовать с игрой. Таким образом, это приложение имеет строгие требования к работе в режиме реального времени. ^[11]

Медицинские приложения [ править ]

Оценка позы использовалась для обнаружения проблем осанки, таких как сколиоз, путем анализа аномалий осанки пациента ^[12], физиотерапии и изучения когнитивного развития мозга маленьких детей путем мониторинга двигательной функции. ^[13]

Другие приложения [ править ]

Другие приложения включают видеонаблюдение , отслеживание животных и понимание их поведения, обнаружение языка жестов , расширенное взаимодействие человека с компьютером и безмаркерный захват движения.

Связанные технологии [ править ]

Коммерчески успешным, но специализированным методом оценки позы шарнирного тела на основе компьютерного зрения является оптический захват движения . Этот подход включает размещение маркеров на человеке в стратегически важных местах, чтобы зафиксировать 6 степеней свободы каждой части тела.

Исследовательские группы [ править ]

Ряд групп и компаний исследуют оценку позы, включая группы Университета Брауна , Университет Карнеги - Меллона , MPI Саарбрюккен , Стэнфордского университета , то университет Калифорнии, Сан - Диего , то университет Торонто , то École Centrale Paris , ETH Zurich , Национальный университет наук и технологий (NUST), ^[14] и Калифорнийский университет в Ирвине .

Компании [ править ]

В настоящее время несколько компаний работают над оценкой позы шарнирного тела.

Bodylabs : Bodylabs - базирующийся на Манхэттене поставщик программного обеспечения для искусственного интеллекта, учитывающего потребности человека.

Ссылки [ править ]

^ Moeslund, Томас Б .; Гранум, Эрик (2001-03-01). "Обзор захвата движения человека на основе компьютерного зрения" . Компьютерное зрение и понимание изображений . 81 (3): 231–268. DOI : 10.1006 / cviu.2000.0897 . ISSN 1077-3142 .
^ «Обзор достижений в области захвата движения человека на основе компьютерного зрения (2006)» . Архивировано из оригинала на 2008-03-02 . Проверено 15 сентября 2007 .
^ Droeschel, Дэвид, и Свен Behnke. « 3D-оценка позы тела с использованием адаптивной модели человека для сочлененного ВЧД ». Интеллектуальная робототехника и приложения. Springer Berlin Heidelberg, 2011. 157167.
^ Хан, J .; Гащак, А .; Maciol, R .; Barnes, SE; Брекон, Т.П. (сентябрь 2013 г.). «Классификация позы человека в контексте отслеживания изображений в ближнем ИК-диапазоне» (PDF) . В Замбони, Роберто; Кайзар, Франсуа; Szep, Attila A .; Берджесс, Дуглас; Оуэн, Гари (ред.). Proc. SPIE Оптика и фотоника для борьбы с терроризмом, борьбы с преступностью и защиты . Оптика и фотоника для борьбы с терроризмом, борьбы с преступностью и обороны IX; и Оптические материалы и биоматериалы в технологиях систем безопасности и обороны X. 8901 . ШПИОН. стр. 89010E. CiteSeerX 10.1.1.391.380 . DOI : 10.1117 / 12.2028375 . Проверено 5 ноября 2013 года .
^ М. Дин и Г. Фан, «Обобщенная сумма гауссиан для отслеживания позы человека в реальном времени с помощью одного датчика глубины» 2015 Зимняя конференция IEEE по приложениям компьютерного зрения (WACV), январь 2015 г.
^ Фишлер, Мартин А. и Роберт А. Эльшлагер. « Изображение и сопоставление изобразительных структур ». Транзакции IEEE на компьютерах 1 (1973): 6792.
^ Felzenszwalb, Педро Ф. и Даниэль П. Хаттенлохер. « Изобразительные структуры для распознавания объектов ». Международный журнал компьютерного зрения 61.1 (2005): 5579.
↑ Ян, Йи и Дева Раманан. « Оценка артикулированной позы с помощью гибких смесей частей ». Компьютерное зрение и распознавание образов (CVPR), Конференция IEEE 2011 г. IEEE, 2011.
^ М. Дин и Г. Фан, "Сочлененная и обобщенная корреляция ядра Гаусса для оценки позы человека" IEEE Transactions по обработке изображений, Vol. 25, No. 2, февраль 2016 г.
^ Дент, Стивен. «Что вам нужно знать о 3D-захвате движения» . Engadget . AOL Inc . Проверено 31 мая 2017 года .
^ Коли, Пушмит; Шоттон, Джейми. «Основные разработки в области оценки позы человека для Kinect» (PDF) . Microsoft . Проверено 31 мая 2017 года .
^ Aroeira, Rozilene Мария С., Estevam Б. де Лас Касас, Антониу Эустакио М. Pertence, Марсело Greco, и João Manuel RS Таварес. «Неинвазивные методы компьютерного зрения в оценке осанки при идиопатическом сколиозе у подростков». Журнал Bodywork and Movement Therapies 20, no. 4 (октябрь 2016 г.): 832–43. https://doi.org/10.1016/j.jbmt.2016.02.004 .
^ Хан Мухаммад Хассан, Julien Helsper, Мухаммад Шахид Фарида, и Marcin Grzegorzek. «Система на основе компьютерного зрения для мониторинга Войта-терапии». Международный журнал медицинской информатики 113 (май 2018 г.): 85–95. https://doi.org/10.1016/j.ijmedinf.2018.02.010 .
^ "Исследовательский центр НИТУ-SMME RISE" .

Внешние ссылки [ править ]

Майкл Дж. Блэк , профессор Брауновского университета
Страница исследовательского проекта Германа Ченга в Университете Карнеги-Меллона
Домашняя страница доктора технических наук в MPI Saarbruecken
Проект безмаркерного захвата движения в Стэнфорде
Лаборатория компьютерного зрения и робототехники Калифорнийского университета в Сан-Диего
Исследовательские проекты Дэвида Дж. Флита в Университете Торонто
Рональд Поппе из Университета Твенте .
Профессор Никос Парагиос в Ecole Centrale de Paris
Оценка шарнирной позы с помощью проекта гибкой смеси деталей в Калифорнийском университете в Ирвине
http://screenrant.com/crazy3dtechnologyjamescameronavatarkofi3367/
Программное обеспечение для двухмерной оценки позы человека
Оценка шарнирной позы с помощью гибких смесей деталей

[1] Moeslund, Томас Б .; Гранум, Эрик (2001-03-01). "Обзор захвата движения человека на основе компьютерного зрения" . Компьютерное зрение и понимание изображений . 81 (3): 231–268. DOI : 10.1006 / cviu.2000.0897 . ISSN 1077-3142 .

[2] «Обзор достижений в области захвата движения человека на основе компьютерного зрения (2006)» . Архивировано из оригинала на 2008-03-02 . Проверено 15 сентября 2007 .

[3] Droeschel, Дэвид, и Свен Behnke. « 3D-оценка позы тела с использованием адаптивной модели человека для сочлененного ВЧД ». Интеллектуальная робототехника и приложения. Springer Berlin Heidelberg, 2011. 157167.

[han13humanpose-4] Хан, J .; Гащак, А .; Maciol, R .; Barnes, SE; Брекон, Т.П. (сентябрь 2013 г.). «Классификация позы человека в контексте отслеживания изображений в ближнем ИК-диапазоне» (PDF) . В Замбони, Роберто; Кайзар, Франсуа; Szep, Attila A .; Берджесс, Дуглас; Оуэн, Гари (ред.). Proc. SPIE Оптика и фотоника для борьбы с терроризмом, борьбы с преступностью и защиты . Оптика и фотоника для борьбы с терроризмом, борьбы с преступностью и обороны IX; и Оптические материалы и биоматериалы в технологиях систем безопасности и обороны X. 8901 . ШПИОН. стр. 89010E. CiteSeerX 10.1.1.391.380 . DOI : 10.1117 / 12.2028375 . Проверено 5 ноября 2013 года .

[5] М. Дин и Г. Фан, «Обобщенная сумма гауссиан для отслеживания позы человека в реальном времени с помощью одного датчика глубины» 2015 Зимняя конференция IEEE по приложениям компьютерного зрения (WACV), январь 2015 г.

[6] Фишлер, Мартин А. и Роберт А. Эльшлагер. « Изображение и сопоставление изобразительных структур ». Транзакции IEEE на компьютерах 1 (1973): 6792.

[7] Felzenszwalb, Педро Ф. и Даниэль П. Хаттенлохер. « Изобразительные структуры для распознавания объектов ». Международный журнал компьютерного зрения 61.1 (2005): 5579.

[8] Ян, Йи и Дева Раманан. « Оценка артикулированной позы с помощью гибких смесей частей ». Компьютерное зрение и распознавание образов (CVPR), Конференция IEEE 2011 г. IEEE, 2011.

[9] М. Дин и Г. Фан, "Сочлененная и обобщенная корреляция ядра Гаусса для оценки позы человека" IEEE Transactions по обработке изображений, Vol. 25, No. 2, февраль 2016 г.

[10] Дент, Стивен. «Что вам нужно знать о 3D-захвате движения» . Engadget . AOL Inc . Проверено 31 мая 2017 года .

[11] Коли, Пушмит; Шоттон, Джейми. «Основные разработки в области оценки позы человека для Kinect» (PDF) . Microsoft . Проверено 31 мая 2017 года .

[12] Aroeira, Rozilene Мария С., Estevam Б. де Лас Касас, Антониу Эустакио М. Pertence, Марсело Greco, и João Manuel RS Таварес. «Неинвазивные методы компьютерного зрения в оценке осанки при идиопатическом сколиозе у подростков». Журнал Bodywork and Movement Therapies 20, no. 4 (октябрь 2016 г.): 832–43. https://doi.org/10.1016/j.jbmt.2016.02.004 .

[13] Хан Мухаммад Хассан, Julien Helsper, Мухаммад Шахид Фарида, и Marcin Grzegorzek. «Система на основе компьютерного зрения для мониторинга Войта-терапии». Международный журнал медицинской информатики 113 (май 2018 г.): 85–95. https://doi.org/10.1016/j.ijmedinf.2018.02.010 .

[14] "Исследовательский центр НИТУ-SMME RISE" .

[1]