В вычислении , 3D взаимодействие является формой взаимодействия человека и машины , где пользователи могут перемещаться и выполнять взаимодействие в 3D - пространстве . Информация о процессах как человеком, так и машиной, когда имеет значение физическое положение элементов в трехмерном пространстве.
Трехмерное пространство, используемое для взаимодействия, может быть реальным физическим пространством , виртуальным пространственным представлением, смоделированным на компьютере, или их комбинацией. Когда реальное физическое пространство используется для ввода данных, человек взаимодействует с машиной, выполняя действия, используя устройство ввода, которое , среди прочего , определяет трехмерное положение человеческого взаимодействия. Когда он используется для вывода данных, смоделированная виртуальная трехмерная сцена проецируется в реальную среду через одно устройство вывода .
Принципы трехмерного взаимодействия применяются в различных областях, таких как туризм , искусство , игры , моделирование , образование , визуализация информации или научная визуализация . [1]
История
Исследования в области трехмерного взаимодействия и трехмерного отображения начались в 1960-х годах такими исследователями, как Иван Сазерленд, Фред Брукс, Боб Спроул, Эндрю Ортони и Ричард Фельдман. Но только в 1962 году Мортон Хейлиг изобрел симулятор Sensorama . [2] Он обеспечивал обратную связь 3D-видео, а также движение, звук и обратную связь для создания виртуальной среды. Следующим этапом развития стало завершение доктором Иваном Сазерлендом своей новаторской работы в 1968 году - Дамоклов меч. [3] Он создал головной дисплей, который создавал трехмерную виртуальную среду, представляя левое и правое неподвижное изображение этой среды.
Доступность технологий, а также непрактичные затраты сдерживали разработку и применение виртуальных сред до 1980-х годов. Заявки были ограничены военными предприятиями в Соединенных Штатах. С тех пор дальнейшие исследования и технологические достижения позволили открыть новые двери для применения в различных других областях, таких как образование, развлечения и производство.
Задний план
В трехмерном взаимодействии пользователи выполняют свои задачи и функции, обмениваясь информацией с компьютерными системами в трехмерном пространстве. Это интуитивный тип взаимодействия, потому что люди взаимодействуют в трех измерениях реального мира. Задачи, которые выполняют пользователи, классифицируются как выбор и управление объектами в виртуальном пространстве, навигация и управление системой. Задачи могут выполняться в виртуальном пространстве с помощью методов взаимодействия и использования устройств взаимодействия. Методы трехмерного взаимодействия были классифицированы в соответствии с поддерживаемыми ими группами задач. Методы, которые поддерживают задачи навигации, классифицируются как методы навигации . Методы, поддерживающие выбор объекта и манипулирование им, называются методами выбора и манипуляции . Наконец, методы управления системой поддерживают задачи, связанные с управлением самим приложением. Последовательное и эффективное сопоставление между методами и устройствами взаимодействия должно быть выполнено для того, чтобы система была удобной и эффективной. Интерфейсы, связанные с трехмерным взаимодействием, называются трехмерными интерфейсами . Как и другие типы пользовательских интерфейсов, он предполагает двустороннюю связь между пользователями и системой, но позволяет пользователям выполнять действия в трехмерном пространстве. Устройства ввода позволяют пользователям давать указания и команды системе, в то время как устройства вывода позволяют машине возвращать им информацию.
Трехмерные интерфейсы используются в приложениях, которые содержат виртуальные среды, а также дополненную и смешанную реальности . В виртуальных средах пользователи могут напрямую взаимодействовать со средой или использовать для этого инструменты с определенными функциями. Трехмерное взаимодействие происходит, когда физические инструменты управляются в трехмерном пространственном контексте для управления соответствующим виртуальным инструментом.
Пользователи испытывают чувство присутствия, когда находятся в захватывающем виртуальном мире. Предоставление пользователям возможности взаимодействовать с этим миром в 3D позволяет им использовать естественные и внутренние знания о том, как происходит обмен информацией с физическими объектами в реальном мире. Текстура, звук и речь могут быть использованы для улучшения трехмерного взаимодействия. В настоящее время пользователи все еще испытывают трудности с интерпретацией трехмерных космических изображений и пониманием того, как происходит взаимодействие. Хотя для людей это естественный способ передвижения в трехмерном мире, сложность существует из-за того, что многие подсказки, присутствующие в реальных средах, отсутствуют в виртуальных средах. Восприятие и окклюзия - это основные сигналы восприятия, используемые людьми. Кроме того, даже несмотря на то, что сцены в виртуальном пространстве кажутся трехмерными, они по-прежнему отображаются на двумерной поверхности, поэтому некоторые несоответствия в восприятии глубины все еще будут существовать.
3D пользовательские интерфейсы
Пользовательские интерфейсы - это средство связи между пользователями и системами. Трехмерные интерфейсы включают в себя средства массовой информации для трехмерного представления состояния системы и средства трехмерного пользовательского ввода или манипуляции. Использование трехмерных представлений недостаточно для создания трехмерного взаимодействия. Пользователи также должны иметь возможность выполнять действия в 3D. С этой целью были разработаны специальные устройства ввода и вывода, поддерживающие этот тип взаимодействия. Некоторые из них, такие как 3D-мышь, были разработаны на основе существующих устройств для 2D-взаимодействия.
Трехмерные пользовательские интерфейсы - это пользовательские интерфейсы, в которых происходит трехмерное взаимодействие, это означает, что задачи пользователя выполняются непосредственно в трехмерном пространстве. Пользователь должен общаться с системой с помощью команд, запросов, вопросов, намерений и целей, а этот, в свою очередь, должен предоставлять обратную связь, запросы на ввод, информацию о своем статусе и т. Д.
И у пользователя, и у системы разные языки, поэтому для обеспечения возможности процесса коммуникации интерфейсы должны служить посредниками или переводчиками между ними.
Способ, которым пользователь преобразует восприятие в действия, называется функцией передачи человека, а способ, которым система преобразует сигналы в отображаемую информацию, называется функцией передачи системы. Трехмерные пользовательские интерфейсы - это фактически физические устройства, которые связываются с пользователем и системой с минимальной задержкой, в этом случае есть два типа: оборудование вывода трехмерного пользовательского интерфейса и оборудование ввода трехмерного пользовательского интерфейса.
Аппаратное обеспечение вывода трехмерного пользовательского интерфейса
Устройства вывода, также называемые устройствами отображения, позволяют машине предоставлять информацию или обратную связь одному или нескольким пользователям через систему человеческого восприятия. Большинство из них ориентированы на стимуляцию зрительных, слуховых или тактильных ощущений. Однако в некоторых необычных случаях они также могут стимулировать обонятельную систему пользователя.
3D визуальные дисплеи
Этот тип устройств является наиболее популярным, и его цель - представить информацию, производимую системой, через зрительную систему человека в трехмерном виде. Основными особенностями, которые отличают эти устройства, являются: поле зрения и поле зрения , пространственное разрешение , геометрия экрана, механизм передачи света, частота обновления и эргономика .
Другой способ охарактеризовать эти устройства - в соответствии с различными категориями сигналов восприятия глубины, используемых для того, чтобы пользователь мог понять трехмерную информацию. Основными типами дисплеев, используемых в 3D UI, являются: мониторы, дисплеи с объемным экраном, рабочие места, полусферические дисплеи, дисплеи на голове, дисплеи на руке и автостереоскопические дисплеи. Гарнитуры виртуальной реальности и CAVE ( автоматическая виртуальная среда пещеры ) являются примерами полностью иммерсивного визуального дисплея, на котором пользователь может видеть только виртуальный мир, а не реальный. Полу-иммерсивные дисплеи позволяют пользователям видеть и то, и другое. Мониторы и рабочие столы являются примерами полупогружающих дисплеев.
3D-аудио дисплеи
Дисплеи 3D Audio - это устройства, которые представляют информацию (в данном случае звук) через слуховую систему человека, что особенно полезно при предоставлении пользователям информации о местоположении и пространстве. Его цель - создать и отобразить пространственный трехмерный звук, чтобы пользователь мог использовать свои психоакустические навыки и иметь возможность определять местоположение и направление звука. Есть разные локализации реплики: бинауральные реплики, спектральные и динамические реплики, связанные с головой передаточные функции , реверберация , интенсивность звука, видение и знакомство с окружающей средой. Добавление фонового звукового компонента к дисплею также добавляет ощущения реализма.
3D тактильные дисплеи
Эти устройства используют осязание для имитации физического взаимодействия между пользователем и виртуальным объектом. Существует три различных типа 3D-тактильных дисплеев: те, которые дают пользователю ощущение силы, те, которые имитируют осязание, и те, которые используют и то, и другое. Основными особенностями, которые отличают эти устройства, являются: возможность тактильного представления, разрешение и эргономика . Тактильная система человека имеет два основных типа сигналов: тактильные и кинестетические. Тактильные сигналы - это тип сигналов человеческого прикосновения, которые имеют широкий спектр кожных рецепторов, расположенных под поверхностью кожи, которые предоставляют информацию о текстуре, температуре, давлении и повреждениях. Кинестетические сигналы - это тип человеческих сенсорных сигналов, которые имеют множество рецепторов в мышцах, суставах и сухожилиях, которые предоставляют информацию об угле суставов, напряжении и длине мышц.
Оборудование ввода 3D-интерфейса пользователя
Эти аппаратные устройства называются устройствами ввода, и их цель - фиксировать и интерпретировать действия, выполняемые пользователем. В степени свободы (DOF) является одной из основных особенностей этих систем. Компоненты классического интерфейса (такие как мышь и клавиатура и, возможно, сенсорный экран) часто не подходят для нужд взаимодействия, отличного от 2D. [1] Эти системы также различаются в зависимости от того, сколько физического взаимодействия необходимо для использования устройства, чисто активными нужно манипулировать для получения информации, чисто пассивными - нет. Основными категориями этих устройств являются стандартные (настольные) устройства ввода, устройства слежения, устройства управления, навигационное оборудование, интерфейсы жестов , 3D-мыши и интерфейсы мозг-компьютер .
Настольные устройства ввода
Устройства этого типа предназначены для интерактивного 3D-взаимодействия на рабочем столе, многие из них изначально задумывались о традиционном взаимодействии в двух измерениях, но при соответствующем отображении между системой и устройством это может отлично работать в трех измерениях. размерный способ. Они бывают разных типов: клавиатуры , 2D-мыши и трекболы, перьевые планшеты и стилусы, джойстики . Тем не менее, многие исследования ставят под сомнение пригодность компонентов интерфейса рабочего стола для трехмерного взаимодействия [1] [4] [5], хотя это все еще обсуждается. [6] [7]
Устройства слежения
Системы трехмерного взаимодействия с пользователем основаны в первую очередь на технологиях отслеживания движения , чтобы получить всю необходимую информацию от пользователя посредством анализа его движений или жестов , эти технологии называются технологиями отслеживания.
Трекеры обнаруживают или отслеживают движения головы, рук или тела и отправляют эту информацию на компьютер. Затем компьютер переводит его и обеспечивает точное отображение положения и ориентации в виртуальном мире. Отслеживание важно для представления правильной точки зрения, координации пространственной и звуковой информации, представляемой пользователям, а также задач или функций, которые они могут выполнять. Трехмерные трекеры бывают механическими, магнитными, ультразвуковыми, оптическими и гибридными инерционными. Примеры трекеров включают в себя трекеры движения , айтрекеры и информационные перчатки. Простая 2D-мышь может считаться навигационным устройством, если она позволяет пользователю перемещаться в другое место в виртуальном 3D-пространстве. Навигационные устройства, такие как беговая дорожка и велосипед, используют естественные способы передвижения людей в реальном мире. Беговые дорожки имитируют ходьбу или бег, а велосипеды или подобное оборудование имитируют путешествие на автомобиле. В случае с навигационными устройствами информация, передаваемая машине, - это местоположение пользователя и его перемещения в виртуальном пространстве. Проволочные перчатки и боди позволяют взаимодействовать жестами. Они отправляют на компьютер информацию о положении рук или тела и движениях с помощью датчиков.
Для полноценной разработки системы трехмерного взаимодействия с пользователем требуется доступ к нескольким основным параметрам, вся эта основанная на технологии система должна знать или, по крайней мере частично, знать, как относительное положение пользователя, абсолютное положение, угловую скорость. , данные поворота, ориентация или высота. Сбор этих данных достигается с помощью систем космического слежения и датчиков в различных формах, а также с использованием различных методов для получения. Идеальной системой для этого типа взаимодействия является система, основанная на отслеживании положения с использованием шести степеней свободы (6-DOF), эти системы характеризуются возможностью получения абсолютного трехмерного положения пользователя, таким образом получить информацию обо всех возможных трехмерных углах поля.
Реализация этих систем может быть достигнута с помощью различных технологий, таких как электромагнитные поля, оптическое или ультразвуковое слежение, но все они имеют основное ограничение: они должны иметь фиксированный внешний опорный элемент, либо базу, либо массив камер, либо набор видимых маркеров, поэтому эту единую систему можно проводить на подготовленных участках. Инерциальные системы слежения не требуют внешней привязки, например, на основе движения, основаны на сборе данных с помощью акселерометров , гироскопов или видеокамер, без обязательной фиксированной привязки, в большинстве случаев основная проблема этой системы, основан на том, что не получает абсолютное положение, поскольку не является частью какой-либо предварительно установленной внешней контрольной точки, поэтому он всегда получает относительное положение пользователя, аспект, который вызывает кумулятивные ошибки в процессе выборки данных. Цель, которую нужно достичь в системе трехмерного отслеживания, будет основана на получении системы с 6 степенями свободы, способной обеспечить абсолютное позиционирование и точность движения и ориентации, с очень высокой точностью и неразрезанным пространством. быть мобильным телефоном, так как в нем есть все датчики захвата движения, а также GPS-отслеживание широты, но в настоящее время эти системы не настолько точны, чтобы захватывать данные с точностью до сантиметров, и поэтому были бы недействительными.
Однако есть несколько систем, которые близко адаптированы к преследуемым целям, определяющим фактором для них является то, что системы являются автоматическими, то есть все-в-одном и не требуют фиксированной предварительной ссылки, эти системы следующие:
Пульт Nintendo WII («Wiimote»)
Устройство Wii Remote не предлагает технологию, основанную на 6-DOF, поскольку опять же, не может обеспечить абсолютное положение, напротив, оснащено множеством датчиков, которые превращают 2D-устройство в отличный инструмент взаимодействия в 3D-средах.
Это устройство имеет гироскопы для определения вращения пользователя, акселерометры ADXL3000, для определения скорости и движения рук, оптические датчики для определения ориентации и электронные компасы, а также инфракрасные устройства для определения положения.
На этот тип устройства могут влиять внешние источники инфракрасных лампочек или свечей, что приводит к ошибкам в точности положения.
Устройства Google Tango
Танго Платформа является дополненной реальности вычислительной платформы, разработанной и авторством передовых технологий и проектов (Атап), подразделение скунса из Google. Он использует компьютерное зрение и внутренние датчики (например, гироскопы), чтобы мобильные устройства, такие как смартфоны и планшеты, могли определять свое положение относительно окружающего мира без использования GPS или других внешних сигналов. Поэтому его можно использовать для обеспечения ввода с 6 степенями свободы, который также можно комбинировать с мультисенсорным экраном. [8] Устройства Google Tango можно рассматривать как более интегрированные решения, чем ранние прототипы, сочетающие устройства с пространственным отслеживанием и сенсорные экраны для трехмерных сред. [9] [10] [11]
Microsoft KINECT
Устройство Microsoft Kinect предлагает нам другую технологию захвата движения для отслеживания.
Вместо того, чтобы основывать свою работу на датчиках, он основан на структурированном световом сканере , расположенном в полосе, который позволяет отслеживать все тело посредством обнаружения около 20 пространственных точек, из которых измеряются 3 различные степени свободы для определения положения. , скорость и вращение каждой точки.
Его основным преимуществом является простота использования и отсутствие необходимости в подключении внешнего устройства пользователем, а его главный недостаток заключается в невозможности определить ориентацию пользователя, что ограничивает некоторые функции пространства и навигации.
Прыжок Движение
Leap Motion является новой системой отслеживания рук, предназначенных для небольших помещений, позволяя новое взаимодействие в 3D среды для настольных приложений, так что это большая текучесть при просмотре трехмерных сред реалистичны.
Это небольшое устройство, которое подключается через USB к компьютеру и использует две камеры со светодиодным инфракрасным светом, что позволяет анализировать полусферическую область размером около 1 метра на его поверхности, таким образом записывая ответы со скоростью 300 кадров в секунду, информация отправляется. на компьютер, который будет обрабатываться конкретной компанией-разработчиком программного обеспечения.
Методы трехмерного взаимодействия
Методы трехмерного взаимодействия - это различные способы взаимодействия пользователя с виртуальной трехмерной средой для выполнения различных задач. Качество этих методов оказывает огромное влияние на качество всего трехмерного пользовательского интерфейса. Их можно разделить на три группы: «Навигация», «Выбор и управление» и «Управление системой».
Компьютер должен предоставить пользователю информацию о местоположении и движении. Навигация чаще всего используется пользователем в больших трехмерных средах и представляет различные задачи, такие как поддержка пространственной осведомленности, обеспечение эффективных перемещений между удаленными местами и обеспечение переносимости навигации, чтобы пользователь мог сосредоточиться на более важных задачах. Эти методы, задачи навигации, можно разделить на два компонента: путешествие и ориентирование. Путешествие предполагает перемещение из текущего местоположения в желаемую точку. Поиск пути относится к поиску и настройке маршрутов для достижения цели путешествия в виртуальной среде.
Путешествовать
Путешествие - это концептуальная техника, заключающаяся в перемещении точки обзора из одного места в другое. Эта ориентация обычно достигается в иммерсивных виртуальных средах с помощью отслеживания головы . Существует пять типов техник взаимодействия в путешествиях:
- Физическое движение : использует движение тела пользователя для перемещения в виртуальной среде. Является подходящей техникой, когда требуется расширенное восприятие ощущения присутствия или когда от пользователя требуется физическое усилие.
- Ручное манипулирование точкой обзора : движения рук пользователя определяют перемещение в виртуальной среде. Одним из примеров может быть ситуация, когда пользователь двигает руками так, как будто он хватается за виртуальную веревку и тянет себя вверх. Этот метод может быть простым в освоении и эффективным, но он может вызвать утомление.
- Рулевое управление : пользователь должен постоянно указывать, куда двигаться. Это распространенный и эффективный метод. Одним из примеров этого является рулевое управление, ориентированное на взгляд, когда ориентация головы определяет направление движения.
- Путешествие на основе цели : пользователь указывает точку назначения, и система выполняет перемещение. Это путешествие может быть выполнено с помощью телепорта, когда пользователь мгновенно перемещается в точку назначения, или система может выполнить какое-то переходное движение к судьбе. Эти методы очень просты с точки зрения пользователя, потому что ему нужно только указать пункт назначения.
- Планирование маршрута : пользователь указывает путь, который следует пройти через среду, и система выполняет перемещение. Пользователь может нарисовать путь на карте виртуальной среды, чтобы спланировать маршрут. Этот метод позволяет пользователям управлять перемещением, в то время как у них есть возможность выполнять другие задачи во время движения.
Поиск пути
Поиск пути - это когнитивный процесс определения маршрута для окружающей среды, использование и получение пространственных знаний для построения когнитивной карты окружающей среды. В виртуальном пространстве это другое дело, и сделать это труднее, чем в реальном мире, потому что в синтетической среде часто отсутствуют сигналы восприятия и ограничения движения. Его можно поддерживать с помощью методов, ориентированных на пользователя, таких как использование большего поля зрения и подачи сигналов движения, или методов, ориентированных на среду, таких как структурная организация и принципы навигации.
Чтобы обеспечить хороший поиск пути, пользователи должны получать поддержку поиска во время путешествия в виртуальной среде, чтобы облегчить его из-за ограничений со стороны виртуального мира.
Эти опоры могут быть ориентированы на пользователя, такие как большое поле зрения, или даже невизуальные, такие как аудио, или поддержка, ориентированная на среду, искусственные подсказки и структурную организацию для четкого определения различных частей окружающей среды. Некоторые из наиболее часто используемых искусственных подсказок - это карты, компасы и сетки или даже архитектурные подсказки, такие как освещение, цвет и текстура.
Выбор и манипуляции
Методы выбора и управления для трехмерных сред должны выполнять по крайней мере одну из трех основных задач: выбор объекта, позиционирование объекта и вращение объекта.
Пользователи должны иметь возможность манипулировать виртуальными объектами. Задачи манипуляции включают выбор и перемещение объекта. Иногда также задействовано вращение объекта. Прямое манипулирование руками - наиболее естественный метод, поскольку манипулирование физическими объектами рукой интуитивно понятно для людей. Однако, это не всегда возможно. Также подойдет виртуальная рука, которая может выбирать и перемещать виртуальные объекты.
3D виджеты могут быть использованы , чтобы положить контроль над объектами: они, как правило , называют 3D вещицы или Манипуляторы (хорошим примером являются те из Blender ). Пользователи могут использовать их для перемещения, масштабирования или переориентации объекта (Перевести, Масштабировать, Повернуть).
Другие методы включают в себя технику Go-Go и преобразование лучей, когда виртуальный луч используется для указания и выбора объекта.
Выбор
Задача выбора объектов или трехмерных объемов в трехмерной среде требует, чтобы сначала уметь найти желаемую цель, а затем уметь ее выбрать. Большинство наборов трехмерных данных / сред разделены проблемами окклюзии [12], поэтому первый шаг поиска цели зависит от манипулирования точкой обзора или самими трехмерными данными, чтобы правильно идентифицировать интересующий объект или объем. Этот начальный шаг, конечно же, тесно связан с манипуляциями в 3D. После того, как цель визуально определена, пользователи получают доступ к различным методам ее выбора.
Обычно система предоставляет пользователю 3D-курсор в виде руки человека, движения которой соответствуют движению трекера. Эта техника виртуальной руки [13] довольно интуитивна, потому что имитирует взаимодействие реального мира с объектами, но с ограничением объектов, которых мы можем достичь в пределах досягаемости.
Чтобы избежать этого ограничения, было предложено множество техник, например, метод «вперед-вперед». [14] Этот метод позволяет пользователю расширить зону досягаемости, используя нелинейное отображение руки: когда пользователь вытягивает руку за пределы фиксированного порогового расстояния, отображение становится нелинейным, и рука растет.
Другой метод выбора и управления объектами в трехмерном виртуальном пространстве заключается в наведении на объекты с помощью виртуального луча, исходящего от виртуальной руки. [15] Когда луч пересекается с объектами, им можно управлять. Было сделано несколько вариаций этого метода, например, метод апертуры, в котором для выбора удаленных объектов используется конический указатель, адресованный глазам пользователя, оцениваемый по местоположению головы. В этом методе также используется датчик руки для регулировки размера конического указателя.
Также были разработаны многие другие методы, основанные на различных стратегиях ввода. [16] [17]
Манипуляции
3D-манипуляции происходят перед задачей выбора (чтобы визуально идентифицировать цель 3D-выбора) и после того, как выбор произошел, чтобы манипулировать выбранным объектом. Для трехмерных манипуляций требуется 3 степени резкости для вращения (1 степень резкости на ось, а именно x, y, z) и 3 степени резкости для перемещений (1 степень резкости на ось) и по крайней мере 1 дополнительную степень резкости для равномерного масштабирования (или, альтернативно, 3 дополнительных степени резкости для неравномерного операции масштабирования).
3D-манипуляции, как и навигация, являются одной из важнейших задач с 3D-данными, объектами или средами. Это основа многих широко используемых 3D-программ (таких как Blender, Autodesk, VTK). Это программное обеспечение, доступное в основном на компьютерах, поэтому почти всегда совмещено с мышью и клавиатурой. Чтобы обеспечить достаточное количество степеней свободы (мышь предлагает только 2), это программное обеспечение полагается на моддинг с помощью клавиши, чтобы отдельно управлять всеми степенями свободы, участвующими в трехмерных манипуляциях. С недавним изобретением смартфонов и планшетов с поддержкой multi-touch отображение взаимодействия этого программного обеспечения было адаптировано для multi-touch (которое предлагает больше одновременных манипуляций с глубиной резкости, чем мышь и клавиатура). Опрос, проведенный в 2017 году среди 36 коммерческих и академических мобильных приложений для Android и iOS, однако показал, что большинство приложений не обеспечивают способ управления минимум 6 требуемых степеней свободы [7], но среди тех, которые это делают, большинство используют 3D версия сопоставления RST (Rotation Scale Translation): 1 палец используется для вращения вокруг x и y, в то время как взаимодействие двумя пальцами управляет вращением вокруг z и перемещением по x, y и z.
Системный контроль
Методы управления системой позволяют пользователю отправлять команды приложению, активировать некоторые функции, изменять режим взаимодействия (или системы) или изменять параметр. Отправитель команды всегда включает в себя выбор элемента из набора. Методы управления системой как методы, которые поддерживают задачи управления системой в трех измерениях, можно разделить на четыре группы:
- Графические меню : визуальное представление команд.
- Голосовые команды : доступ к меню осуществляется с помощью голоса.
- Жестовое взаимодействие : команда доступна с помощью телесного жеста.
- Инструменты : виртуальные объекты с неявной функцией или режимом.
Также существуют разные гибридные техники, сочетающие некоторые типы.
Символьный ввод
Эта задача позволяет пользователю вводить и / или редактировать, например, текст, что позволяет комментировать 3D-сцены или 3D-объекты.
Смотрите также
- Отслеживание пальца
- Техника взаимодействия
- Интерактивный дизайн
- Взаимодействие человека с компьютером
- Автоматическая виртуальная среда пещеры (CAVE)
- Виртуальная реальность
Рекомендации
- ^ a b c Боуман, Дуг А. (2004). Пользовательские 3D-интерфейсы: теория и практика . Редвуд-Сити, Калифорния, США: ISBN Addison Wesley Longman Publishing Co., Inc. 978-0201758672.
- ^ США US3050870A , Хайлиг, Morton L , "Sensorama симулятор", выпущенный 1962-08-28
- ^ Сазерленд, IE (1968). « Головной трехмерный дисплей. Архивировано 4 марта 2016 года на Wayback Machine ». Труды AFIPS 68 , стр. 757-764
- ^ Чен, Майкл; Маунтфорд, С. Джой; Селлен, Эбигейл (1988). Исследование интерактивного трехмерного вращения с использованием двумерных устройств управления (PDF) . Нью-Йорк, Нью-Йорк, США: ACM Press. DOI : 10.1145 / 54852.378497 . ISBN 0-89791-275-6.
- ^ Ю, Линьюнь; Светачев, Петр; Изенберг, Петра; Everts, Maarten H .; Изенберг, Тобиас (28 октября 2010 г.). «FI3D: Прямое касание для исследования пространств трехмерной научной визуализации» (PDF) . IEEE Transactions по визуализации и компьютерной графике . 16 (6): 1613–1622. DOI : 10.1109 / TVCG.2010.157 . ISSN 1077-2626 . PMID 20975204 .
- ^ Терренги, Люсия; Кирк, Дэвид; Селлен, Эбигейл; Изади, Шахрам (2007). Возможности манипулирования физическими и цифровыми медиа на интерактивных поверхностях . Нью-Йорк, Нью-Йорк, США: ACM Press. DOI : 10.1145 / 1240624.1240799 . ISBN 978-1-59593-593-9.
- ^ а б Безансон, Лонни; Иссартель, Поль; Амми, Мехди; Изенберг, Тобиас (2017). Мышь, тактильный и материальный ввод для 3D-манипуляций . Нью-Йорк, Нью-Йорк, США: ACM Press. arXiv : 1603.08735 . DOI : 10.1145 / 3025453.3025863 . ISBN 978-1-4503-4655-9.
- ^ Безансон, Лонни; Иссартель, Поль; Амми, Мехди; Изенберг, Тобиас (2017). «Гибридное тактильное / осязаемое взаимодействие для исследования трехмерных данных» . IEEE Transactions по визуализации и компьютерной графике . 23 (1): 881–890. DOI : 10.1109 / tvcg.2016.2599217 . ISSN 1077-2626 . PMID 27875202 .
- ^ Фитцморис, Джордж В .; Бакстон, Уильям (1997). Эмпирическая оценка понятных пользовательских интерфейсов . Нью-Йорк, Нью-Йорк, США: ACM Press. DOI : 10.1145 / 258549.258578 . ISBN 0-89791-802-9.
- ^ Ангус, Ян Дж .; Совизрал, Генри А. (1995-03-30). Фишер, Скотт С .; Мерритт, Джон О.; Болас, Марк Т. (ред.). Встраивание метафоры двумерного взаимодействия в реальную трехмерную виртуальную среду . ШПИОН. DOI : 10.1117 / 12.205875 .
- ^ Пупырев, И .; Tomokazu, N .; Weghorst, S. Virtual Notepad: рукописный ввод в иммерсивной виртуальной реальности (PDF) . IEEE Comput. Soc. DOI : 10.1109 / vrais.1998.658467 . ISBN 0-8186-8362-7.
- ^ Шнейдерман, Б. У глаз есть это: задача по таксономии типов данных для визуализации информации . IEEE Comput. Soc. Нажмите. DOI : 10.1109 / vl.1996.545307 . hdl : 1903/466 . ISBN 0-8186-7508-X.
- ^ Пупырев, И .; Итикава, Т .; Weghorst, S .; Биллингхерст, М. (1998). «Манипуляции с эгоцентрическими объектами в виртуальных средах: эмпирическая оценка методов взаимодействия». Форум компьютерной графики . 17 (3): 41–52. CiteSeerX 10.1.1.95.4933 . DOI : 10.1111 / 1467-8659.00252 . ISSN 0167-7055 .
- ^ Пупырев, Иван; Биллингхерст, Марк; Weghorst, Сюзанна; Итикава, Тадао (1996). «Техника взаимодействия на ходу» (PDF) . Техника непрерывного взаимодействия: нелинейное отображение для прямого манипулирования в VR . Цифровая библиотека ACM . С. 79–80. DOI : 10.1145 / 237091.237102 . ISBN 978-0897917988. Проверено 18 мая 2018 .
- ^ Мой, Марк Р. (1995). Методы взаимодействия с виртуальной средой (PDF) (Технический отчет). Департамент компьютерных наук Университета Северной Каролины.
- ^ Аргелаге, Ферран; Андухар, Карлос (2013). «Обзор методов выбора 3D-объектов для виртуальных сред» (PDF) . Компьютеры и графика . 37 (3): 121–136. DOI : 10.1016 / j.cag.2012.12.003 . ISSN 0097-8493 . S2CID 8565854 .
- ^ Безансон, Лонни; Серено, Микаэль; Ю, Линьюнь; Амми, Мехди; Изенберг, Тобиас (2019). «Выбор гибридных сенсорных / материальных пространственных трехмерных данных» (PDF) . Форум компьютерной графики . Вайли. 38 (3): 553–567. DOI : 10.1111 / cgf.13710 . ISSN 0167-7055 .
- Список для чтения
- 3D-взаимодействие с портативными компьютерами. Был 28 марта 2008 г.
- Боуман, Д., Круифф, Э., ЛаВиола, Дж., Поупырев, И. (2001, февраль). Введение в дизайн трехмерного пользовательского интерфейса . Присутствие, 10 (1), 96–108.
- Боуман, Д., Круийфф, Э., ЛаВиола, Дж., Поупырев, И. (2005). Пользовательские 3D-интерфейсы: теория и практика. Бостон: Аддисон – Уэсли.
- Боуман, Дуг. Пользовательские 3D-интерфейсы . Основа дизайна взаимодействия . Проверено 15 октября 2015 г.
- Бурдеа, Г.К., Койффет, П. (2003). Технология виртуальной реальности (2-е изд.). Нью-Джерси: John Wiley & Sons Inc.
- Кэрролл, JM (2002). Взаимодействие человека и компьютера в новом тысячелетии. Нью-Йорк: ACM Press
- Чисинко, М., Кауфманн, Х. (2007, март). На пути к универсальной реализации методов трехмерного взаимодействия с пользователем [Труды спецификации, разработки, адаптации пользовательских интерфейсов смешанной реальности, семинар, IEEE VR]. Шарлотта, Северная Каролина, США.
- Fröhlich, B .; Plate, J. (2000). «Кубическая мышь: новое устройство для 3D-ввода». Труды ACM CHI 2000 . Нью-Йорк: ACM Press. С. 526–531. DOI : 10.1145 / 332040.332491 .
- Методы взаимодействия . DLR - Simulations- und Softwaretechnik . Проверено 18 октября 2015 г.
- Keijser, J .; Carpendale, S .; Hancock, M .; Изенберг, Т. (2007). «Изучение трехмерного взаимодействия в альтернативных сопоставлениях пространства управления и отображения». Материалы 2-го симпозиума IEEE по пользовательским 3D-интерфейсам . Лос-Аламитос, Калифорния: Компьютерное общество IEEE. С. 526–531.
- Лариджани, LC (1993). Учебник по виртуальной реальности. Соединенные Штаты Америки: RR Donnelley and Sons Company.
- Райн, А. ван (2006). Настраиваемые устройства ввода для трехмерного взаимодействия с использованием оптического отслеживания . Эйндховен: Технический университет Эйндховена.
- Stuerzlinger, W., Dadgari, D., Oh, JY. (2006, апрель). Реалистичные методы движения объектов для 3D. Семинар CHI 2006: «Что такое следующее поколение взаимодействия человека с компьютером?». Презентация семинара.
- ПЕЩЕРА (автоматическая виртуальная среда пещеры). Был 28 марта 2007 г.
- CAVE с поддержкой Java 3-D в Центре передового опыта в области визуальной геномики Sun. Был 28 марта 2007 г.
- Винс, Дж. (1998). Essential Virtual Reality Fast. Великобритания: Springer-Verlag London Limited
- Виртуальная реальность. Был 28 марта 2007 г.
- Юань, К. (2005, декабрь). Бесшовное трехмерное взаимодействие в AR - подход, основанный на видении. В материалах Первого международного симпозиума ISVC (стр. 321–328). Озеро Тахо, штат Невада, США: Springer Berlin / Heidelberg.
Внешние ссылки
- Библиография по трехмерному взаимодействию и пространственному вводу
- Изобретатель интерфейса 3D Window 1998
- 3DI Group
- 3D-взаимодействие в виртуальных средах