Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Не путать с текстовым пользовательским интерфейсом .

Reactable , электронный музыкальный инструмент, пример осязаемого пользовательского интерфейса.
Устройство SandScape установлено в Музее детского творчества в Сан-Франциско

Ощутимый пользовательский интерфейс ( TUI ) представляет собой пользовательский интерфейс , в котором человек взаимодействует с цифровой информацией через физическую среду . Первоначальное название было Graspable User Interface, которое больше не используется. Целью разработки TUI является расширение возможностей совместной работы, обучения и проектирования путем придания физической формы цифровой информации, тем самым используя человеческую способность захватывать и манипулировать физическими объектами и материалами. [1]

Одним из пионеров в создании осязаемых пользовательских интерфейсов является Хироши Исии , профессор Медиа-лаборатории Массачусетского технологического института, возглавляющий Tangible Media Group. Его частность видение материальных UIs, называемое управление материального Bits , чтобы дать физическую форму цифровой информации, что делает биты непосредственно манипулируемы и чувственными. Материальные биты стремятся к бесшовной связи между физическими объектами и виртуальными данными.

Характеристики [ править ]

  1. Физические представления вычислительно связаны с базовой цифровой информацией.
  2. Физические представления воплощают в себе механизмы интерактивного управления.
  3. Физические представления перцептивно связаны с активно опосредованными цифровыми представлениями.
  4. Физическое состояние материальных ценностей воплощает ключевые аспекты цифрового состояния системы.

Согласно Ми Чжон Ким и Мэри Лу Махер, пять основных определяющих свойств осязаемых пользовательских интерфейсов следующие: [2]

  1. пространственное мультиплексирование как на входе, так и на выходе;
  2. одновременный доступ и манипулирование компонентами интерфейса;
  3. сильные специфические устройства;
  4. пространственно-зависимые вычислительные устройства;
  5. пространственная перенастройка устройств.

Различия: материальный и графический интерфейс пользователя [ править ]

Материальный пользовательский интерфейс должен отличаться от графического пользовательского интерфейса (GUI). Графический интерфейс пользователя существует только в цифровом мире, где интерфейс TUI соединяет цифровой мир с физическим. Например, экран отображает цифровую информацию, тогда как мышь позволяет нам напрямую взаимодействовать с этой цифровой информацией. [3] Кроме того, материальный пользовательский интерфейс также представляет входные данные в физическом мире, в отличие от графического пользовательского интерфейса, и делает цифровую информацию доступной для непосредственного восприятия. [4]

Материальный пользовательский интерфейс обычно создается для одной конкретной целевой группы из-за небольшого диапазона возможных областей применения. Следовательно, дизайн интерфейса должен разрабатываться вместе с целевой группой, чтобы обеспечить хорошее взаимодействие с пользователем. [5]

По сравнению с TUI, графический пользовательский интерфейс имеет широкий диапазон применений в одном интерфейсе. Из-за этого он нацелен на большую группу возможных пользователей. [6]

Одним из преимуществ пользовательского интерфейса Tangible является удобство использования, поскольку происходит физическое взаимодействие между пользователем и самим интерфейсом (например, SandScape : создание собственного ландшафта из песка). Еще одним преимуществом является удобство использования, поскольку пользователь интуитивно знает, как использовать интерфейс, зная функцию физического объекта. Таким образом, пользователю не нужно изучать функционал. Вот почему интерфейс Tangible User часто используется, чтобы сделать технологии более доступными для пожилых людей. [7]

Тип интерфейса / атрибутыОщутимый пользовательский интерфейсГрафический пользовательский интерфейс
Количество возможных областей примененияСоздавайте для одной конкретной области примененияСоздан для различных областей применения
Как работает системафизические объекты, такие как мышь или клавиатураНа основе графических битов, например пикселей на экране
Связь между когнитивными битами и физическим выходомНепосредственное соединениеКосвенное соединение
Как определяется пользовательский опытПользователь уже знает функцию интерфейса, зная функцию физических объектов.Пользователь исследует функциональность интерфейса
Поведение пользователя при приближении к системеИнтуицияПризнание

[8]

Примеры [ править ]

Простым примером осязаемого пользовательского интерфейса является компьютерная мышь: перетаскивание мыши по плоской поверхности соответственно перемещает указатель на экране. Существует очень четкая взаимосвязь между поведением системы и движениями мыши. Другие примеры включают:

  • Мраморный автоответчик Даррелла Бишопа (1992). [9] мрамор представляет собой одно сообщение оставил на автоответчике . Если бросить шарик в блюдо, будет воспроизведено соответствующее сообщение или перезвонит вызывающий абонент.
  • Система Топобо . Блоки в Topobo похожи на блоки LEGO, которые можно соединять вместе, но они также могут перемещаться сами по себе, используя моторизованные компоненты. Человек может толкать, тянуть и крутить эти блоки, и блоки могут запоминать эти движения и воспроизводить их. [10]
  • Реализации, которые позволяют пользователю рисовать изображение на столе системы с помощью настоящего материального пера. Используя жесты рук, пользователь может клонировать изображение и растягивать его по осям X и Y, как в программе рисования. Эта система будет объединять видеокамеру с системой распознавания жестов .
  • джайв . Внедрение TUI помогло сделать этот продукт более доступным для пожилых пользователей продукта. «Друзья» также можно использовать для активации различных взаимодействий с продуктом. [11]
  • SandScape : Создание ландшафта с TUI. Этот интерфейс позволяет пользователю формировать пейзаж из песка на столе. Модель песка представляет собой рельеф, который проецируется на поверхность. В реальном времени модель проецирует деформации песка. [12]

Было предложено несколько подходов к созданию общего промежуточного программного обеспечения для TUI. Они нацелены на независимость доменов приложений, а также на гибкость с точки зрения развернутой сенсорной технологии. Например, Siftables предоставляет платформу приложений, в которой небольшие дисплеи, чувствительные к жестам, действуют вместе, образуя человеко-машинный интерфейс.

Для поддержки совместной работы TUI должны позволять пространственное распределение, асинхронные действия и динамическую модификацию инфраструктуры TUI, чтобы назвать наиболее важные из них. Этот подход представляет собой структуру, основанную на концепции пространства кортежей LINDA, для удовлетворения этих требований. Реализованная структура TUIpist развертывает произвольную сенсорную технологию для любого типа приложений и исполнительных механизмов в распределенных средах. [13]

Современное состояние [ править ]

Интерес к осязаемым пользовательским интерфейсам (TUI) постоянно растет с 1990-х годов, и с каждым годом появляются все более осязаемые системы. В официальном документе от 2017 года описывается эволюция TUI для работы с сенсорным столом и открываются новые возможности для экспериментов и развития. [14]

В 1999 году Гэри Залевски запатентовал систему подвижных детских блоков, содержащих датчики и дисплеи, для обучения орфографии и составления предложений. [15]

Tangible Engine - это проприетарное приложение для разработки, используемое для создания интерфейсов распознавания объектов для проецируемых емкостных сенсорных таблиц. Материальный Engine Media Creator позволяет пользователь с небольшим опытом или без опыта кодирования быстро создать опыт TUI на основе.

MIT Tangible Media Group, возглавляемая Хироши Иши, постоянно разрабатывает и экспериментирует с пользовательскими интерфейсами, включая множество настольных приложений. [16]

Система Urp [17] и более продвинутая среда Augmented Urban Planning Workbench [18] позволяют цифровое моделирование воздушного потока, теней, отражений и других данных на основе положения и ориентации физических моделей зданий на поверхности стола.

Новые разработки идут еще дальше и включают третье измерение, позволяя пользователю формировать ландшафты из глины (Illuminating Clay [19] ) или песка (Sand Scape [20] ). Опять же, различные симуляции позволяют анализировать тени, карты высот, уклоны и другие характеристики интерактивно формируемых массивов суши.

InfrActables - это совместная таблица с обратной проекцией, которая позволяет взаимодействовать с помощью TUI, которые включают распознавание состояния. Добавление различных кнопок к TUI позволяет использовать дополнительные функции, связанные с TUI. Более новые версии технологии могут быть даже интегрированы в ЖК-дисплеи [21] с помощью инфракрасных датчиков за ЖК-матрицей.

The Tangible Disaster [22] позволяет пользователю анализировать меры по ликвидации последствий стихийных бедствий и моделировать различные виды стихийных бедствий (пожар, наводнение, цунами и т. Д.) И сценарии эвакуации во время сеансов совместного планирования. Физические объекты позволяют определять местонахождение стихийных бедствий, размещая их на интерактивной карте и дополнительно настраивая параметры (например, масштаб) с помощью прикрепленных к ним циферблатов.

Коммерческий потенциал TUI был определен недавно. Неоднократно награждаемый Reactable [23] интерактивный осязаемый настольный инструмент в настоящее время коммерчески распространяется Reactable Systems, дочерней компанией Университета Помпеу Фабра, где он был разработан. С помощью Reactable пользователи могут настраивать свой собственный инструмент в интерактивном режиме, физически размещая различные объекты (представляющие осцилляторы, фильтры, модуляторы ...) и параметризируя их, вращая и используя сенсорный ввод.

Microsoft распространяет свою новую платформу на базе Windows Microsoft Surface [24] (ныне Microsoft PixelSense) с 2009 года. Помимо мультисенсорного отслеживания пальцев, платформа поддерживает распознавание физических объектов по их отпечаткам. Было представлено несколько приложений, в основном для использования в коммерческом космосе. Примеры варьируются от разработки собственного индивидуального графического макета для сноуборда или скейтборда до изучения деталей вина в ресторане, помещая его на стол и перемещаясь по меню с помощью сенсорного ввода. Также поддерживаются такие взаимодействия, как совместный просмотр фотографий с видеокамеры или мобильного телефона, которые легко подключаются после размещения на столе.

Другой примечательной интерактивной инсталляцией является «Мгновенный город» [25] , сочетающий в себе игры, музыку, архитектуру и аспекты совместной работы. Он позволяет пользователю строить трехмерные конструкции и создавать город из прямоугольных строительных блоков, что одновременно приводит к интерактивной сборке музыкальных фрагментов разных композиторов.

Разработка Reactable и последующий выпуск его технологии отслеживания reacTIVision [26] под GNU / GPL, а также открытые спецификации протокола TUIO вызвали огромное количество разработок, основанных на этой технологии.

В последние несколько лет было начато множество любительских и полупрофессиональных проектов за пределами академических кругов и коммерции. Благодаря технологиям отслеживания с открытым исходным кодом (reacTIVision [26] ) и постоянно растущей вычислительной мощности, доступной конечным потребителям, необходимая инфраструктура теперь доступна почти каждому. Стандартный ПК, веб-камера и некоторые изделия ручной работы позволяют людям настраивать реальные системы с минимальными затратами на программирование и материальные затраты. Это открывает двери для новых способов восприятия взаимодействия человека и компьютера и позволяет общественности экспериментировать с новыми формами творчества.

Трудно отслеживать и игнорировать быстро растущее число всех этих систем и инструментов, но хотя многие из них, похоже, используют только доступные технологии и ограничиваются начальными экспериментами и тестами с некоторыми базовыми идеями или просто воспроизводят существующие системы, некоторые из них открываются в новых интерфейсах и взаимодействиях, развертываются в общественных местах или встроены в художественные инсталляции. [27]

Tangible Factory Planning [28] - это осязаемая таблица, основанная на reacTIVision [29], которая позволяет совместно планировать и визуализировать производственные процессы в сочетании с планами новых заводских зданий и была разработана в рамках дипломной работы.

Другим примером множества столешниц на основе reacTIVision является интерактивный стол ImpulsBauhaus [30], который был представлен на выставке в Университете Баухауса в Веймаре по случаю 90-летия основания Баухауза. Посетители могли просматривать и изучать биографии, сложные отношения и социальные сети между членами движения.

Было показано, что использование принципов, основанных на воплощенном познании , теории когнитивной нагрузки и пользовательских интерфейсах воплощенного дизайна , повышает эффективность обучения, предлагая мультимодальную обратную связь. [31] Однако эти преимущества для обучения требуют таких форм взаимодействия, которые оставляют для обучения как можно больше когнитивных способностей.

Физический значок [ править ]

Физический значок или phicon , является ощутимым вычислительным эквивалентом значка в традиционном графическом интерфейсе пользователя, или GUI . Фиконы содержат ссылку на некоторый цифровой объект и тем самым передают значение. [32] [33] [34]

История [ править ]

Физические иконки были впервые использованы в качестве осязаемых интерфейсов в проекте metaDesk, созданном в 1997 году исследовательской группой осязаемых бит профессора Хироши Исии в Массачусетском технологическом институте . [35] [36] MetaDesk состоял из стола, на поверхности которого отображалось проецируемое на экран видеоизображение. Размещение фикона на столе приводило в действие датчики, которые изменяли видеопроекцию. [37]

См. Также [ править ]

  • Аппаратный интерфейс
  • Кинетический пользовательский интерфейс
  • Естественный пользовательский интерфейс
  • Органический пользовательский интерфейс

Ссылки [ править ]

  1. ↑ Исии, Хироши (28 октября 2017 г.). «Ощутимые биты». Ощутимые биты: за пределами пикселей . ACM. стр. xv – xxv. DOI : 10.1145 / 1347390.1347392 . ISBN 9781605580043.
  2. ^ Ким, Ми Чжон; Махер, Мэри Лу (2008). «Влияние материальных пользовательских интерфейсов на пространственное познание дизайнеров» (PDF) . Взаимодействие человека с компьютером . 23 (2): 101–137. DOI : 10.1080 / 07370020802016415 . ISSN 0737-0024 .  
  3. ^ http://tmg-trackr.media.mit.edu:8020/SuperContainer/RawData/Papers/485-Radical%20Atoms%20Beyond%20Tangible/Published/PDF
  4. ^ https://pdfs.semanticscholar.org/8d72/fa1bd1a7ac0917f701d62ef648c2911d9356.pdf
  5. ^ http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.924.6112&rep=rep1&type=pdf
  6. ^ http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.924.6112&rep=rep1&type=pdf
  7. ^ https://pdfs.semanticscholar.org/8d72/fa1bd1a7ac0917f701d62ef648c2911d9356.pdf
  8. ^ http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.924.6112&rep=rep1&type=pdf
  9. ^ "Автоответчик Интернета вещей 1992 года, с шариками / Boing Boing" . boingboing.net .
  10. ^ "Конструктор Topobo с кинетической памятью" . www.topobo.com .
  11. ^ «Джайв - социальные сети для твоей бабушки» . jive.benarent.co.uk .
  12. ^ https://pdfs.semanticscholar.org/8d72/fa1bd1a7ac0917f701d62ef648c2911d9356.pdf
  13. ^ http://www.cs.rit.edu/~pns6910/docs/Tuple%20Space/A%20Tuple-Space%20Based%20Middleware%20for%20Collaborative%20Tangible%20User%20Interfaces.pdf
  14. ^ «Эволюция материальных пользовательских интерфейсов на сенсорных столах | Идея» . Идеум - дизайн выставки | сенсорные столы | интерактивные экспонаты . Проверено 31 октября 2017 года .
  15. ^ "Беспроводное устройство ввода / вывода и метод компьютерного обучения" .
  16. ^ «Материальные СМИ» . www.media.mit.edu . MIT Media Lab . Проверено 10 декабря 2014 . CS1 maint: обескураженный параметр ( ссылка )
  17. ^ Urp: светящийся и осязаемый рабочий стол для городского планирования и дизайна Джон Андеркоффлер, Хироши Исии Май 1999 CHI '99: Материалы конференции SIGCHI по человеческому фактору в вычислительных системах
  18. ^ Расширенная среда городского планирования: наложение чертежей, физических моделей и цифрового моделирования Хироши Исии, Эран Бен-Джозеф, Джон Ундеркоффлер, Люк Юнг, Дэн Чак, Зара Канджи, Бен Пайпер Сентябрь 2002 г. ISMAR '02: Материалы 1-го Международного симпозиума по смешанному и дополненная реальность
  19. ↑ Пайпер, Бен; Ратти, Карло; Исии, Хироши (28 октября 2017 г.). «Светящаяся глина». Светящаяся глина: трехмерный осязаемый интерфейс для анализа ландшафта . ACM. С. 355–362. DOI : 10.1145 / 503376.503439 . ISBN 978-1581134537.
  20. ↑ Исии, Хироши (1 июня 2008 г.). «Материальный интерфейс пользователя и его эволюция». Commun. ACM . 51 (6): 32–36. DOI : 10.1145 / 1349026.1349034 .
  21. ^ MightyTrace: Многопользовательская технология отслеживания на ЖК-дисплеях , Р. Хофер, А. Кунц, П. Каплан, Труды двадцать шестой ежегодной конференции SIGCHI по человеческому фактору в вычислительных системах, 2008 г., Флоренция, Италия.
  22. ^ Материальный пользовательский интерфейс для поддержки аварийного образования Kazue Kobayashi, Tatsuhito Какизаков, Atsunobu Нариты, Мицунорите Хиран Итиро Кас августа 2007 SIGGRAPH '07: SIGGRAPH плакатов 2007
  23. ^ The reacTable: изучение синергии между живым музыкальным исполнением и настольными осязаемыми интерфейсами Серджи Жорда, Гюнтер Гейгер, Маркос Алонсо, Мартин Кальтенбруннер, февраль 2007 TEI '07: Материалы 1-й международной конференции по материальному и встроенному взаимодействию
  24. ^ Демо I Microsoft Surface и платформа единого представления Джош Уолл, май 2009 г., CTS '09: Материалы Международного симпозиума 2009 г. по технологиям и системам для совместной работы
  25. ^ Instant City : игровой стол для создания музыки Сибилла Хауэрт, Даниэль Райхмут, Фолькер Бём Июнь 2007 NIME '07: Материалы 7-й международной конференции по новым интерфейсам для музыкального выражения
  26. ^ a b reacTIVision: фреймворк компьютерного зрения для осязаемого взаимодействия на основе таблиц Мартин Кальтенбруннер, Росс Бенцина Февраль 2007 г. TEI '07: Материалы 1-й международной конференции по материальному и встроенному взаимодействию
  27. ^ "Пользовательская выставка Sourceforge TUIO" .
  28. ^ Планирование материального предприятия, дипломная работа, Даниэль Гуз, http://www.danielguse.de/tangibletable.php
  29. ^ Мартин Кальтенбруннер и Росс Бенцина. 2007. «reacTIVision: фреймворк компьютерного зрения для осязаемого взаимодействия на основе таблиц». В материалах 1-й международной конференции по материальному и встроенному взаимодействию (TEI '07). ACM, Нью-Йорк, Нью-Йорк, США, 69-74. DOI : 10,1145 / 1226969,1226983
  30. ^ "Интерактивный стол с reacTIVision: ImpulsBauhaus" .
  31. ^ Skulmowski, Александр; Прадель, Саймон; Кюнерт, Том; Бруннетт, Гвидо; Рей, Гюнтер Даниэль (2016). «Воплощенное обучение с использованием осязаемого пользовательского интерфейса: эффекты осязательного восприятия и выборочного наведения на задачу пространственного обучения». Компьютеры и образование . 92–93: 64–75. DOI : 10.1016 / j.compedu.2015.10.011 .
  32. ^ Фидальго, Ф., Сильва, П., Реалиньо, В .: "Повсеместные вычисления и организации", стр. 201. Текущие изменения в образовании с использованием технологий, 2006 г.
  33. ^ Michitaka Hirose (2001). Взаимодействие человека и компьютера: INTERACT '01: Международная конференция IFIP TC.13 по взаимодействию человека и компьютера, 9-13 июля 2001 г., Токио, Япония . IOS Press. С. 337–. ISBN 978-1-58603-188-6.
  34. ^ Хамид Агаджан; Хуан Карлос Аугусто; Рамон Лопес-Козар Дельгадо (25 сентября 2009 г.). Человеко-ориентированные интерфейсы для окружающего интеллекта . Академическая пресса. С. 15–. ISBN 978-0-08-087850-8.
  35. ↑ Ховард Рейнгольд (21 марта 2007 г.). Умные мобы: следующая социальная революция . Основные книги. С. 104–. ISBN 978-0-465-00439-3.
  36. ^ Пол Дуриш (2004). Где действие: основы воплощенного взаимодействия . MIT Press. С. 45–. ISBN 978-0-262-54178-7.
  37. ^ Мэри Бет Россон; Джон Миллар Кэрролл (2002). Юзабилити-инженерия: развитие взаимодействия человека и компьютера на основе сценариев . Морган Кауфманн. С. 316–. ISBN 978-1-55860-712-5.

Внешние ссылки [ править ]

  • Открытый фреймворк TUIO для осязаемых мультитач-поверхностей на TUIO.org
  • Запись в энциклопедии по истории материального взаимодействия и материальных пользовательских интерфейсов
  • Официальный документ об эволюции материальных пользовательских интерфейсов на сенсорных столах