 | Эта статья поднимает множество проблем. Пожалуйста, помогите улучшить его или обсудите эти проблемы на странице обсуждения . ( Узнайте, как и когда удалить эти сообщения-шаблоны ) ( Узнайте, как и когда удалить этот шаблон сообщения )
|
В области взаимодействия человека с компьютером , Волшебник страны Оз эксперимента является исследование эксперимент , в котором субъекты взаимодействуют с компьютерной системой , что испытуемые считают , чтобы быть автономным, но который фактически работает или частично управляется невидимой человека . [1]
Концепция [ править ]
Фраза Wizard of Oz (первоначально OZ Paradigm ) получила широкое распространение в областях экспериментальной психологии , человеческого фактора, эргономики , лингвистики и юзабилити-инженерии для описания методологии тестирования или итеративного проектирования, в которой экспериментатор («волшебник»), в лабораторных условиях имитирует поведение теоретического интеллектуального компьютерного приложения (часто переходя в другую комнату и перехватывая все коммуникации между участником и системой). Иногда это делается с предварительным знанием участника, а иногда это обман низкого уровня, используемый для управления ожиданиями участника и поощрения естественного поведения.
Например, участник теста может думать, что он или она общается с компьютером, используя речевой интерфейс, когда слова участника фактически тайно вводятся в компьютер человеком в другой комнате («волшебник») и обрабатываются как текст. поток, а не как аудиопоток. Отсутствующие системные функции, которые предоставляет мастер, могут быть реализованы в более поздних версиях системы (или могут быть даже предположительными возможностями, которых нет в современных системах), но их точные детали обычно считаются не имеющими отношения к исследованию. В ситуациях тестирования цель таких экспериментов может заключаться в наблюдении за использованием и эффективностью предлагаемого пользовательского интерфейса участниками тестирования, а не в измерении качества всей системы.
Происхождение [ править ]
Джон Ф. («Джефф») Келли придумал для этой цели фразы «Волшебник страны Оз» и «Парадигма страны Оз» примерно в 1980 году, чтобы описать метод, который он разработал во время своей диссертационной работы в Университете Джона Хопкинса . (Его научным руководителем был покойный профессор Альфонс Чапанис , «Крестный отец человеческого фактора и инженерной психологии».) Как ни странно, в дополнение к некоторым односторонним зеркалам и тому подобному, Джеффа буквально отделяла плотная завеса, как «Волшебник» », С точки зрения участника во время исследования.
Техника «экспериментатора в петле» была впервые применена в исследовательской лаборатории связи Чапаниса в Университете Джона Хопкинса еще в 1975 году (Дж. Ф. Келли прибыл сюда в 1978 году). В. Рэндольф Форд использовал технику «экспериментатора в цикле» в своей новаторской программе CHECKBOOK, в которой он получал языковые образцы в естественной обстановке. В методе Форда предварительная версия системы обработки естественного языка будет помещена перед пользователем. Когда пользователь вводил синтаксис, который не был распознан, он получал сообщение «Не могли бы вы перефразировать это?» подсказка из программного обеспечения. После сеанса будут созданы или усовершенствованы алгоритмы обработки вновь полученных образцов, и будет проведен другой сеанс. Такой подход привел к возможному развитию его техники обработки естественного языка ". но этот метод использовался по крайней мере в двух отдельных исследованиях до того, как доктор Келли начал проводить исследования в телекоммуникационной лаборатории Джонса Хопкинса. Аналогичное раннее использование этой техники для моделирования системы понимания естественного языка, разрабатываемой в исследовательском центре Xerox в Пало-Альто, было сделано Алленом Манро и Доном Норманом примерно в 1975 году в Калифорнийском университете в Сан-Диего. Опять же, название «Волшебник страны Оз» еще не применялось к этой технике. Результаты были опубликованы в 1977 году в статье группы (Боброу и др.). но этот метод использовался по крайней мере в двух отдельных исследованиях до того, как доктор Келли начал проводить исследования в телекоммуникационной лаборатории Джонса Хопкинса. Аналогичное раннее использование этой техники для моделирования системы понимания естественного языка, разрабатываемой в исследовательском центре Xerox в Пало-Альто, было сделано Алленом Манро и Доном Норманом примерно в 1975 году в Калифорнийском университете в Сан-Диего. Опять же, название «Волшебник страны Оз» еще не применялось к этой технике. Результаты были опубликованы в 1977 году в статье группы (Боброу и др.). Аналогичное раннее использование этой техники для моделирования системы понимания естественного языка, разрабатываемой в Исследовательском центре Xerox в Пало-Альто, было сделано Алленом Манро и Доном Норманом примерно в 1975 году в Калифорнийском университете в Сан-Диего. Опять же, название «Волшебник страны Оз» еще не применялось к этой технике. Результаты были опубликованы в 1977 году в статье группы (Боброу и др.). Аналогичное раннее использование этой техники для моделирования системы понимания естественного языка, разрабатываемой в исследовательском центре Xerox в Пало-Альто, было сделано Алленом Манро и Доном Норманом примерно в 1975 году в Калифорнийском университете в Сан-Диего. Опять же, название «Волшебник страны Оз» еще не применялось к этой технике. Результаты были опубликованы в 1977 году в статье группы (Боброу и др.).
В этом занятии экспериментатор («Волшебник») сидел за терминалом в соседней комнате, отделенной односторонним зеркалом, чтобы можно было наблюдать за субъектом. Каждый ввод от пользователя обрабатывался правильно с помощью комбинации обработки программного обеспечения и вмешательства экспериментатора в реальном времени. По мере того, как процесс повторялся в последующих сеансах, добавлялось все больше и больше программных компонентов, так что экспериментатору оставалось все меньше и меньше дел во время каждого сеанса, пока не была достигнута асимптота при росте словаря фраз / слов, и экспериментатор мог «пойти выпить чашку кофе». »Во время сеанса (который на данном этапе был перекрестной проверкой автономной работы окончательной системы).
И последнее: воспоминания доктора Келли о чеканке этого термина подтверждаются воспоминаниями покойного профессора Аль Чапаниса. В своем техническом отчете Мичиганского университета за 1985 год Грин и Вей-Хаас заявляют следующее: Первое появление имени «Волшебник из страны Оз» в печати было в диссертации Джеффа Келли (Kelley, 1983a, 1983b, 1984a). Считается, что это название было придумано в ответ на вопрос на семинаре для выпускников в Хопкинсе (Chapanis, 1984; Kelley, 1984b). «Что произойдет, если испытуемый увидит экспериментатора [за« занавеской »в соседней комнате, действующей как компьютер]?» Келли ответил: «Ну, это похоже на то, что случилось с Дороти в« Волшебнике страны Оз ». Так и название прижилось. (Цитируется с разрешения.)
В протоколе 1982 г., опубликованном Фордом и Смитом, также упоминается о запланированном использовании экспериментов «Волшебник из страны Оз» .
Один факт, представленный в диссертации Келли, об этимологии термина в этом контексте: у доктора Келли изначально было определение аббревиатуры «OZ» (помимо очевидных параллелей с книгой 1900 года «Удивительный волшебник страны Оз » Л. Фрэнка. Баум ). «Offline Zero» - это ссылка на тот факт, что экспериментатор («Мастер») интерпретировал вводимые пользователем данные в реальном времени во время фазы моделирования.
Подобные экспериментальные установки иногда использовались и раньше, но без названия «Волшебник страны Оз». Исследователь дизайна Найджел Кросс проводил исследования в 1960-х годах с «смоделированными» системами автоматизированного проектирования , где предполагаемый симулятор на самом деле был человеком-оператором, использующим текстовую и графическую связь через систему видеонаблюдения. Как он объяснил: «Все, что пользователь воспринимает в системе, - это консоль удаленного доступа, а остальное для него - черный ящик ... можно с таким же успехом заполнить черный ящик людьми, как и механизмами. Это обеспечивает сравнительно дешевый симулятор, обладающий замечательными преимуществами гибкости, памяти и интеллекта человека-оператора, который можно перепрограммировать для предоставления широкого спектра компьютерных ролей, просто изменив правила работы. Иногда ему не хватает скорости и точности реального компьютера. , но группа экспертов, работающих одновременно, может компенсировать в достаточной степени, чтобы обеспечить приемлемое моделирование ". [2] Позже Кросс назвал это своего рода обратным тестом Тьюринга . [3]
Значение [ править ]
Метод Wizard of OZ очень мощный. В своем первоначальном приложении доктор Келли смог создать простую систему распознавания естественного языка с вводом с клавиатуры, которая намного превосходила скорость распознавания любой из гораздо более сложных систем того времени.
Многие компьютерные ученые и лингвисты в то время считали, что для того, чтобы компьютер мог «понимать» естественный язык в достаточной степени, чтобы иметь возможность помогать в полезных задачах, программное обеспечение должно быть прикреплено к огромному «языку». словарь »с большим количеством категорий для каждого слова. Категории позволили бы очень сложному алгоритму синтаксического анализа распутать двусмысленность, присущую естественному языку. Обескураживающая задача создания такого словаря заставила многих поверить в то, что компьютеры просто никогда по-настоящему не «поймут» язык, пока они не смогут «вырасти» и «пережить жизнь» как люди, поскольку люди, кажется, применяют жизненный опыт для интерпретации языка.
Ключевым фактором для первого использования метода OZ было то, что система была разработана для работы в одном контексте (ведение календаря), что ограничивало сложность языка, с которой сталкивались пользователи, до такой степени, что простая модель языковой обработки была достаточной. для достижения целей приложения. Модель обработки представляла собой двухпроходный подход к сопоставлению ключевых слов и ключевых фраз, в значительной степени основанный на алгоритмах, используемых в знаменитой книге Вайценбаума « Элиза».программа. Побуждая участников генерировать языковые образцы в контексте решения реальной задачи (с использованием компьютера, который, как они считали, действительно понимал, что они печатали), разнообразие и сложность собранных лексических структур были значительно уменьшены, и можно было разработать простые алгоритмы сопоставления ключевых слов. для адресации собранного фактического языка.
Это первое использование OZ было в контексте итеративного подхода к проектированию . На ранних этапах разработки экспериментатор моделировал систему в целом , выполняя все запросы к базе данных и вручную составляя все ответы участникам. По мере развития процесса экспериментатор мог постепенно заменять вмешательство человека вновь созданным разработанным кодом (который на каждом этапе был разработан для точной обработки всех входных данных, созданных на предыдущих этапах). К концу процесса экспериментатор был в состоянии наблюдать сеансы в режиме «невмешательства» (и измерять скорость распознавания завершенной программы).
OZ был важен, потому что отвечал на очевидную критику:
- Кто может позволить себе использовать итеративный метод для создания отдельной системы естественного языка (словарей, синтаксиса) для каждого нового контекста? Разве вы не стали бы постоянно добавлять новые структуры и алгоритмы для обработки каждой новой партии входных данных?
Ответ оказался:
Используя эмпирический подход, такой как OZ, каждый может себе это позволить; Расширение словаря и синтаксиса доктора Келли достигло асимптоты (уровень распознавания от 86% до 97%, в зависимости от используемых измерений) всего после 16 экспериментальных испытаний, и полученная программа со словарями содержала менее 300 КБ кода.
В течение 23 лет, прошедших после первоначальной публикации, метод OZ использовался в самых разных условиях, в частности, при создании прототипов и тестировании на удобство использования предлагаемых дизайнов пользовательских интерфейсов до появления реального прикладного программного обеспечения.
Вымышленные ссылки [ править ]
Название эксперимента происходит из истории «Чудесный волшебник из страны Оз» , в которой обычный человек прячется за занавеской и с помощью «усиливающих» технологий притворяется могущественным волшебником .
В романе Дэвида Лоджа « Маленький мир» преподаватель английской литературы знакомится с компьютерной программой ELIZA, которая, по его мнению, способна вести с ним связную беседу. Выясняется, что компьютерный лектор управляет компьютером и дает все ответы. Оригинальный ЭЛИЗА программы, предоставляя простые , но часто на удивление человек, как ответы на вопросы, была написана в MIT по Вейценбаум в 1960 - е годы.
См. Также [ править ]
- Обратный тест Тьюринга
- Китайская комната - мысленный эксперимент с подобным помещением.
- Устройство Турок - Волшебник из страны Оз, использованное как фальшивая машина для игры в шахматы
Ссылки [ править ]
- ^ Белла, М. & Hanington, Б., 2012. Универсальные методы проектирования, Beverly, MA: Rockport Publishers. p204
- ↑ Найджел Кросс (1977). Автоматизированный архитектор . Пион Лимитед. п. 107. ISBN 0850860571.
- Перейти ↑ Cross, N (2001) «Может ли машина спроектировать?», « Проблемы дизайна» , Vol. 17, No 41, стр. 44-50.
Вот некоторые из оригинальных (и последующих) ссылок на эту тему (метод использовался во многих областях исследований, и есть многочисленные последующие ссылки, только некоторые из которых перечислены здесь).
Краткое изложение технических аспектов работы:
Келли, Дж. Ф., «CAL - программа на естественном языке, разработанная с использованием парадигмы OZ: последствия для суперкомпьютерных систем». Первая международная конференция по суперкомпьютерным системам (Санкт-Петербург, Флорида, 16–20 декабря 1985 г.), Нью-Йорк, ACM, стр. 238–248.
Краткое описание метода:
Келли, Дж. Ф., «Эмпирическая методология написания удобных для пользователя компьютерных приложений на естественном языке». Труды ACM SIG-CHI '83 Human Factors in Computing System (Бостон, 12–15 декабря 1983 г.), Нью-Йорк, ACM, стр. 193–196. [1]
Лучшее описание метода:
Келли, Дж. Ф., «Методология итеративного проектирования для удобных в использовании офисных информационных приложений на естественном языке». ACM Transactions по офисным информационным системам, март 1984 г., 2: 1, стр. 26–41. [2]
Сама неопубликованная диссертация:
Келли, Дж. Ф., «Естественный язык и компьютеры: шесть эмпирических шагов для написания простого в использовании компьютерного приложения». Неопубликованная докторская диссертация, Университет Джона Хопкинса, 1983 г. (Номер 8321592 можно получить в University Microfilms International; 300 North Zeeb Road; Ann Arbor; Michigan; 48106; США).
В Калифорнийском университете в Сан-Диего работают:
Боброу Д., Каплан Р., Кей М., Норман Д., Томпсон Х. и Виноград Т. (1977). GUS, диалоговая система, управляемая фреймами. Искусственный интеллект, 8: 2 (апрель 1977 г.) 155-173., 8 (2), 155–173.
Последующие ссылки и реализации (выборка цитирований за 30 лет):
Schieben, A., et al. 2009, «Техника театра-системы: гибкое проектирование и тестирование поведения и взаимодействия системы, применительно к высокоавтоматизированным транспортным средствам». В материалах 1-й Международной конференции по автомобильным пользовательским интерфейсам и интерактивным автомобильным приложениям (Эссен, Германия, 2009 г.). ACM Press, Нью-Йорк, США. [3]
Акерс, Д. 2006. Волшебник из страны Оз для совместного проектирования: изобретение жестового интерфейса для трехмерного выбора оценок нейронных путей. В расширенных рефератах по человеческому фактору в вычислительных системах CHI '06 (Монреаль, Квебек, Канада, 22–27 апреля 2006 г.). CHI '06. ACM Press, Нью-Йорк, США, 454-459. [4]
Höysniemi, J., Hämäläinen, P., and Turkki, L. 2004. Wizard of Oz прототипирование компьютерных игр для детей. В материалах конференции 2004 г. по интерактивному дизайну и детям: построение сообщества (Мэриленд, 1–03 июня 2004 г.). IDC '04. ACM Press, Нью-Йорк, США, 27-34. [5]
Молин, Л. 2004. Волшебник из страны Оз, прототипы для совместного проектирования взаимодействия графических пользовательских интерфейсов. В материалах третьей северной конференции по взаимодействию человека и компьютера (Тампере, Финляндия, 23–27 октября 2004 г.). НордиЧИ '04, т. 82. ACM Press, Нью-Йорк, США, 425-428. [6]
Лай, Дж. И Янкелович, Н. 2003. Разговорные речевые интерфейсы. В Руководстве по взаимодействию человека и компьютера: основы, развивающиеся технологии и новые приложения, JA Jacko and A. Sears, Eds. [ требуется разъяснение ] Человеческий фактор и эргономика. Лоуренс Эрлбаум Ассошиэйтс, Махва, Нью-Джерси, США, 698-713.
Глейхер, М.Л., Хек, Р.М. и Уоллик, Миннесота, 2002. Основа для виртуальной видеосъемки. В материалах 2-го международного симпозиума по интеллектуальной графике (Хоторн, Нью-Йорк, 11–13 июня 2002 г.). СМАРТГРАФ '02, т. 24. ACM Press, Нью-Йорк, США, 9–16. [7]
Klemmer, SR, Sinha, AK, Chen, J., Landay, JA, Aboobaker, N., и Wang, A. 2000. Suede: Wizard of Oz, инструмент для создания прототипов речевых пользовательских интерфейсов. В материалах 13-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса (Сан-Диего, Калифорния, США, 6–08 ноября 2000 г.). УИСТ '00. ACM Press, Нью-Йорк, США, 1-10. [8]
Хьюетт, Томас Т. (и др.), «Учебные планы для взаимодействия человека и компьютера», ACM SIGCHI, 1992, 1996, Глава 2. [9]
Пьерно, П.П., Фелчиано, Р.М., Стансел, Р., Марш, Дж., И Ивон, М., 1995. Проектирование PenPal: сочетание аппаратного и программного обеспечения в пользовательском интерфейсе для детей. В материалах конференции SIGCHI по человеческому фактору в вычислительных системах (Денвер, Колорадо, США, 7–11 мая 1995 г.). И. Р. Кац, Р. Мак, Л. Маркс, М. Б. Россон и Дж. Нильсен, ред. [ требуется разъяснение ] Конференция по человеческому фактору в вычислительных системах. ACM Press / Addison-Wesley Publishing Co., Нью-Йорк, США, 511–518. [10]
Прагер, Дж. М., Ламберти, Д. М., Гарднер, Д. Л. и Бальзак, С. Р. 1990. ПРИЧИНА: интеллектуальный помощник пользователя для интерактивных сред. IBM Syst. J. 29, 1 (январь 1990 г.), 141–164.
Dahlbäck, N. и Jönsson, A. 1989. Эмпирические исследования представлений дискурса для интерфейсов естественного языка. В материалах Четвертой конференции Европейского отделения Ассоциации компьютерной лингвистики (Манчестер, Англия, 10–12 апреля 1989 г.). Встреча европейского отделения ACL. Ассоциация компьютерной лингвистики, Морристаун, Нью-Джерси, США, 291–298. [11]
Кэрролл, Дж., И Ааронсон, А. 1988. Обучение на практике с смоделированной интеллектуальной помощью. Commun. ACM 31, 9 (август 1988 г.), 1064–1079. [12]
Гулд, Дж. Д. и Льюис, С. 1985. Дизайн для удобства использования: ключевые принципы и то, что думают дизайнеры. Commun. ACM 28, 3 (март 1985 г.), 300–311. [13]
Грин, П., и Вей-Хаас, Л. 1985. Быстрое развитие пользовательских интерфейсов: опыт работы с мастером метода OZ. In Proceedings of the Human Factors and Ergonomics Annual Meeting, volume 29, number 5, 1985, pp. 470 - 474 (5). [14]
Embley, DW, и Kimbrell, RE 1985. Управляемый схемой переводчик запросов на естественный язык. В материалах тринадцатой ежегодной конференции ACM по информатике 1985 г. (Новый Орлеан, Луизиана, США). CSC '85. ACM Press, Нью-Йорк, США, 292–297. [15]
Good, MD, Whiteside, JA, Wixon, DR, и Jones, SJ 1984. Создание пользовательского интерфейса. Commun. ACM 27, 10 (октябрь 1984 г.), 1032–1043. [16]
Здесь несколько десятков ссылок.
