Из Википедии, свободной энциклопедии
  (Перенаправлено из системы ответов )
Перейти к навигации Перейти к поиску
Чтобы узнать о других значениях, см. Вопрос и ответ .

Ответы на вопросы ( QA ) - это дисциплина информатики в области поиска информации и обработки естественного языка (NLP), которая занимается построением систем, которые автоматически отвечают на вопросы, задаваемые людьми на естественном языке . [1]

Обзор [ править ]

Реализация с ответами на вопросы, обычно компьютерная программа, может строить свои ответы, запрашивая структурированную базу данных знаний или информации, обычно базу знаний . Чаще всего системы ответов на вопросы могут получать ответы из неструктурированной коллекции документов на естественном языке.

Некоторые примеры коллекций документов на естественном языке, используемых для систем ответов на вопросы, включают:

  • местная коллекция справочных текстов
  • внутренние документы организации и веб-страницы
  • составленные новостные репортажи
  • набор страниц Википедии
  • подмножество страниц World Wide Web

В исследовании с ответами на вопросы предпринимается попытка решить широкий спектр типов вопросов, включая: факт, список, определение , как , почему , гипотетические, семантически ограниченные и кросс-языковые вопросы.

  • Ответы на вопросы в закрытой области касаются вопросов в определенной области (например, медицина или техническое обслуживание автомобилей) и могут использовать предметно-ориентированные знания, часто формализованные в онтологиях . В качестве альтернативы, закрытая область может относиться к ситуации, когда принимается только ограниченный тип вопросов, таких как вопросы, требующие описательной, а не процедурной информации. Системы ответов на вопросы в контексте приложений машинного чтения также были созданы в медицинской области, например, связанной с болезнью Альцгеймера. [2]
  • Ответы на вопросы в открытой области касаются вопросов практически обо всем и могут полагаться только на общие онтологии и мировые знания. С другой стороны, в этих системах обычно имеется гораздо больше данных, из которых можно извлечь ответ.

Мультимодальный ответ на вопросы использует несколько способов ввода пользователем для ответа на вопросы, такие как текст и изображения. [3]

История [ править ]

Двумя ранними системами ответов на вопросы были БЕЙСБОЛ [4] и ЛУНАР. [5]БЕЙСБОЛ ответил на вопросы о бейсбольной лиге США в течение одного года. LUNAR, в свою очередь, ответил на вопросы о геологическом анализе горных пород, возвращенных лунными миссиями Apollo. Обе системы ответов на вопросы оказались очень эффективными в выбранных ими областях. Фактически, LUNAR был продемонстрирован на съезде лунных ученых в 1971 году, и он смог ответить на 90% вопросов в своей области, заданных людьми, не обученными работе с системой. В последующие годы были разработаны и другие системы ответов на вопросы с ограниченным доступом. Общей чертой всех этих систем является то, что у них была основная база данных или система знаний, написанная вручную экспертами в выбранной области. Языковые способности BASEBALL и LUNAR использовали техники, аналогичные ELIZA и DOCTOR , первыепрограммы- чаттерботы .

SHRDLU была очень успешной программой ответов на вопросы, разработанной Терри Виноградом в конце 1960-х - начале 1970-х годов. Он моделировал работу робота в игрушечном мире («мир блоков») и давал возможность задавать роботу вопросы о состоянии мира. Опять же, сильной стороной этой системы был выбор очень специфической области и очень простого мира с правилами физики, которые было легко закодировать в компьютерной программе.

В 1970-х годах были разработаны базы знаний , ориентированные на более узкие области знаний. Системы ответов на вопросы, разработанные для взаимодействия с этими экспертными системами, давали более повторяемые и достоверные ответы на вопросы в определенной области знаний. Эти экспертные системы очень напоминали современные системы ответов на вопросы, за исключением их внутренней архитектуры. Экспертные системы в значительной степени полагаются на созданные экспертами и организованные базы знаний , тогда как многие современные системы ответов на вопросы полагаются на статистическую обработку большого неструктурированного корпуса текстов на естественном языке.

В 1970-х и 1980-х годах в компьютерной лингвистике были разработаны всеобъемлющие теории , которые привели к развитию амбициозных проектов в области понимания текста и ответов на вопросы. Одним из примеров такой системы был Unix Consultant (UC), разработанный Робертом Виленски в Калифорнийском университете в Беркли в конце 1980-х годов. Система ответила на вопросы, относящиеся к операционной системе Unix . У него была обширная вручную созданная база знаний в своей области, и он был нацелен на формулировку ответа для различных типов пользователей. Другим проектом был LILOG, программа для понимания текста.система, которая работала в области туристической информации в немецком городе. Системы, разработанные в проектах UC и LILOG, так и не прошли стадию простых демонстраций, но они помогли развитию теорий компьютерной лингвистики и рассуждений.

Были разработаны специализированные системы ответов на вопросы на естественном языке, такие как EAGLi для ученых, занимающихся вопросами здоровья и жизни.

Архитектура [ править ]

Начиная с 2001 года, системы ответов на вопросы обычно включали модуль классификатора вопросов, который определяет тип вопроса и тип ответа. [6]

Методы ответа на вопрос [ править ]

Ответ на вопрос очень зависит от хорошего корпуса поиска - без документов, содержащих ответ, система ответов на вопросы мало что может сделать. Таким образом, имеет смысл, что большие размеры коллекции обычно хорошо подходят для повышения производительности ответов на вопросы, если только область вопроса не ортогональна коллекции. Понятие избыточности данных в огромных коллекциях, таких как Интернет, означает, что отдельные фрагменты информации, вероятно, будут сформулированы по-разному в разных контекстах и ​​документах [7], что дает два преимущества:

  1. Благодаря тому, что нужная информация появляется во многих формах, уменьшается нагрузка на систему ответов на вопросы по выполнению сложных техник НЛП для понимания текста.
  2. Правильные ответы можно отфильтровать от ложных срабатываний , полагаясь на то, что правильный ответ будет появляться в документах больше раз, чем неправильных.

Некоторые системы ответов на вопросы в значительной степени полагаются на автоматизированное рассуждение . [8] [9]

Ответить на вопрос открытого домена [ править ]

При поиске информации система ответов на вопросы открытого домена направлена ​​на получение ответа в ответ на вопрос пользователя. Возвращенный ответ представлен в виде коротких текстов, а не списка соответствующих документов. [10] Система использует комбинацию методов компьютерной лингвистики , поиска информации и представления знаний для поиска ответов.

В качестве входных данных система принимает вопрос на естественном языке, а не набор ключевых слов, например, «Когда сейчас национальный день Китая?» Затем предложение преобразуется в запрос через его логическую форму . Наличие ввода в форме вопроса на естественном языке делает систему более удобной для пользователя, но более сложной для реализации, поскольку существуют различные типы вопросов, и системе необходимо будет определить правильный, чтобы дать разумный ответ. Назначение типа вопроса для вопроса является важной задачей, весь процесс извлечения ответов основан на поиске правильного типа вопроса и, следовательно, правильного типа ответа.

Извлечение ключевого слова - это первый шаг для определения типа входного вопроса. [11] В некоторых случаях есть четкие слова, которые напрямую указывают тип вопроса, например, «Кто», «Где» или «Сколько», эти слова говорят системе, что ответы должны быть типа «Человек», » Location »или« Number »соответственно. В приведенном выше примере слово «Когда» указывает, что ответ должен быть типа «Дата». POS-теги (часть речи)и методы синтаксического анализа также могут использоваться для определения типа ответа. В этом случае тема - «Китайский национальный день», предикат - «есть», а наречный модификатор - «когда», поэтому тип ответа - «Дата». К сожалению, некоторые вопросительные слова, такие как «Что», «Что» или «Как» не дают четких типов ответа. Каждое из этих слов может представлять более одного типа. В подобных ситуациях следует учитывать другие слова в вопросе. Первое, что нужно сделать, это найти слова, которые могут обозначить смысл вопроса. Затем для понимания контекста можно использовать лексический словарь, такой как WordNet .

После определения типа вопроса система поиска информации используется для поиска набора документов, содержащих правильные ключевые слова. Таггер и NP / Глагол Группа Chunker может быть использован для проверки правильные структуры и отношения упоминаются в найденных документах. Для таких вопросов, как «Кто» или «Где», распознаватель именованных сущностей используется для поиска соответствующих имен «Лицо» и «Местоположение» в извлеченных документах. Для ранжирования выбираются только соответствующие абзацы.

Модель векторного пространства может использоваться в качестве стратегии для классификации возможных ответов. Проверьте, является ли ответ правильным, как определено на этапе анализа типа вопроса. Для проверки возможных ответов можно также использовать метод вывода. Затем каждому из этих кандидатов выставляется оценка в зависимости от количества содержащихся в нем вопросительных слов и того, насколько близки эти слова к кандидату, чем больше и чем ближе, тем лучше. Затем ответ переводится в компактное и содержательное представление путем синтаксического анализа. В предыдущем примере ожидаемый выходной ответ - «1 октября».

Математические ответы на вопросы [ править ]

В 2018 году была опубликована система ответов на вопросы с открытым исходным кодом, основанная на Ask Platypus и Викиданных. [12] Система принимает вопрос на естественном языке на английском или хинди в качестве входных данных и возвращает математическую формулу, полученную из Викиданных, в качестве краткого ответа. Результирующая формула переводится в вычислимую форму, позволяя пользователю вставлять значения для переменных. Имена и значения переменных и общих констант извлекаются из Викиданных, если они доступны. Утверждается, что система превосходит коммерческий вычислительный математический механизм знаний на тестовом наборе.

Прогресс [ править ]

Системы ответов на вопросы были расширены в последние годы, чтобы охватить дополнительные области знаний [13]. Например, были разработаны системы для автоматического ответа на временные и геопространственные вопросы, вопросы определения и терминологии, биографические вопросы, многоязычные вопросы и вопросы о содержании. аудио, изображений, [14] и видео. [15] Текущие темы исследований с ответами на вопросы включают:

  • интерактивность - уточнение вопросов или ответы [16]
  • повторное использование ответа или кеширование [ необходима ссылка ]
  • семантический парсинг [17]
  • презентация ответов [18]
  • представление знаний и рассуждения
  • анализ социальных сетей с помощью системы ответов на вопросы
  • анализ настроений [19]
  • использование тематических ролей [20]
  • семантическое разрешение: преодоление разрыва между синтаксически разными вопросами и текстами, несущими ответы [21]
  • использование лингвистических ресурсов [22], таких как WordNet , FrameNet и т.п.
  • Подписи к изображениям для визуального ответа на вопрос [14]

В 2011 году компьютерная система ответов на вопросы Watson , разработанная IBM , участвовала в двух показательных матчах Jeopardy! против Брэда Раттера и Кена Дженнингса , выиграв со значительным отрывом. [23] Facebook Research сделала свою систему DrQA [24] доступной по лицензии с открытым исходным кодом . Эта система использовалась для ответов на вопросы открытой предметной области с использованием Википедии в качестве источника знаний. [25]

Ссылки [ править ]

  1. ^ Филипп Чимиано; Кристина Унгер; Джон МакКрэй (1 марта 2014 г.). Интерпретация естественного языка на основе онтологий . Издатели Morgan & Claypool. ISBN 978-1-60845-990-2.
  2. ^ Roser Morante, Мартин Krallinger, Альфонсо Валенсии и Уолтер Даелманс. Машинное чтение биомедицинских текстов о болезни Альцгеймера . CLEF 2012 Оценочные лаборатории и семинар. 17 сентября 2012 г.
  3. ^ Mittal et al. (2011). « Универсальные системы ответов на вопросы: видение в синтезе », Международный журнал интеллектуальных информационных систем баз данных, 5 (2), 119-142.
  4. ^ ЗЕЛЕНЫЙ МЛАДШИЙ, Берт Ф; и другие. (1961). «Бейсбол: автоматический ответчик на вопросы» (PDF) . Совместная западная компьютерная конференция IRE-AIEE-ACM : 219–224.
  5. ^ Вудс, Уильям А; Каплан Р. (1977). «Лунные скалы на естественном английском: Исследования на естественном языке с ответами на вопросы». Обработка языковых структур 5 . 5 : 521–569.
  6. ^ Гиршмана, L. & Gaizauskas, R. (2001) Natural Language Вопрос Ответ на . Вид отсюда . Инженерия естественного языка (2001), 7: 4: 275-300 Cambridge University Press.
  7. Перейти ↑ Lin, J. (2002). Интернет как ресурс для ответов на вопросы: перспективы и проблемы . В материалах Третьей международной конференции по языковым ресурсам и оценке (LREC 2002).
  8. ^ Молдован, Дан и др. « Cogex: средство доказательства логики для ответов на вопросы ». Материалы конференции 2003 г. Североамериканского отделения Ассоциации компьютерной лингвистики по технологиям человеческого языка - Том 1. Ассоциация компьютерной лингвистики, 2003 г.
  9. ^ Фурбах Ulrich, Инго Glöckner и Бьорн Pelzer. « Приложение автоматизированного рассуждения в ответах на вопросы на естественном языке ». Ai Communications 23.2-3 (2010): 241-265.
  10. ^ Солнце, гаитянский; Дхингра, Бхуван; Захир, Манзил; Мазайтис, Кэтрин; Салахутдинов Руслан; Коэн, Уильям (2018). «Ответ на вопросы открытой области с использованием раннего слияния баз знаний и текста» . Ассоциация компьютерной лингвистики . Брюссель, Бельгия: 4231–4242. arXiv : 1809.00782 .
  11. ^ Harabagiu, Санда; Хикл, Эндрю (2006). «Методы использования текстового вывода в ответах на вопросы в открытой области» . Ассоциация компьютерной лингвистики . Труды 21-й Международной конференции по компьютерной лингвистике и 44-го ежегодного собрания Ассоциации компьютерной лингвистики: 905–912. DOI : 10.3115 / 1220175.1220289 .
  12. ^ Мориц Шуботц; Филипп Шарпф; и другие. (12 сентября 2018 г.). «Представляем MathQA: математическую систему ответов на вопросы» . Обнаружение и доставка информации . Изумруд Паблишинг Лимитед. 46 (4): 214–224. DOI : 10,1108 / IDD-06-2018-0022 .
  13. ^ Паска, Marius (2005). »Обзор книги« Новые направления в вопросе, отвечающем на вопросы »Марк Т. Мэйбери (редактор) (Корпорация MITER) Менло-Парк, Калифорния: AAAI Press и Кембридж, Массачусетс, Массачусетс, США: MIT Press, 2004, xi + 336 стр. -3, 40,00 долларов США, 25,95 фунтов стерлингов ". Компьютерная лингвистика . 31 (3): 413–417. DOI : 10.1162 / 089120105774321055 . S2CID 12705839 . 
  14. ^ а б Андерсон, Питер и др. « Снизу вверх и сверху вниз внимание для подписей к изображениям и визуальных ответов на вопросы ». Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2018.
  15. ^ Чжу, Линчао и др. « Раскрытие временного контекста для видеоответов ». Международный журнал компьютерного зрения 124.3 (2017): 409-421.
  16. ^ Quarteroni, Silvia и Суреш Manandhar. « Разработка интерактивной системы ответов на вопросы с открытым доменом ». Инженерия естественного языка 15.1 (2009): 73-95.
  17. ^ Yih, Вэнь-тау, Сяодун Он и Кристофер Кроткий. « Семантический синтаксический анализ для ответа на вопрос с одним отношением ». Материалы 52-го ежегодного собрания Ассоциации компьютерной лингвистики (Том 2: Краткие статьи). 2014 г.
  18. ^ Перера, Р., Нанд, П. и Наим, А. 2017. Использование типизированных шаблонов поддерева зависимостей для генерации предложений ответа в вопросно-ответных системах.
  19. ^ "BitCrawl от Hobson Lane" . Архивировано 27 октября 2012 года . Проверено 29 мая 2012 .CS1 maint: bot: исходный статус URL неизвестен ( ссылка )
  20. ↑ Perera, R. и Perera, U. 2012. К модели идентификации цели на основе тематических ролей для ответов на вопросы.
  21. ^ Бахадорреза Офоги; Джон Йервуд и Липинг Ма (2008). Влияние идентификации семантического класса и разметки семантических ролей на извлечение ответов на естественном языке . 30-я Европейская конференция по поиску информации (ECIR'08). Springer Berlin Heidelberg. С. 430–437. DOI : 10.1007 / 978-3-540-78646-7_40 .
  22. ^ Бахадорреза Офоги; Джон Йервуд и Липинг Ма (2009). «Влияние уровней семантической аннотации фреймов, методов выравнивания фреймов и методов слияния на обработку фактоидных ответов». Журнал Американского общества информационных наук и технологий . 60 (2): 247–263. DOI : 10.1002 / asi.20989 .
  23. ^ Markoff, Джон (2011-02-16). "На" Jeopardy! " Watson Win почти ничего не значит " . Нью-Йорк Таймс .
  24. ^ "DrQA" .
  25. ^ Чен, Даньци; Фиш, Адам; Уэстон, Джейсон; Бордес, Антуан (2017). «Чтение Википедии для ответа на вопросы открытого домена». arXiv : 1704.00051 [ cs.CL ].

Дальнейшее чтение [ править ]

  • Драгомир Р. Радев, Джон Прагер и Валери Самн. Ранжирование предполагаемых ответов на вопросы на естественном языке с помощью прогнозирующей аннотации . В материалах 6-й конференции по прикладной обработке естественного языка, Сиэтл, Вашингтон, май 2000 г.
  • Джон Прагер, Эрик Браун, Анни Коден и Драгомир Радев. Ответы на вопросы с помощью предиктивной аннотации . In Proceedings, 23-я ежегодная международная конференция ACM SIGIR по исследованиям и разработкам в области информационного поиска, Афины, Греция, июль 2000 г.
  • Хатчинс, У. Джон ; Гарольд Л. Сомерс (1992). Введение в машинный перевод . Лондон: Academic Press. ISBN 978-0-12-362830-5.
  • Л. Фортноу, Стив Гомер (2002/2003). Краткая история вычислительной сложности . В Д. ван Дален, Дж. Доусон и А. Канамори, редакторы, История математической логики . Северная Голландия, Амстердам.

Внешние ссылки [ править ]

  • Вопросно-ответная оценка в NTCIR
  • Вопросно-ответная оценка в TREC
  • Оценка ответов на вопросы в CLEF
  • Ответы на вопросы викторины
  • Система ответов на вопросы онлайн