Природно-понимание языка ( НЛ ) или интерпретации естественного языка ( НИТ ) [1] является подтемой обработки естественного языка в области искусственного интеллекта , который имеет дело с машиной понимания прочитанным . Понимание естественного языка считается сложной задачей для искусственного интеллекта . [2]
Существует значительный коммерческий интерес к этой области из-за ее применения для автоматизированного рассуждения , [3] машинного перевода , [4] ответов на вопросы , [5] сбора новостей, категоризации текста , голосовой активации , архивирования и крупномасштабного анализа контента .
История
Программа STUDENT , написанная в 1964 году Дэниелом Боброу для его докторской диссертации в Массачусетском технологическом институте , является одной из самых ранних известных попыток понимания естественного языка компьютером. [6] [7] [8] [9] [10] Через восемь лет после того, как Джон Маккарти ввел термин « искусственный интеллект» , диссертация Боброу (озаглавленная « Ввод естественного языка для компьютерной системы решения проблем» ) показала, как компьютер может понимать простой ввод естественного языка. решать задачи алгебры слова.
Год спустя, в 1965 году, Йозеф Вайценбаум из Массачусетского технологического института написал ELIZA , интерактивную программу, в которой велся диалог на английском по любой теме, самой популярной из которых была психотерапия. ELIZA работала путем простого синтаксического анализа и замены ключевых слов на стандартные фразы, а Вайценбаум обошел проблему предоставления программе базы данных реальных знаний или богатой лексики . Тем не менее, ELIZA приобрела удивительную популярность как игрушечный проект и может рассматриваться как очень ранний предшественник современных коммерческих систем, таких как те, которые используются на Ask.com . [11]
В 1969 году Роджер Шанк из Стэнфордского университета представил концептуальную теорию зависимости для понимания естественного языка. [12] Эта модель, на которую частично повлияли работы Сиднея Лэмба , широко использовалась студентами Шанка в Йельском университете , такими как Роберт Виленски , Венди Ленерт и Джанет Колоднер .
В 1970 году Уильям А. Вудс представил расширенную сеть переходов (ATN) для представления ввода на естественном языке. [13] Вместо правил структуры фраз в ATN использовался эквивалентный набор конечных автоматов , которые вызывались рекурсивно. ATN и их более общий формат, называемый «обобщенные ATN», продолжали использоваться в течение ряда лет.
В 1971 году Терри Виноград закончил писать SHRDLU для своей кандидатской диссертации в Массачусетском технологическом институте. SHRDLU мог понимать простые английские предложения в ограниченном мире детских кубиков, чтобы управлять роботизированной рукой для перемещения предметов. Успешная демонстрация SHRDLU дала значительный импульс для продолжения исследований в этой области. [14] [15] Виноград продолжал оказывать большое влияние в этой области, опубликовав свою книгу « Язык как познавательный процесс» . [16] В Стэнфорде Виноград позже консультировал Ларри Пейджа , соучредителя Google .
В 1970-х и 1980-х годах группа обработки естественного языка в SRI International продолжала исследования и разработки в этой области. На основе исследования был предпринят ряд коммерческих усилий, например , в 1982 году Гэри Хендрикс основал Symantec Corporation, первоначально как компанию для разработки интерфейса на естественном языке для запросов к базам данных на персональных компьютерах. Однако с появлением графических пользовательских интерфейсов , управляемых мышью , Symantec изменила направление. Примерно в то же время были начаты и другие коммерческие проекты, например , Ларри Р. Харрис из Корпорации искусственного интеллекта и Роджер Шэнк и его ученики из Cognitive Systems Corp. [17] [18] В 1983 году Майкл Дайер разработал систему BORIS. в Йельском университете, что имело сходство с работами Роджера Шенка и У. Г. Ленерта. [19]
В третьем тысячелетии появились системы, использующие машинное обучение для классификации текста, такие как IBM Watson . Однако эксперты спорят, насколько «понимание» демонстрируют такие системы: например , по словам Джона Сирла , Ватсон даже не понимал вопросов. [20]
Джон Болл, ученый-когнитивист и изобретатель теории Патома , поддерживает эту оценку. Обработка естественного языка широко использовалась в приложениях для поддержки продуктивности людей в сфере обслуживания и электронной коммерции, но это стало возможным в значительной степени за счет сужения области применения приложения. Есть тысячи способов запросить что-то на человеческом языке, что по-прежнему не поддается обработке обычным языком. «Вести содержательный разговор с машинами возможно только тогда, когда мы сопоставляем каждое слово с правильным значением на основе значений других слов в предложении - точно так же, как трехлетний ребенок без догадок».
Объем и контекст
Общий термин «понимание естественного языка» может применяться к разнообразному набору компьютерных приложений, начиная от небольших, относительно простых задач, таких как короткие команды, отданные роботам , до очень сложных задач, таких как полное понимание газетных статей или отрывков стихов. . Многие реальные приложения попадают между двумя крайностями, например, классификация текста для автоматического анализа электронных писем и их маршрутизация в подходящий отдел корпорации не требует глубокого понимания текста [21], но требует решения с гораздо большим словарным запасом и более разнообразным синтаксисом, чем управление простыми запросами к таблицам базы данных с фиксированными схемами.
На протяжении многих лет предпринимались попытки обработки естественного языка или англоязычных предложений, представленных в компьютерах, с разной степенью сложности. Некоторые попытки не привели к созданию систем с глубоким пониманием, но повысили удобство использования системы в целом. Например, Уэйн Рэтлифф изначально разработал программу Vulcan с англоязычным синтаксисом, чтобы имитировать англоязычный компьютер в Star Trek . Позднее Vulcan стал системой dBase , простой в использовании синтаксис которой положил начало индустрии баз данных для персональных компьютеров. [22] [23] Системы с простым в использовании синтаксисом, похожим на английский , тем не менее, сильно отличаются от систем, которые используют богатый лексикон и включают внутреннее представление (часто как логику первого порядка ) семантики предложений естественного языка.
Следовательно, широта и глубина «понимания», к которому стремится система, определяют как сложность системы (и предполагаемые проблемы), так и типы приложений, с которыми она может иметь дело. «Широта» системы измеряется размерами ее словарного запаса и грамматики. «Глубина» измеряется степенью, в которой его понимание приближается к уровню свободного носителя языка. По сути, англоязычные интерпретаторы команд требуют минимальной сложности, но имеют небольшой диапазон приложений. Узкие, но глубокие системы исследуют и моделируют механизмы понимания [24], но все еще имеют ограниченное применение. Системы, которые пытаются понять содержание документа, такого как выпуск новостей, помимо простого сопоставления ключевых слов, и оценить его пригодность для пользователя, более широкие и требуют значительной сложности [25], но они все же несколько поверхностны. Системы, которые одновременно являются очень широкими и очень глубокими, выходят за рамки современного уровня техники.
Компоненты и архитектура
Независимо от используемого подхода, большинство систем, понимающих естественный язык, имеют некоторые общие компоненты. Системе нужен лексикон языка, а также синтаксический анализатор и грамматические правила, чтобы разбивать предложения на внутреннее представление. Построение богатого лексикона с подходящей онтологией требует значительных усилий, например , лексикон Wordnet требует много человеко-лет усилий. [26]
Система также требует теории от семантики, чтобы направлять понимание. Возможности интерпретации системы понимания языка зависят от семантической теории, которую она использует. Конкурирующие семантические теории языка имеют определенные компромиссы в их пригодности в качестве основы автоматизированной семантической интерпретации. [27] Они варьируются от наивной семантики или стохастического семантического анализа до использования прагматики для извлечения значения из контекста. [28] [29] [30] Семантические анализаторы преобразуют тексты на естественном языке в формальные представления значений. [31]
Продвинутые приложения понимания естественного языка также пытаются включить логический вывод в свои рамки. Обычно это достигается отображением производного значения в набор утверждений в логике предикатов с последующим использованием логической дедукции для получения выводов. Следовательно, системы, основанные на функциональных языках, таких как Lisp, должны включать подсистему для представления логических утверждений, в то время как системы, ориентированные на логику, такие как системы, использующие язык Prolog, обычно полагаются на расширение встроенной структуры логического представления. [32] [33]
Управление контекстом при понимании естественного языка может представлять особые проблемы. Большое количество примеров и контрпримеров привело к множеству подходов к формальному моделированию контекста, каждый из которых имеет свои сильные и слабые стороны. [34] [35]
Смотрите также
- Вычислительная семантика
- Компьютерная лингвистика
- Теория репрезентации дискурса
- Глубокая лингвистическая обработка
- История обработки естественного языка
- Извлечение информации
- Mathematica [36] [37] [38]
- Программирование на естественном языке
- Пользовательский интерфейс на естественном языке
- Siri (программное обеспечение)
- вольфрам Альфа
- Открытое извлечение информации
- Пометка части речи
- Распознавание речи
Заметки
- ^ Semaan, P. (2012). Генерация естественного языка: обзор . Журнал компьютерных наук и исследований (JCSCR) -ISSN, 50-57
- ^ Роман В. Ямпольский. Тест Тьюринга как определяющий признак AI-полноты. В области искусственного интеллекта, эволюционных вычислений и метаэвристики (AIECM) - по стопам Алана Тьюринга. Синь-Шэ Ян (Ред.). С. 3-17. (Глава 1). Спрингер, Лондон. 2013. http://cecs.louisville.edu/ry/TuringTestasaDefiningFeature04270003.pdf
- ^ Ван Harmelen, Фрэнк, Владимир Лифшиц, и Брюс Портер, ред. Справочник по представлению знаний . Vol. 1. Elsevier, 2008.
- ^ Macherey, Клаус Франц Йозеф Оч и Герман Ней. « Понимание естественного языка с помощью статистического машинного перевода ». Седьмая Европейская конференция по речевой коммуникации и технологиям. 2001 г.
- ^ Hirschman, Линетт и Роберт Gaizauskas. « Ответ на вопрос на естественном языке: взгляд отсюда ». инженерия естественного языка 7.4 (2001): 275-300.
- ^ Американская ассоциация искусственного интеллекта Краткая история ИИ [1]
- ^ Даниэль Боброу докторская диссертация Ввод естественного языка для компьютерной системы решения проблем .
- ^ Машины, которые думают , Памела МакКордак, 2004 ISBN 1-56881-205-1, страница 286.
- ^ Рассел, Стюарт Дж .; Норвиг, Питер (2003), Искусственный интеллект: современный подход, Прентис Холл, ISBN 0-13-790395-2 , http://aima.cs.berkeley.edu/ , стр. 19
- ^ Компьютерные науки Логотип Стиль: программирование Вне Брайан Харви 1997 ISBN 0-262-58150-7 стр. 278
- ^ Weizenbaum, Джозеф (1976). Компьютерная мощь и человеческий разум: от суждения к расчету WH Freeman and Company. ISBN 0-7167-0463-3 страницы 188-189
- ^ Роджер Schank , 1969, Парсер концептуальной зависимости для естественного языка Трудов 1969 конференции по вычислительной лингвистике, Санг-Саби, Швеция, страницы 1-3
- ^ Вудс, Уильям A (1970). "Переходные сетевые грамматики для анализа естественного языка". Сообщения ACM 13 (10): 591–606 [2]
- ^ Искусственный интеллект: критические концепции , Том 1 Рональда Крисли, Сандер Бегер 2000 ISBN 0-415-19332-X стр. 89
- ^ Страница Терри Винограда SHRDLU в Стэнфордском SHRDLU
- ^ Виноград, Терри (1983), Язык как познавательный процесс , Аддисон-Уэсли, Ридинг, Массачусетс.
- ^ Ларри Р. Харрис, Исследования в Корпорации искусственного интеллекта. Бюллетень ACM SIGART, выпуск 79, январь 1982 г. [3]
- ^ Внутри прецедентных рассуждений Кристофера К. Рисбека, Роджера С. Шанка 1989 ISBN 0-89859-767-6 стр. Xiii
- ^ В глубоком понимании: модель интегрированного процесса для понимания повествования. . Майкл Г. Дайер. MIT Press. ISBN 0-262-04073-5
- ^ Сирл, Джон (23 февраля 2011 г.). «Уотсон не знает, что выиграл на« Jeopardy! » » . Wall Street Journal .
- ^ Подход к иерархической категоризации электронной почты Пейфенг Ли и др. в области обработки естественного языка и информационных систем под редакцией Зубида Кедад, Надира Ламмари, 2007 г. ISBN 3-540-73350-7
- ^ InfoWorld , 13 ноября 1989, стр 144
- ^ InfoWorld , 19 апреля 1984, страница 71
- ^ Построение рабочих моделей полного понимания естественного языка в ограниченных прагматических областях , Джеймс Мейсон 2010 [4]
- ^ Майнинг в Интернете: открытие знаний из гипертекстовых данных Сумен Чакрабарти 2002 ISBN 1-55860-754-4 стр. 289
- ^ А. Миллер, Р. Беквит, CD Fellbaum, Д. Гросс, К. Миллер. 1990. WordNet: онлайн-лексическая база данных . Int. J. Lexicograph. 3, 4, с. 235-244.
- ^ Использование компьютеров в лингвистике: практическое руководство Джона Лоулера, Хелен Аристар Драй 198 ISBN 0-415-16792-2 стр. 209
- ^ Наивная семантика для понимания естественного языка Кэтлин Дальгрен 1988 ISBN 0-89838-287-4
- ^ Стохастический семантический анализ Вольфганга Минкера, Алекса Вайбеля , Джозефа Мариани 1999 ISBN 0-7923-8571-3
- ^ Прагматика и понимание естественного языка Джорджией М. Грин 1996 ISBN 0-8058-2166-X
- ^ Вонг, Юк Ва и Рэймонд Дж. Муни . « Обучение семантическому синтаксическому анализу с помощью статистического машинного перевода ». Труды основной конференции по технологиям человеческого языка Североамериканского отделения Ассоциации компьютерной лингвистики. Ассоциация компьютерной лингвистики, 2006.
- ^ Программисты Пролога обработки естественного языка М. Ковингтон, 1994 ISBN 0-13-629478-2
- ^ Обработка естественного языка в Прологе Джеральдом Газдаром, Кристофером С. Меллишем 1989 ISBN 0-201-18053-7
- ^ Понимание понимания языка Эшвином Рамом, Кеннетом Мурманом 1999 ISBN 0-262-18192-4 стр. 111
- ^ Формальные аспекты контекста Пьера Бонзона и др. 2000 ISBN 0-7923-6350-7
- ^ Программирование с использованием естественного языка действительно работает - блог Wolfram
- ^ Ван Валин младший, Роберт Д. «От НЛП к НЛУ» (PDF) .
- ^ Болл, Джон. "Многоязычный NLU от Pat Inc" . Pat.ai .