Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Автоматизированный онлайн помощник предоставления обслуживания клиентов на веб - странице, пример приложения , в котором обработка естественного языка является основным компонентом. [1]

Обработка естественного языка ( NLP ) - это подраздел лингвистики , информатики и искусственного интеллекта, связанный с взаимодействием между компьютером и человеческим языком, в частности, как программировать компьютеры для обработки и анализа больших объемов данных естественного языка . В результате получается компьютер, способный «понимать» содержание документов, включая контекстные нюансы языка внутри них. Затем технология может точно извлекать информацию и идеи, содержащиеся в документах, а также классифицировать и систематизировать сами документы.

Проблемы обработки естественного языка часто включают распознавание речи , понимание естественного языка , и формирование на естественном языке .

История [ править ]

Обработка естественного языка берет свое начало в 1950-х годах. Уже в 1950 году Алан Тьюринг опубликовал статью под названием « Вычислительные машины и интеллект », в которой в качестве критерия интеллекта предлагалось то, что сейчас называется тестом Тьюринга , задача, которая включает автоматическую интерпретацию и генерацию естественного языка, но в то время не сформулирована. как проблема, отдельная от искусственного интеллекта.

Символическое НЛП (1950-е - начало 1990-х) [ править ]

Предпосылка символического НЛП хорошо изложена в эксперименте Джона Сирла с китайской комнатой : при наличии набора правил (например, китайского разговорника с вопросами и соответствующими ответами) компьютер имитирует понимание естественного языка (или другие задачи НЛП) посредством применение этих правил к данным, с которыми он сталкивается.

  • 1950-е годы : Джорджтаунский эксперимент 1954 года включал полностью автоматический перевод более шестидесяти русских предложений на английский. Авторы утверждали, что в течение трех-пяти лет машинный перевод станет решенной проблемой. [2] Однако реальный прогресс был гораздо медленнее, и после отчета ALPAC в 1966 году, в котором было обнаружено, что десятилетние исследования не оправдали ожиданий, финансирование машинного перевода резко сократилось. Небольшие дальнейшие исследования в области машинного перевода проводились до конца 1980-х годов, когда были разработаны первые системы статистического машинного перевода .
  • 1960-е : Некоторые особенно успешные системы обработки естественного языка, разработанные в 1960-х, были SHRDLU , система естественного языка, работающая в ограниченных « блочных мирах » с ограниченным словарным запасом, и ELIZA , симуляция психотерапевта Роджера , написанная Джозефом Вейценбаумом между 1964 и 1966 годами. Практически не используя информации о человеческих мыслях или эмоциях, ELIZA иногда предоставляла поразительно человеческое взаимодействие. Когда «пациент» превышает очень маленькую базу знаний, ELIZA может дать общий ответ, например, ответив на «Моя голова болит» словами «Почему вы говорите, что у вас болит голова?».
  • 1970-е : В 1970-е годы многие программисты начали писать «концептуальные онтологии », которые структурировали реальную информацию в понятные компьютеру данные. Примеры: MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) и Plot Units (Lehnert 1981). ). За это время было написано много первых чат-ботов (например, PARRY ).
  • 1980-е : 1980-е и начало 1990-х годов отмечают расцвет символических методов в НЛП. Основные направления того времени включали исследования синтаксического анализа на основе правил (например, разработка HPSG как вычислительной операционализации генеративной грамматики ), морфологии (например, двухуровневой морфологии [3] ), семантики (например, алгоритма Леска ), справочных материалов. (например, в рамках теории центрирования [4] ) и других областях понимания естественного языка (например, в теории риторической структуры ). Были продолжены и другие направления исследований, например, разработка чаттер-ботов с помощью Racter и Jabberwacky.. Важным событием (которое в конечном итоге привело к статистическому повороту в 1990-е годы) стало растущее значение количественной оценки в этот период. [5]

Статистическое НЛП (1990-е - 2010-е годы) [ править ]

Вплоть до 1980-х годов большинство систем обработки естественного языка основывалось на сложных наборах рукописных правил. Однако, начиная с конца 1980-х годов, произошла революция в обработке естественного языка с появлением алгоритмов машинного обучения для языковой обработки. Это было связано как с неуклонным увеличением вычислительной мощности (см . Закон Мура ), так и с постепенным уменьшением доминирования теорий лингвистики Хомского (например, трансформационной грамматики ), теоретические основы которых препятствовали тому типу корпусной лингвистики, которая лежит в основе подхода машинного обучения. языковой обработке. [6]

  • 1990-е : Многие из первых заметных успехов статистических методов в НЛП были достигнуты в области машинного перевода , особенно благодаря работе в IBM Research. Эти системы могли использовать преимущества существующих многоязычных текстовых корпусов , которые были созданы Парламентом Канады и Европейского Союза.в результате принятия законов, требующих перевода всех правительственных заседаний на все официальные языки соответствующих систем управления. Однако большинство других систем зависело от корпусов, специально разработанных для задач, реализуемых этими системами, что было (и часто остается) основным ограничением успеха этих систем. В результате большое количество исследований было посвящено методам более эффективного обучения на ограниченных объемах данных.
  • 2000-е : С развитием Интернета с середины 1990-х годов стало доступно все большее количество необработанных (неаннотированных) языковых данных. Таким образом, исследования все больше фокусируются на алгоритмах неконтролируемого и частично контролируемого обучения . Такие алгоритмы могут учиться на данных, которые не были аннотированы вручную с желаемыми ответами, или с использованием комбинации аннотированных и неаннотированных данных. Как правило, эта задача намного сложнее, чем обучение с учителем, и обычно дает менее точные результаты для заданного количества входных данных. Однако доступно огромное количество неаннотированных данных (включая, среди прочего, весь контент Всемирной паутины).), что часто может компенсировать худшие результаты, если используемый алгоритм имеет достаточно низкую временную сложность, чтобы быть практичным.

Нейронное НЛП (настоящее время) [ править ]

В 2010-х годах методы репрезентативного обучения и машинного обучения в стиле глубокой нейронной сети получили широкое распространение в обработке естественного языка, отчасти из-за большого количества результатов, показывающих, что такие методы [7] [8] могут достигать самых современных результатов. во многих задачах естественного языка, например, в языковом моделировании, [9] синтаксическом анализе, [10] [11] и многих других.

Методы: правила, статистика, нейронные сети.[ редактировать ]

Вначале многие системы языковой обработки разрабатывались символическими методами, т. Е. Ручным кодированием набора правил в сочетании со словарным поиском: [12] [13], например, написанием грамматик или разработкой эвристических правил для остановка .

Более современные системы, основанные на алгоритмах машинного обучения , имеют много преимуществ перед правилами, созданными вручную:

  • Процедуры обучения, используемые во время машинного обучения, автоматически сосредотачиваются на наиболее распространенных случаях, тогда как при написании правил вручную часто совсем не очевидно, на что следует направить усилия.
  • Процедуры автоматического обучения могут использовать алгоритмы статистического вывода для создания моделей, устойчивых к незнакомым входным данным (например, содержащим слова или структуры, которые ранее не встречались) и к ошибочным входным данным (например, с ошибками в написании слов или случайно пропущенными словами). Как правило, изящная обработка такого ввода с помощью рукописных правил или, в более общем плане, создание систем рукописных правил, которые принимают мягкие решения, чрезвычайно сложно, подвержено ошибкам и требует много времени.
  • Системы, основанные на автоматическом изучении правил, можно сделать более точными, просто предоставив больше входных данных. Однако системы, основанные на правилах, написанных от руки, можно сделать более точными только за счет увеличения сложности правил, что является гораздо более сложной задачей. В частности, существует предел сложности систем, основанных на рукописных правилах, за пределами которого системы становятся все более и более неуправляемыми. Однако создание большего количества данных для ввода в системы машинного обучения просто требует соответствующего увеличения количества отработанных человеко-часов, как правило, без значительного увеличения сложности процесса аннотации.

Несмотря на популярность машинного обучения в исследованиях НЛП, символические методы все еще широко используются (2020)

  • когда объем обучающих данных недостаточен для успешного применения методов машинного обучения, например, для машинного перевода языков с низким уровнем ресурсов, таких как предоставляемые системой Apertium ,
  • для предварительной обработки в конвейерах NLP, например, токенизации или
  • для постобработки и преобразования вывода конвейеров NLP, например, для извлечения знаний из синтаксического анализа.

Статистические методы [ править ]

После так называемой «статистической революции» [14] [15] в конце 1980-х и середине 1990-х годов большая часть исследований в области обработки естественного языка во многом опиралась на машинное обучение. Парадигма машинного обучения вместо этого призывает использовать статистический вывод для автоматического изучения таких правил посредством анализа больших корпусов (множественная форма корпуса , представляет собой набор документов, возможно с человеческими или компьютерными аннотациями) типичных примеров из реальной жизни.

Многие разные классы алгоритмов машинного обучения были применены к задачам обработки естественного языка. Эти алгоритмы принимают в качестве входных данных большой набор «функций», которые генерируются из входных данных. Однако все больше исследований уделяется статистическим моделям , которые принимают мягкие, вероятностные решения, основанные на присоединении действительных весов к каждой входной характеристике. Такие модели имеют то преимущество, что они могут выражать относительную уверенность многих различных возможных ответов, а не только одного, давая более надежные результаты, когда такая модель включается как компонент более крупной системы.

Некоторые из самых ранних алгоритмов машинного обучения, такие как деревья решений , создавали системы жестких правил «если-то», аналогичные существующим рукописным правилам. Тем не менее, тегирование части речи ввело использование скрытых марковских моделей для обработки естественного языка, и все больше исследований было сосредоточено на статистических моделях , которые принимают мягкие, вероятностные решения, основанные на присоединении действительных весов к характеристикам, составляющим входные данные. данные. В модели языка кэш , на котором многие распознавания речиСистемы, которые сейчас полагаются, являются примерами таких статистических моделей. Такие модели, как правило, более надежны при вводе незнакомых входных данных, особенно входных данных, содержащих ошибки (что очень часто встречается в реальных данных), и дают более надежные результаты при интеграции в более крупную систему, состоящую из нескольких подзадач.

После нейронного поворота статистические методы в исследованиях НЛП в значительной степени были заменены нейронными сетями. Однако они по-прежнему актуальны для контекстов, в которых требуется статистическая интерпретируемость и прозрачность.

Нейронные сети [ править ]

Главный недостаток статистических методов состоит в том, что они требуют сложной разработки функций. С начала 2010-х годов [16] эта область в значительной степени отказалась от статистических методов и перешла на нейронные сети для машинного обучения. Популярные техники включают в себя встраивание словдля захвата семантических свойств слов и увеличения сквозного обучения задач более высокого уровня (например, ответов на вопросы) вместо того, чтобы полагаться на конвейер отдельных промежуточных задач (например, тегирование части речи и зависимость парсинг). В некоторых областях этот сдвиг повлек за собой существенные изменения в том, как проектируются системы НЛП, так что подходы, основанные на глубоких нейронных сетях, можно рассматривать как новую парадигму, отличную от статистической обработки естественного языка. Например, термин нейронный машинный перевод (NMT) подчеркивает тот факт, что подходы к машинному переводу, основанные на глубоком обучении, непосредственно изучают преобразования последовательности в последовательность , устраняя необходимость в промежуточных шагах, таких как выравнивание слов и моделирование языка, которые использовались встатистический машинный перевод (SMT). Последние работы имеют тенденцию использовать нетехническую структуру данной задачи для построения правильной нейронной сети. [17]

Общие задачи НЛП [ править ]

Ниже приведен список некоторых из наиболее часто исследуемых задач обработки естественного языка. Некоторые из этих задач имеют непосредственное реальное применение, в то время как другие чаще служат подзадачами, которые используются для помощи в решении более крупных задач.

Хотя задачи обработки естественного языка тесно взаимосвязаны, для удобства их можно разделить на категории. Ниже приводится приблизительное деление.

Обработка текста и речи [ править ]

Оптическое распознавание символов (OCR)
Учитывая изображение, представляющее печатный текст, определите соответствующий текст.
Распознавание речи
Учитывая звуковой фрагмент говорящего человека или людей, определите текстовое представление речи. Это противоположность преобразования текста в речь и является одной из чрезвычайно сложных проблем, которую в просторечии называют « AI-complete » (см. Выше). В естественной речи почти не бывает пауз между последовательными словами, поэтому сегментация речи является необходимой подзадачей распознавания речи (см. Ниже). В большинстве разговорных языков звуки, представляющие собой последовательные буквы, смешиваются друг с другом в процессе, называемом коартикуляцией , поэтому преобразование аналогового сигналадля дискретных персонажей может быть очень сложный процесс. Кроме того, учитывая, что слова на одном языке произносятся людьми с разными акцентами, программное обеспечение для распознавания речи должно быть способно распознавать большое количество вводимых данных как идентичные друг другу с точки зрения их текстового эквивалента.
Сегментация речи
Учитывая звуковой фрагмент речи человека или людей, разделите его на слова. Подзадача распознавания речи, обычно сгруппированная с ней.
Текст в речь
Для данного текста трансформируйте эти единицы и создайте речевое представление. Синтез речи может быть использован для помощи слабовидящим. [18]
Сегментация слов ( токенизация )
Разделите кусок непрерывного текста на отдельные слова. Для такого языка, как английский , это довольно тривиально, поскольку слова обычно разделяются пробелами. Однако некоторые письменные языки, такие как китайский , японский и тайский , не отмечают таким образом границы слов, и для этих языков сегментация текста является важной задачей, требующей знания словарного запаса и морфологии слов в языке. Иногда этот процесс также используется в таких случаях, как создание мешка слов (BOW) в интеллектуальном анализе данных.

Морфологический анализ [ править ]

Лемматизация
Задача удаления только флективных окончаний и возврата базовой словарной формы слова, также известной как лемма. Лемматизация - еще один метод приведения слов к нормализованной форме. Но в этом случае преобразование фактически использует словарь для сопоставления слов с их фактической формой. [19]
Морфологическая сегментация
Разделите слова на отдельные морфемы и определите класс морфем. Сложность этой задачи во многом зависит от сложности морфологии ( т. Е. Структуры слов) рассматриваемого языка. Английский имеет довольно простую морфологию, особенно флективную морфологию , и поэтому часто можно полностью игнорировать эту задачу и просто моделировать все возможные формы слова ( например , «открыть, открыть, открыть, открыть») как отдельные слова. В таких языках, как турецкий или Meitei , [20] сильно агглютинированный Однако в индийском языке такой подход невозможен, поскольку каждая словарная статья имеет тысячи возможных словоформ.
Пометка части речи
Учитывая предложение, определите часть речи (POS) для каждого слова. Многие слова, особенно обычные, могут служить несколькими частями речи . Например, «книга» может быть существительным («книга на столе») или глаголом («заказать рейс»); «набор» может быть существительным , глаголом или прилагательным ; и «out» может быть любой из пяти разных частей речи.
Стемминг
Процесс приведения флективных (или иногда производных) слов к базовой форме ( например , «закрыть» будет корнем для слов «закрыто», «закрытие», «закрыть», «ближе» и т. Д.). Стемминг дает те же результаты, что и лемматизация, но делает это на основании правил, а не словаря.

Синтаксический анализ [ править ]

Введение в грамматику [21]
Создайте формальную грамматику , описывающую синтаксис языка.
Нарушение предложения (также известное как " устранение неоднозначности границы предложения ")
Для данного фрагмента текста найдите границы предложения. Границы предложений часто обозначаются точками или другими знаками препинания , но эти же символы могут использоваться и для других целей ( например , для обозначения сокращений ).
Парсинг
Определите дерево синтаксического анализа (грамматический анализ) данного предложения. Грамматики для естественных языков являются неоднозначной и типичные предложения имеют несколько возможных анализов: возможно , удивительно, что для типичного предложения может быть тысячами потенциальных разборов (большинство из которых будет казаться совершенно бессмысленным человек). Существует два основных типа синтаксического анализа: анализ зависимостей и анализ группы интересов . Синтаксический анализ зависимостей фокусируется на отношениях между словами в предложении (отмечая такие вещи, как первичные объекты и предикаты), тогда как синтаксический анализ избирательного округа фокусируется на построении дерева синтаксического анализа с использованием вероятностной контекстно-свободной грамматики (PCFG) (см. Такжестохастическая грамматика ).

Лексическая семантика (отдельных слов в контексте) [ править ]

Лексическая семантика
Каково вычислительное значение отдельных слов в контексте?
Распределительная семантика
Как мы можем узнать семантические представления из данных?
Признание именованного лица (NER)
Учитывая поток текста, определите, какие элементы в тексте соответствуют именам собственным, таким как люди или места, и каков тип каждого такого имени (например, человек, местоположение, организация). Хотя использование заглавных букв может помочь в распознавании именованных сущностей на таких языках, как английский, эта информация не может помочь в определении типа именованных сущностей и, в любом случае, часто является неточной или недостаточной. Например, первая буква предложения также пишется с заглавной буквы, а именованные объекты часто охватывают несколько слов, только некоторые из которых пишутся с заглавной буквы. Кроме того, многие другие языки с незападными шрифтами (например, китайский или арабский) вообще не имеют заглавных букв, и даже языки с заглавными буквами могут не всегда использовать их для различения имен. Например, в немецком языке все существительные используются с заглавной буквы , независимо от того, являются ли они именами, а во французском и испанском языках имена, которые служат прилагательными, не пишутся с заглавной буквы .
Анализ тональности (см. Также мультимодальный анализ тональности )
Обычно извлекают субъективную информацию из набора документов, часто используя онлайн-обзоры для определения «полярности» в отношении конкретных объектов. Это особенно полезно для выявления тенденций общественного мнения в социальных сетях, для маркетинга.
Извлечение терминологии
Целью извлечения терминологии является автоматическое извлечение релевантных терминов из заданного корпуса.
Устранение неоднозначности смысла слова
Многие слова имеют более одного значения ; мы должны выбрать значение, которое имеет наибольший смысл в контексте. Для решения этой проблемы нам обычно дают список слов и связанных смыслов слов, например, из словаря или онлайн-ресурса, такого как WordNet .

Реляционная семантика (семантика отдельных предложений) [ править ]

Извлечение отношений
Учитывая кусок текста, определите отношения между названными объектами (например, кто с кем женат).
Семантический анализ
Для данного фрагмента текста (обычно предложения) создайте формальное представление его семантики либо в виде графа (например, при анализе AMR ), либо в соответствии с логическим формализмом (например, при анализе DRT ). Эта задача обычно включает аспекты нескольких более элементарных задач НЛП из семантики (например, обозначение семантических ролей, устранение неоднозначности смысла слов) и может быть расширена, чтобы включить полноценный анализ дискурса (например, анализ дискурса, кореферентность; см. Понимание естественного языка ниже).
Семантическая маркировка ролей (см. Также неявную семантическую маркировку ролей ниже)
Для одного предложения определите и устраните неоднозначность семантических предикатов (например, вербальные фреймы ), а затем определите и классифицируйте элементы фрейма ( семантические роли ).

Дискурс (семантика за пределами отдельных предложений) [ править ]

Разрешение Coreference
Учитывая предложение или более крупный фрагмент текста, определите, какие слова («упоминания») относятся к одним и тем же объектам («сущностям»). Разрешение анафоры - это конкретный пример этой задачи, и он, в частности, касается сопоставления местоимений с существительными или именами, к которым они относятся. Более общая задача разрешения кореферентности также включает определение так называемых «мостовых отношений», включающих ссылающиеся выражения . Например, в предложении, таком как «Он вошел в дом Джона через парадную дверь», «парадная дверь» - это отсылающее выражение, а связующее отношение, которое необходимо идентифицировать, заключается в том, что упоминаемая дверь является входной дверью Джона. 's дом (а не какой-то другой постройки, на которую тоже можно сослаться).
Анализ речи
В эту рубрику входит несколько связанных задач. Одна из задач - это синтаксический анализ дискурса, то есть определение структуры дискурса связного текста, то есть природы дискурсивных отношений между предложениями (например, разработка, объяснение, противопоставление). Другой возможной задачей является распознавание и классификация речевых действий в фрагменте текста (например, вопрос «да-нет», вопрос содержания, утверждение, утверждение и т. Д.).
Неявное обозначение семантических ролей
Для одного предложения определите и устраните неоднозначность семантических предикатов (например, вербальных фреймов ) и их явных семантических ролей в текущем предложении (см. Раздел «Маркировка семантических ролей» выше). Затем определите семантические роли, которые явно не реализованы в текущем предложении, классифицируйте их на аргументы, которые явно реализованы в другом месте текста, и те, которые не указаны, и сопоставьте первые с локальным текстом. Тесно связанная с этим задача - разрешение нулевой анафоры, т. Е. Расширение разрешения кореферентности на языки pro-drop .
Распознавание текстового следования
Учитывая два фрагмента текста, определите, влечет ли истинность одного из них другой, влечет ли за собой отрицание другого или позволяет другому быть истинным или ложным. [22]
Тематическая сегментация и признание
Получив кусок текста, разделите его на сегменты, каждый из которых посвящен определенной теме, и определите тему сегмента.

Приложения более высокого уровня НЛП [ править ]

Автоматическое резюмирование (резюмирование текста)
Создайте читабельное резюме фрагмента текста. Часто используется для краткого изложения текста известного типа, такого как исследовательские работы, статьи в финансовом разделе газеты.
Книжное поколение
Не собственно задача НЛП, а расширение Естественного языка и других задач НЛП - создание полноценных книг. Первая книга, созданная машиной, была создана системой, основанной на правилах, в 1984 году (Рактер, Борода полицейского наполовину построена ). [23] Первая опубликованная работа нейронной сети была опубликована в 2018 г.1 «Дорога» , продаваемая как роман, содержит шестьдесят миллионов слов. Обе эти системы в основном представляют собой сложные, но бессмысленные (бессемантические) языковые модели . Первая научная книга, созданная с помощью машин, была опубликована в 2019 году (Beta Writer, Lithium-Ion Batteries , Springer, Cham). [24] В отличие от Racter и 1 the Road, это основано на фактических данных и резюмировании текста.
Управление диалогом
Компьютерные системы, предназначенные для общения с человеком.
Документ AI
Платформа Document AI находится на вершине технологии NLP, позволяя пользователям, не имеющим опыта работы с искусственным интеллектом, машинным обучением или NLP, быстро обучать компьютер извлекать конкретные данные, которые им нужны, из различных типов документов. Document AI на основе NLP позволяет нетехническим командам быстро получать доступ к информации, скрытой в документах, например, юристам, бизнес-аналитикам и бухгалтерам. [25]
Исправление грамматических ошибок
Обнаружение и исправление грамматических ошибок включает в себя широкий спектр задач на всех уровнях лингвистического анализа (фонология / орфография, морфология, синтаксис, семантика, прагматика). Исправление грамматических ошибок эффективно, поскольку затрагивает сотни миллионов людей, которые используют или изучают английский в качестве второго языка. Таким образом, с 2011 года перед ним решается ряд общих задач. [26] [27] [28] Что касается орфографии, морфологии, синтаксиса и некоторых аспектов семантики, а также благодаря развитию мощных нейронных языковых моделей, таких как как GPT-2 , это теперь (2019 г.) можно считать в значительной степени решенной проблемой и продается в различных коммерческих приложениях. [29]
Машинный перевод
Автоматический перевод текста с одного человеческого языка на другой. Это одна из самых сложных проблем, которая относится к классу задач, в просторечии называемых « ИИ-завершенный », то есть требующим всех различных типов знаний, которыми обладают люди (грамматика, семантика, факты о реальном мире и т. Д.) .) решить правильно.
Генерация естественного языка (NLG):
Преобразование информации из компьютерных баз данных или семантических намерений в читаемый человеческий язык.
Понимание естественного языка (NLU)
Преобразуйте фрагменты текста в более формальные представления, такие как логические структуры первого порядка , которыми компьютерные программы легче манипулировать. Понимание естественного языка включает в себя определение предполагаемой семантики из множества возможных семантик, которые могут быть получены из выражения естественного языка, которое обычно принимает форму организованных обозначений понятий естественного языка. Введение и создание языковой метамодели и онтологии - эффективные, однако эмпирические решения. Явная формализация семантики естественного языка без путаницы с неявными предположениями, такими как предположение о закрытом мире (CWA) и предположение об открытом мире, или субъективное Да / Нет против объективного Истина / Ложь ожидается для построения основы формализации семантики. [30]
Ответ на вопрос
Если задан вопрос на человеческом языке, определите ответ. Типичные вопросы имеют конкретный правильный ответ (например, «Какая столица Канады?»), Но иногда также рассматриваются открытые вопросы (например, «В чем смысл жизни?»). В последних работах рассматриваются еще более сложные вопросы. [31]

Общие тенденции и (возможные) направления на будущее [ править ]

Основываясь на давних тенденциях в этой области, можно экстраполировать будущие направления НЛП. По состоянию на 2020 год можно наблюдать три тенденции среди тем давней серии общих задач CoNLL: [32]

  • Интерес ко все более абстрактным, «когнитивным» аспектам естественного языка (1999-2001: неглубокий анализ, 2002-03: распознавание именованных сущностей, 2006-09 / 2017-18: синтаксис зависимостей, 2004-05 / 2008-09 семантические метки ролей, 2011-12 Coreference, 2015-16: анализ дискурса, 2019: семантический анализ).
  • Растущий интерес к многоязычию и, возможно, мультимодальности (английский с 1999 г .; испанский, голландский с 2002 г .; немецкий с 2003 г .; болгарский, датский, японский, португальский, словенский, шведский, турецкий с 2006 г .; баскский, каталонский, китайский, греческий, венгерский , Итальянский, турецкий с 2007 года; чешский с 2009 года; арабский с 2012 года; 2017: 40+ языков; 2018: 60 + / 100 + языков)
  • Устранение символических представлений (основанные на правилах и контролируемые по отношению к слабо контролируемым методам, обучение представлению и сквозные системы)

Познание и НЛП [ править ]

Большинство приложений НЛП более высокого уровня включают аспекты, которые имитируют разумное поведение и очевидное понимание естественного языка. В более широком смысле, техническая операционализация все более сложных аспектов когнитивного поведения представляет собой одну из траекторий развития НЛП (см. Тенденции среди общих задач CoNLL выше).

Познание относится к «умственному действию или процессу приобретения знания и понимания посредством мысли, опыта и чувств». [33] Когнитивная наука - это междисциплинарное научное исследование сознания и его процессов. [34] Когнитивная лингвистика - это междисциплинарный раздел лингвистики, объединяющий знания и исследования как из психологии, так и из лингвистики. [35] Особенно в эпоху символического НЛП область компьютерной лингвистики поддерживала тесные связи с когнитивными исследованиями.

В качестве примера, Джордж Лакофф предлагает методологию построения обработки естественного языка (NLP) алгоритмы через призму когнитивной науки , наряду с результатами когнитивной лингвистики , [36] с двумя определяющими аспектами:

  1. Примените теорию концептуальной метафоры , которую Лакофф объяснил как «понимание одной идеи с точки зрения другой», которая дает представление о намерениях автора. [37] Например, рассмотрим английское слово «большой» . При использовании в сравнении ( «Это большое дерево» ) намерение автора состоит в том, чтобы подразумевать, что дерево «физически велико» относительно других деревьев или опыта авторов. При использовании метафорически ( «Завтра - большой день» ) намерение автора подразумевать «важность» . Смысл других обычаев, например, в «Она большая личность». останется несколько двусмысленным как для человека, так и для когнитивного алгоритма НЛП без дополнительной информации.
  2. Присвойте относительные меры значения слову, фразе, предложению или фрагменту текста на основе информации, представленной до и после анализируемого фрагмента текста, например, с помощью вероятностной контекстно-свободной грамматики (PCFG). Математическое уравнение для таких алгоритмов представлено в патенте США 9269353  :
Где,
RMM - относительная мера значения
токен , это любой блок текста, предложения, фразы или слова
N - количество анализируемых токенов
PMM , это вероятная мера значения, основанная на корпусе
d - расположение токена в последовательности N-1 токенов.
PF - функция вероятности, специфичная для языка.

Связи с когнитивной лингвистикой являются частью исторического наследия НЛП, но они стали менее часто рассматриваться после статистического поворота в 1990-х годах. Тем не менее, подходы к разработке когнитивных моделей в сторону технически реализуемых структур применялись в контексте различных структур, например, когнитивной грамматики, [38] функциональной грамматики, [39] строительной грамматики [40], компьютерной психолингвистики и когнитивной нейробиологии (например, АКТ-R ), однако, с ограниченным поглощением в основной NLP (как измерено с помощью присутствия на крупных конференциях [41] в ACL ). Совсем недавно идеи когнитивного НЛП были возрождены как подход к достижениюобъяснимость , например, под понятием «когнитивный ИИ». [42] Точно так же идеи когнитивного НЛП присущи нейронным моделям мультимодального НЛП (хотя и редко выражаются явно). [43]

См. Также [ править ]

  • 1 Дорога
  • Автоматическая оценка эссе
  • Биомедицинский анализ текста
  • Обработка сложных терминов
  • Компьютерная лингвистика
  • Компьютерное рецензирование
  • Контролируемый естественный язык
  • Глубокое обучение
  • Глубокая лингвистическая обработка
  • Распределительная семантика
  • Помощь для чтения на иностранном языке
  • Помощь при написании на иностранном языке
  • Извлечение информации
  • Поиск информации
  • Язык и коммуникационные технологии
  • Языковые технологии
  • Скрытое семантическое индексирование
  • Идентификация на родном языке
  • Программирование на естественном языке
  • Поиск на естественном языке
  • Схема обработки естественного языка
  • Расширение запроса
  • Понимание запросов
  • Реификация (лингвистика)
  • Обработка речи
  • Разговорная диалоговая система
  • Проверка текста
  • Упрощение текста
  • Трансформатор (модель машинного обучения)
  • Truecasing
  • Ответ на вопрос
  • Word2vec

Ссылки [ править ]

  1. ^ Kongthon, Алиса; Сангкиттракарн, Чатчавал; Kongyoung, Sarawoot; Харучайясак, Чухарт (27–30 октября 2009 г.). Внедрение системы онлайн-поддержки на основе диалогового агента . MEDES '09: Международная конференция по управлению развивающимися цифровыми экосистемами. Франция: ACM. DOI : 10.1145 / 1643823.1643908 .
  2. Перейти ↑ Hutchins, J. (2005). «История машинного перевода в двух словах» (PDF) . [ самостоятельно опубликованный источник ]
  3. ^ Коскенниеми, Киммо (1983), Двухуровневая морфология: общая вычислительная модель распознавания и производства словоформ (PDF) , Департамент общего языкознания, Университет Хельсинки
  4. Перейти ↑ Joshi, AK, & Weinstein, S. (1981, август). Контроль вывода: роль некоторых аспектов центрирования структуры дискурса . В IJCAI (стр. 385-387).
  5. ^ Guida, G .; Маури, Г. (июль 1986 г.). «Оценка систем обработки естественного языка: проблемы и подходы». Труды IEEE . 74 (7): 1026–1035. DOI : 10,1109 / PROC.1986.13580 . ISSN 1558-2256 . S2CID 30688575 .  
  6. ^ Хомскианское лингвистика поощряет исследование « угловых случаев », которые подчеркивают пределы его теоретических моделей (сравнимых с патологическими явлениями в математике), обычно создаваемых с помощью мысленных экспериментов , а не систематического исследования типичных явлений, которые происходят в реальных данных, как и в корпусной лингвистике . Создание и использование таких корпусов реальных данных является фундаментальной частью алгоритмов машинного обучения для обработки естественного языка. Кроме того, теоретические основы лингвистики Хомского, такие как так называемая « бедность стимула»,"аргумент влечет за собой, что общие алгоритмы обучения, которые обычно используются в машинном обучении, не могут быть успешными при обработке языка. В результате парадигма Хомского препятствовала применению таких моделей для обработки языка.
  7. ^ Голдберг, Йоав (2016). «Учебник по моделям нейронных сетей для обработки естественного языка». Журнал исследований искусственного интеллекта . 57 : 345–420. arXiv : 1807.10854 . DOI : 10.1613 / jair.4992 . S2CID 8273530 . 
  8. Добрый парень, Ян; Бенхио, Йошуа; Курвиль, Аарон (2016). Глубокое обучение . MIT Press.
  9. ^ Юзефович, Рафал; Виньялс, Ориол; Шустер, Майк; Шазир, Ноам; Ву, Юнхуэй (2016). Изучение ограничений языкового моделирования . arXiv : 1602.02410 . Bibcode : 2016arXiv160202410J .
  10. Choe, Do Kook; Чарняк, Евгений. «Парсинг как языковое моделирование» . Emnlp 2016 .
  11. ^ Виньялс, Ориол; и другие. (2014). «Грамматика как иностранный язык» (PDF) . Nips2015 . arXiv : 1412,7449 . Bibcode : 2014arXiv1412.7449V .
  12. ^ Виноград, Терри (1971). Процедуры как представление данных в компьютерной программе для понимания естественного языка (Диссертация).
  13. ^ Schank, Роджер С .; Абельсон, Роберт П. (1977). Сценарии, планы, цели и понимание: исследование структур человеческого знания . Хиллсдейл: Эрлбаум. ISBN 0-470-99033-3.
  14. ^ Марк Джонсон. Как статистическая революция меняет (вычислительную) лингвистику. Материалы семинара EACL 2009 по взаимодействию лингвистики и компьютерной лингвистики.
  15. ^ Филип Резник. Четыре революции. Language Log, 5 февраля 2011 г.
  16. ^ Socher, Ричард. «Учебник по глубокому обучению для NLP-ACL 2012» . www.socher.org . Проверено 17 августа 2020 .Это было раннее руководство по глубокому обучению на ACL 2012, которое вызвало как интерес, так и (в то время) скептицизм большинства участников. До тех пор нейронное обучение в основном отвергалось из-за отсутствия статистической интерпретируемости. До 2015 года глубокое обучение превратилось в основную основу НЛП.
  17. ^ Annamoradnejad, I. (2020). Кольбер: Использование вложения предложений Берта для обнаружения юмора . Препринт arXiv arXiv: 2004.12765.
  18. ^ Йи, Чукай; Тиан, Ингли (2012), «Вспомогательное чтение текста со сложного фона для слепых», Анализ и распознавание документов с помощью камеры , Springer Berlin Heidelberg, стр. 15–28, CiteSeerX 10.1.1.668.869 , doi : 10.1007 / 978- 3-642-29364-1_2 , ISBN  9783642293634
  19. ^ «Что такое обработка естественного языка? Введение в НЛП в машинном обучении» . GyanSetu! . 2020-12-06 . Проверено 9 января 2021 .
  20. ^ Kishorjit, N .; Видья, Радж РК .; Nirmal, Y .; Шиваджи, Б. (2012). «Манипури Морфема Идентификация» (PDF) . Труды 3-го семинара по обработке естественного языка Южной и Юго-Восточной Азии (SANLP) . COLING 2012, Мумбаи, декабрь 2012 г.: 95–108. CS1 maint: location ( ссылка )
  21. ^ Кляйн, Дэн; Мэннинг, Кристофер Д. (2002). «Введение в грамматику естественного языка с использованием модели составного контекста» (PDF) . Достижения в системах обработки нейронной информации .
  22. ^ Проблема распознавания текста в PASCAL (RTE-7) https://tac.nist.gov//2011/RTE/
  23. ^ "UBUWEB :: Racter" . www.ubu.com . Проверено 17 августа 2020 .
  24. Writer, Beta (2019). Литий-ионные батареи . DOI : 10.1007 / 978-3-030-16800-1 . ISBN 978-3-030-16799-8.
  25. ^ «Документ, посвященный ИИ в Google Cloud (Cloud Next '19) - YouTube» . www.youtube.com . Проверено 11 января 2021 .
  26. ^ Администрация. «Центр языковых технологий (CLT)» . Университет Маккуори . Проверено 11 января 2021 .
  27. ^ «Общая задача: исправление грамматических ошибок» . www.comp.nus.edu.sg . Проверено 11 января 2021 .
  28. ^ «Общая задача: исправление грамматических ошибок» . www.comp.nus.edu.sg . Проверено 11 января 2021 .
  29. ^ «О нас | Грамматика» . www.grammarly.com . Проверено 11 января 2021 .
  30. ^ Дуань, Юконг; Круз, Кристоф (2011). «Формализация семантики естественного языка через концептуализацию из существования» . Международный журнал инноваций, менеджмента и технологий . 2 (1): 37–42. Архивировано из оригинала на 2011-10-09.
  31. Перейти ↑ Mittal (2011). «Универсальные системы ответов на вопросы: видение в синтезе» (PDF) . Международный журнал интеллектуальной информации и систем баз данных . 5 (2): 119–142. DOI : 10.1504 / IJIIDS.2011.038968 .
  32. ^ «Предыдущие общие задачи | CoNLL» . www.conll.org . Проверено 11 января 2021 .
  33. ^ «Познание» . Lexico . Издательство Оксфордского университета и Dictionary.com . Дата обращения 6 мая 2020 .
  34. ^ "Спросите когнитивного ученого" . Американская федерация учителей . 8 августа 2014 г. Когнитивная наука - это междисциплинарная область исследователей из лингвистики, психологии, нейробиологии, философии, информатики и антропологии, которые стремятся понять разум.
  35. ^ Робинсон, Питер (2008). Справочник по когнитивной лингвистике и овладению вторым языком . Рутледж. С. 3–8. ISBN 978-0-805-85352-0.
  36. ^ Лакофф, Джордж (1999). Философия во плоти: воплощенный разум и его вызов западной философии; Приложение: нейронная теория языковой парадигмы . Основные книги Нью-Йорка. С. 569–583. ISBN 978-0-465-05674-3.
  37. Перейти ↑ Strauss, Claudia (1999). Когнитивная теория культурного значения . Издательство Кембриджского университета. С. 156–164. ISBN 978-0-521-59541-4.
  38. ^ «Универсальная концептуальная когнитивная аннотация (UCCA)» . Универсальная концептуальная когнитивная аннотация (UCCA) . Проверено 11 января 2021 .
  39. ^ Родригеса, FC, и Mairal-USON, R. (2016). Построение вычислительной грамматики RRG . Ономазеин , (34), 86-117.
  40. ^ «Fluid Construction Grammar - полностью работоспособная система обработки строительных грамматик» . Проверено 11 января 2021 .
  41. ^ "Портал члена ACL | Портал члена ассоциации вычислительной лингвистики" . www.aclweb.org . Проверено 11 января 2021 .
  42. ^ «Чанки и правила» . www.w3.org . Проверено 11 января 2021 .
  43. ^ Socher, Р., Karpathy А., Le, QV, Manning, CD, и Ng, AY (2014). Обоснованная композиционная семантика для поиска и описания изображений с предложениями. Труды Ассоциации компьютерной лингвистики , 2 , 207-218.

Дальнейшее чтение [ править ]

  • Бейтс, М. (1995). «Модели понимания естественного языка» . Труды Национальной академии наук Соединенных Штатов Америки . 92 (22): 9977–9982. Bibcode : 1995PNAS ... 92.9977B . DOI : 10.1073 / pnas.92.22.9977 . PMC  40721 . PMID  7479812 .
  • Стивен Берд, Юэн Кляйн и Эдвард Лопер (2009). Обработка естественного языка с помощью Python . O'Reilly Media. ISBN 978-0-596-51649-9 . 
  • Дэниел Джурафски и Джеймс Х. Мартин (2008). Обработка речи и языка , 2-е издание. Пирсон Прентис Холл. ISBN 978-0-13-187321-6 . 
  • Мохамед Закария Курди (2016). Обработка естественного языка и компьютерная лингвистика: речь, морфология и синтаксис , Том 1. ISTE-Wiley. ISBN 978-1848218482 . 
  • Мохамед Закария Курди (2017). Обработка естественного языка и компьютерная лингвистика: семантика, дискурс и приложения , Том 2. ISTE-Wiley. ISBN 978-1848219212 . 
  • Кристофер Д. Мэннинг, Прабхакар Рагхаван и Хинрих Шютце (2008). Введение в поиск информации . Издательство Кембриджского университета. ISBN 978-0-521-86571-5 . Официальные версии html и pdf доступны бесплатно. 
  • Кристофер Д. Маннинг и Хинрих Шютце (1999). Основы статистической обработки естественного языка . MIT Press. ISBN 978-0-262-13360-9 . 
  • Дэвид М.В. Пауэрс и Кристофер Ч.Р. Терк (1989). Машинное обучение естественного языка . Springer-Verlag. ISBN 978-0-387-19557-5 .