Из Википедии, свободной энциклопедии
Перейти к навигации Перейти к поиску

Текстовое следствие ( TE ) при обработке естественного языка - это направленное отношение между фрагментами текста. Отношение сохраняется всякий раз, когда истинность одного фрагмента текста следует из другого текста. В рамках TE подразумеваемый и подразумеваемый тексты называются текстом ( t ) и гипотезой ( h ) соответственно. Текстовое следствие - это не то же самое, что чисто логическое следствие  - оно имеет более расслабленное определение: « t влечет за собой h » ( t ⇒ h ), если, как правило, человеческое чтение t делает вывод, что h , скорее всего, верно.[1] (Альтернативно: t ⇒ h тогда и только тогда, когда, как правило, человеческое прочтение t будет оправдано при выводе пропозиции, выраженной через h, из пропозиции, выраженной через t . [2] ) Отношение является направленным, потому что даже если " t влечет за час », обратная„ ч влечетсобой т “гораздо менее определенным. [3] [4]

Определение того, выполняется ли эта связь, является неформальной задачей, которая иногда перекрывается с формальными задачами формальной семантики (выполнение строгого условия обычно подразумевает выполнение менее строгого условия); кроме того, текстуальное следование частично включает в себя следствие слова .

Примеры [ править ]

Текстовое следствие можно проиллюстрировать на примерах трех различных отношений: [5]

Пример положительного TE (текст предполагает гипотезу):

  • текст: Если вы поможете нуждающимся, Бог вознаградит вас .
Гипотеза: раздача денег бедному человеку имеет хорошие последствия .

Пример отрицательного ТЕ (текст противоречит гипотезе):

  • текст: Если вы поможете нуждающимся, Бог вознаградит вас .
Гипотеза: раздача денег бедняку ​​не имеет последствий .

Пример не-TE (текст не влечет за собой и не противоречит):

  • текст: Если вы поможете нуждающимся, Бог вознаградит вас .
Гипотеза: отдав деньги бедному человеку, вы станете лучше .

Двусмысленность естественного языка [ править ]

Характерной чертой естественного языка является то, что существует множество различных способов выразить то, что человек хочет сказать: несколько значений могут содержаться в одном тексте и что одно и то же значение может быть выражено разными текстами. Эту вариативность семантического выражения можно рассматривать как двойную проблему языковой двусмысленности. Вместе они приводят к отображению « многие-ко-многим» между языковыми выражениями и значениями. Задача перефразирования заключается в том, чтобы распознать, когда два текста имеют одинаковое значение, и создать похожий или более короткий текст, который передает почти одинаковую информацию. Текстовое следствие аналогично [6]но ослабляет отношения, делая их однонаправленными. Математические решения для установления текстового следования могут быть основаны на свойстве направленности этого отношения, путем сравнения между некоторыми направленными сходствами задействованных текстов. [4]

Подходы [ править ]

Текстовое следствие измеряет понимание естественного языка, поскольку оно требует семантической интерпретации текста, и из-за своей общности остается активной областью исследований. Были рассмотрены многие подходы и уточнения подходов, такие как встраивание слов , логические модели, графические модели, системы правил, контекстная фокусировка и машинное обучение. [6] Практические или крупномасштабные решения избегают этих сложных методов и вместо этого используют только поверхностный синтаксис или лексические отношения, но, соответственно, менее точны. [3] Однако даже самые современные системы все еще далеки от возможностей человека; исследование показало, что люди соглашаются по набору данных в 95,25% случаев [7]а алгоритмы 2016 года еще не достигли 90%. [8]

Приложения [ править ]

Многие приложения для обработки естественного языка, как вопрос ответ , извлечение информации , обобщению , мульти-документ обобщение и оценка машинного перевода систем, необходимо признать , что конкретная цель значение может быть выведено из различных вариантов текста. Обычно следствие используется как часть более крупной системы, например, в системе прогнозирования, чтобы отфильтровать тривиальные или очевидные прогнозы. [9]

См. Также [ править ]

Ссылки [ править ]

  1. ↑ Идо Даган, Орен Гликман и Бернардо Маньини. Проблема распознавания текста в PASCAL, стр. 2 в: Quiñonero-Candela, J .; Даган, И .; Magnini, B .; Д'Альше-Бук, Ф. (ред.) Проблемы машинного обучения. Конспект лекций по информатике , Vol. 3944, стр. 177–190, Springer, 2006.
  2. ^ Корман, Дэниел З .; Мак, Эрик; Джетт, Джейкоб; Ренар, Аллен Х. (2018-03-09). «Определение текстового следования» . Журнал Ассоциации информационных наук и технологий . 69 (6): 763–772. DOI : 10.1002 / asi.24007 . ISSN  2330-1635 .
  3. ^ a b Даган, И. и О. Гликман. «Вероятностное следствие текста: общее прикладное моделирование языковой изменчивости» в: PASCAL Workshop on Learning Methods for Text Understanding and Mining (2004) Grenoble.
  4. ^ a b Tătar, D. ea Textual Entailment как направленное отношение
  5. ^ Textual Entailment Portal навики ассоциации компьютерной лингвистики
  6. ^ а б Андроутсопулос, Ион; Малакасиотис, Продромос (2010). «Обзор методов перефразирования и ввода текста» (PDF) . Журнал исследований искусственного интеллекта . 38 : 135–187. arXiv : 0912.3747 . DOI : 10.1613 / jair.2985 . Проверено 13 февраля 2017 года .
  7. ^ Бос, Йохан; Маркерт, Катя (1 января 2005 г.). «Распознавание текстовых искажений с помощью логического вывода» (PDF) . Труды конференции по технологии человеческого языка и эмпирическим методам обработки естественного языка : 628–635. DOI : 10.3115 / 1220575.1220654 . Проверено 13 февраля 2017 года .
  8. ^ Чжао, Кай; Хуанг, Лян; Ма, Минбо (4 января 2017 г.). «Текстуальное соединение со структурированным вниманием и композицией». arXiv : 1701.01126 [ cs.CL ].
  9. ^ Шани, Ayelett (25 октября 2013). «Как доктор Кира Радински использовала алгоритмы для прогнозирования беспорядков в Египте» . Гаарец . Проверено 13 февраля 2017 года .

Внешние ссылки [ править ]

  • Пул ресурсов Textual Entailment