Генерация ссылающихся выражений ( REG ) - это подзадача генерации естественного языка (NLG), которая привлекла наибольшее внимание ученых. В то время как NLG занимается преобразованием неязыковой информации в естественный язык, REG фокусируется только на создании ссылающихся выражений (словосочетаний с существительными), которые идентифицируют конкретные объекты, называемые целями .
Эту задачу можно разделить на два раздела. Часть выбора контента определяет, какой набор свойств различает намеченную цель, а часть лингвистической реализации определяет, как эти свойства переводятся на естественный язык. В сообществе NLG было разработано множество алгоритмов для генерации различных типов ссылающихся выражений.
Типы ссылающихся выражений
Со ссылкой выражение (RE), в лингвистике, любой именной или суррогат словосочетания, функция которого в дискурсе , чтобы определить , какой отдельный объект (предмет, существо, событие ...) техническая терминология для идентификации отличается БОЛЬШИМ переходят от одной школы лингвистики к другой. Вероятно , наиболее распространенный термин - отсылка , а отнесенная вещь - это референт , как, например, в работе Джона Лайонса . В лингвистике изучение референтных отношений относится к прагматике , изучению использования языка, хотя оно также представляет большой интерес для философов, особенно тех, кто желает понять природу знания , восприятия и познания в более общем плане.
Для справки можно использовать различные приемы: определители , местоимения , имена собственные ... Отношения справочника могут быть разных видов; референты могут быть в «реальном» или воображаемом мире, в самом дискурсе, и они могут быть единичными, множественными или коллективными.
Местоимения
Самым простым типом ссылающихся выражений являются такие местоимения , как он и оно . Сообщества, занимающиеся лингвистикой и обработкой естественного языка, разработали различные модели для прогнозирования референтов анафор, такие как теория центрирования [1], и в идеале генерация ссылающихся выражений будет основана на таких моделях. Однако в большинстве систем NLG используются гораздо более простые алгоритмы, например, с использованием местоимения, если референт был упомянут в предыдущем предложении (или предложении), и в этом предложении не было упомянуто ни одной другой сущности того же пола.
Определенные словосочетания с существительными
Было проведено значительное количество исследований по созданию определенных именных фраз, таких как большая красная книга . Во многом это основано на модели, предложенной Дейлом и Рейтером. [2] Это было расширено различными способами, например Krahmer et al. В [3] представлена теоретико-графическая модель определенного поколения NP со многими хорошими свойствами. В последние годы на мероприятии с разделяемой задачей сравнивались различные алгоритмы для определенного поколения NP с использованием корпуса TUNA [4] .
Пространственная и временная привязка
В последнее время было проведено больше исследований по созданию референцных выражений для времени и пространства. Такие ссылки, как правило, неточны (каково точное значение слова « сегодня вечером» ?), А также могут интерпретироваться разными людьми по-разному. [5] Следовательно, может быть необходимо явно рассуждать о компромиссах между ложноположительными и ложноотрицательными и даже вычислять полезность различных возможных выражений ссылки в конкретном контексте задачи. [6]
Критерии хороших выражений
В идеале хорошее ссылающееся выражение должно удовлетворять ряду критериев:
- Референтный успех : он должен однозначно идентифицировать референт для читателя.
- Легкость понимания : читатель должен уметь быстро прочитать и понять его.
- Вычислительная сложность : алгоритм генерации должен быть быстрым.
- Никаких ложных выводов : выражение не должно сбивать с толку или вводить читателя в заблуждение, предлагая ложные импликатуры или другие прагматические выводы. Например, читатель может быть сбит с толку, если ему предложат « Сядьте у коричневого деревянного стола» в контексте, где есть только один стол. [2]
История
Эра до 2000 года
REG восходит к ранним дням существования NLG. Один из первых подходов был реализован Виноградом [7] в 1972 году, который разработал « инкрементный » алгоритм REG для своей программы SHRDLU . Впоследствии в 1980-х годах исследователи начали моделировать человеческие способности создавать отсылающие выражения. На этот новый подход к теме повлияли исследователи Аппельт и Кронфельд, которые создали программы KAMP и BERTRAND [8] [9] [10] и рассматривали обращение к выражениям как к частям более крупных речевых актов.
Некоторые из их наиболее интересных открытий заключались в том, что ссылающиеся выражения могут использоваться для добавления информации, помимо идентификации референта [9], а также влияния коммуникативного контекста и максим Грайсена на ссылающиеся выражения. [8] Более того, его скептицизм относительно естественности минимальных описаний сделал исследования Аппельта и Кронфельда основой для более поздних работ по REG.
Поиск простых, четко определенных проблем изменил направление исследований в начале 1990-х годов. Этим новым подходом руководили Дейл и Райтер, которые подчеркнули идентификацию референта как центральную цель. [11] [12] [13] [14] Как и Аппельт [8], они обсуждают связь между максимами Грайса и ссылочными выражениями в своей кульминационной статье [2], в которой они также предлагают формальное определение проблемы . Кроме того, Рейтер и Дейл обсуждают алгоритмы полной краткости и жадной эвристики , а также их инкрементный алгоритм (IA), который стал одним из самых важных алгоритмов в REG. [примечание 1]
Более поздние разработки
После 2000 года исследования начали отменять некоторые упрощающие предположения, которые были сделаны в ранних исследованиях REG, с целью создания более простых алгоритмов. Различные исследовательские группы сконцентрировались на разных ограничениях, создав несколько расширенных алгоритмов. Часто они расширяют IA в единственной перспективе, например, в отношении:
- Ссылка на такие наборы, как «те, кто носит футболки» или «зеленые яблоки и банан слева» [15] [16] [17] [18]
- Такие описания отношений, как «чаша на столе» или «женщина, у которой трое детей» [19] [20] [21] [22] [23]
- Зависимость от контекста , неопределенность и возможность оценки включают такие утверждения, как «пожилой мужчина» или «машина слева», которые часто неясны без контекста [6] [24] [25]
- Заметность и образование местоимений в значительной степени зависят от дискурса, например, «она» относится к «(наиболее заметной) женщине» [26] [27] [28] [29] [30] [31] [32]]
Многие упрощающие предположения все еще в силе или только начали работать. Кроме того, еще предстоит выполнить комбинацию различных расширений, и Крамер и ван Деемтер назвали ее «нетривиальным предприятием». [33]
Еще одним важным изменением после 2000 г. стало более широкое использование эмпирических исследований для оценки алгоритмов. Это развитие произошло благодаря появлению прозрачных корпусов . Хотя до сих пор ведутся дискуссии о том, какие метрики оценки лучше всего, использование экспериментальной оценки уже привело к лучшей сопоставимости алгоритмов, обсуждению целей REG и более целенаправленным исследованиям.
Кроме того, исследование расширило свой диапазон на связанные темы, такие как выбор фреймворков представления знаний (KR) . В этой области остается открытым главный вопрос, какой фреймворк KR наиболее подходит для использования в REG. Ответ на этот вопрос зависит от того, насколько хорошо могут быть выражены или найдены описания. Многие возможности фреймворков KR до сих пор остаются неиспользованными.
Некоторые из различных подходов включают использование:
- Поиск по графу, который обрабатывает отношения между целями так же, как свойства. [3] [21] [23] [34] [35]
- Удовлетворение ограничений, которое позволяет разделить спецификацию проблемы и реализацию. [19] [36]
- Современное представление знаний, которое предлагает логический вывод, например, в логике описания или концептуальных графах . [37] [38] [39]
[примечание 1]
Определение проблемы
Дейл и Рейтер (1995) думают о том, чтобы ссылаться на выражения как на отличительные описания.
Они определяют:
- Референт как объект , который должен быть описан
- Контекст устанавливается как совокупность выделяющихся субъектов
- Набор контраста или потенциальные отвлекающие факторы как все элементы набора контекста, кроме референта
- Свойство в качестве ссылки на одной пары атрибут-значение
Каждую сущность в домене можно охарактеризовать как набор пар атрибут-значение, напримертип, собака, женский пол или же возраст, 10 лет.
Тогда проблема определяется следующим образом:
Позволять быть предполагаемым референтом, и быть набором контраста. Затем набор пар атрибут-значение будут представлять собой отличительное описание, если выполняются следующие два условия:
- Каждая пара атрибут – значение в относится к : то есть каждый элемент указывает значение атрибута, которое обладает.
- Для каждого члена из , есть хотя бы один элемент из это не относится к : то есть есть в который указывает значение атрибута, которое не обладает. говорят, что исключает .
Другими словами, чтобы сгенерировать ссылающееся выражение, нужно найти набор свойств, которые применяются к референту, но не к отвлекающим факторам. [2]
Проблему можно легко решить, объединив все свойства референта, что часто приводит к длинным описаниям, нарушающим второй Грайсовский Максим количества . Другой подход - найти кратчайшее отличительное описание, как это делает алгоритм полной краткости . Однако на практике чаще всего вместо этого включают условие, согласно которому ссылочные выражения, созданные алгоритмом, должны быть как можно более похожими на созданные человеком, хотя это часто не упоминается явно. [примечание 1]
Базовые алгоритмы
Полная краткость
Алгоритм полной краткости всегда находит минимальное отличительное описание, что означает, что не существует более короткого отличительного описания в отношении используемых свойств.
Следовательно, он перебирает и проверяет каждое описание длины свойства, пока не будет найдено отличительное описание.
При таком способе создания ссылающихся выражений возникают две проблемы. Во-первых, алгоритм имеет высокую сложность, что означает, что он NP-сложен, что делает его непрактичным в использовании. [40] Во-вторых, говорящие-люди производят описания, которые во многих ситуациях не являются минимальными. [41] [42] [43] [44] [примечание 1]
Жадная эвристика
Алгоритм жадной эвристики [11] [12] приближает алгоритм полной краткости, итеративно добавляя к описанию наиболее отличительное свойство. Самое отличительное свойство означает свойство, исключающее большинство остальных отвлекающих факторов. Алгоритм жадной эвристики более эффективен, чем алгоритм полной краткости. [примечание 1]
Дейл и Рейтер (1995) [2] представляют следующий алгоритм жадной эвристики:
Позволять быть набором свойств, которые будут реализованы в нашем описании; позволять быть набором свойств, которые, как известно, соответствуют нашему предполагаемому референту (мы предполагаем, что не пусто); и разрешибыть набором отвлекающих факторов (набором контраста). Таким образом, начальные условия таковы:
все отвлекающие ; все свойства верны ;
Чтобы описать предполагаемый референт относительно набора контраста , делаем следующее:
1. Проверьте успех: если затем вернись как отличительное описание elseif затем сбой, иначе перейти к шагу 2.2. Выберите свойство: для каждого делать : Выбранное свойство , где самый маленький набор. goto Шаг 3.3. Расширить описание (по отношению к выбранному ): goto Шаг 1.
Инкрементальный алгоритм
Инкрементальный алгоритм (IA) Дейла и Рейтера [2] был наиболее влиятельным алгоритмом до 2000 года. Он основан на идее предпочтительного порядка атрибутов или свойств, которым руководствуются говорящие. Итак, чтобы запустить инкрементный алгоритм, сначала необходимо указать порядок предпочтения атрибутов. Теперь алгоритм следует этому порядку и добавляет к описанию те свойства, которые исключают любые оставшиеся отвлекающие факторы. Кроме того, Дейл и Рейтер [2] подчеркивают тип атрибута, который всегда включается в их описания, даже если он не исключает каких-либо отвлекающих факторов.
Также значения типа являются частью иерархии подчинения, включающей некоторые значения базового уровня . Например, в любимой области чихуахуа подводится с помощью собаки и собаки по животным . Поскольку собака определяется как собака базового уровня, алгоритмы будут отдавать предпочтение собаке , если чихуахуа не исключает никаких отвлекающих факторов.
Инкрементальный алгоритм прост в реализации, а также эффективен с точки зрения вычислений и выполняется за полиномиальное время . Описание, сгенерированное IA, может содержать избыточные свойства, которые являются излишними из-за добавленных позже свойств. Создатели не считают это слабым местом, а скорее делают выражения менее «психолингвистически неправдоподобными». [2]
Следующий алгоритм представляет собой упрощенную версию Dale и Пошаговый алгоритм Рейтера [2] по Крамер и ван Деемтера [33] , который принимает в качестве входных данных референта г , то Д , содержащий коллекцию объектов домена и домен-специфического упорядоченного списка Pref предпочтительных атрибуты. В обозначении L - описание, C - контекстный набор отвлекающих факторов, а функция RulesOut (⟨A i , V⟩) возвращает набор объектов, которые имеют значение, отличное от V для атрибута A i .
Инкрементальный алгоритм ({r}, D, Pref) L ← ∅ C ← D - {r} для каждого A i в списке Pref do V = Value (r, A i ), если C ∩ RulesOut (⟨A i , V⟩) ≠ ∅, то L ← L ∪ {⟨A i , V⟩} C ← C - RulesOut (⟨A i , V⟩) endif, если C = ∅, то вернуть L endif return failure [примечание 1]
Оценка систем REG
До 2000 года оценка систем REG носила теоретический характер, как это было сделано Дейлом и Рейтером. [2] В последнее время стали популярны эмпирические исследования, которые в основном основаны на предположении, что сгенерированные выражения должны быть похожи на созданные человеком. Оценка на основе корпуса началась в REG довольно поздно из-за отсутствия подходящих наборов данных. По-прежнему корпусная оценка является наиболее распространенным методом в настоящее время, хотя есть также оценка, основанная на человеческом суждении. [примечание 1]
Корпусная оценка
Во-первых, необходимо провести различие между корпусами текстов и экспериментальными корпусами. Текстовые корпуса, такие как корпус GNOME [1], могут содержать тексты из любых доменов. В REG они используются для оценки реализации части алгоритмов. С другой стороны, часть выбора содержимого REG требует корпуса, который содержит свойства всех объектов домена, а также свойства, используемые в ссылках. Обычно это полностью «семантически прозрачные» [45], созданные в экспериментах с использованием простых и контролируемых настроек.
Эти экспериментальные корпуса снова могут быть разделены на корпуса общего назначения, которые были собраны для другой цели, но были проанализированы на предмет ссылающихся выражений, и выделенные корпуса, которые специально ориентированы на ссылающиеся выражения. Примерами корпусов общего назначения являются Pear Stories [46], корпус Map Task [47] или корпус Coconut [48], в то время как корпус Bishop [49], корпус Drawer [50] и корпус TUNA [51] подсчитывают в выделенный корпус. Корпус TUNA, который содержит собранные в Интернете данные о двух доменах, мебели и людях, уже использовался в трех общих задачах REG. [примечание 1]
Метрики оценки
Для измерения соответствия между корпусами и результатами алгоритмов REG было разработано несколько метрик.
Для измерения части выбора контента используется коэффициент Dice [52] или показатель MASI (Соглашение об измерении элементов с установленными значениями) [53] . Они измеряют перекрытие свойств в двух описаниях. При оценке баллы обычно усредняются по ссылкам, сделанным разными людьми, участвующими в корпусе. Также иногда используется показатель, называемый процентом идеального отзыва (PRP) [51] или точностью [54], который вычисляет процент идеальных совпадений между эталоном, созданным алгоритмом, и эталоном, созданным человеком.
Для части лингвистической реализации REG перекрытие между строками измерялось с помощью таких показателей, как BLEU [55] или NIST . [56] Проблема, которая возникает со строковыми показателями, заключается в том, что, например, «маленькая обезьянка» измеряется ближе к «маленькому ослу», чем к «маленькой обезьянке».
Более трудоемкий способ оценки алгоритмов REG - позволить людям судить об адекватности (насколько четкое описание?) И беглости (дано ли описание на хорошем и ясном английском языке?) Сгенерированного выражения. Также Белц и Гатт [57] оценили ссылочные выражения с помощью экспериментальной установки. Участники получают сгенерированное описание, а затем должны щелкнуть цель. Здесь можно оценить время чтения внешних метрик, время идентификации и частоту ошибок. [примечание 1]
Заметки
- ^ a b c d e f g h i Этот раздел представляет собой отрывок из следующей статьи. Подробнее см .: E Krahmer, K van Deemter (2012). Вычислительная генерация ссылающихся выражений: обзор. Компьютерная лингвистика 38: 173-218 [1]
Рекомендации
- ^ а б М. Поэзио, Р. Стивенсон, Б. ди Эухенио, Дж. Хитцеман (2004). Центрирование: параметрическая теория и ее экземпляры. Компьютерная лингвистика 30: 309-363 [2]
- ^ Б с д е е г ч я J R Дейл, Е Рейтера (1995). Вычислительная интерпретация максим Грайсена при генерации ссылающихся выражений. Когнитивная наука , 18: 233–263.
- ^ a b E Krahmer, S van Erk, A Verleg (2003). Генерация ссылающихся выражений на основе графиков. Компьютерная лингвистика 23: 53-72 [3]
- ^ [4]
- ^ E Reiter, S Sripada, J Hunter, J Yu и I Davy (2005). Выбор слов в прогнозах погоды, генерируемых компьютером. Искусственный интеллект 167: 137-169.
- ^ a b Р. Тернер, И. Шрипада, Е. Рейтер (2009) Создание приблизительных географических описаний. Материалы 12-го Европейского семинара по созданию естественного языка (ENLG) , страницы 42–49, Афины. [5]
- ^ Т Виноград (1972). Понимание естественного языка. Academic Press , Нью-Йорк. Раздел 8.3.3, Именование объектов и событий
- ^ а б в Д. Аппельт (1985). Планирование английских ссылающихся выражений. Искусственный интеллект , 26: 1–33.
- ^ а б Д. Аппельт, А. Кронфельд (1987). Вычислительная модель обращения. В материалах 10-й Международной совместной конференции по искусственному интеллекту (IJCAI) , страницы 640–647, Милан.
- ^ Кронфельд (1990). Ссылка и вычисление: очерк прикладной философии языка. Издательство Кембриджского университета , Кембридж.
- ^ а б Р. Дейл (1989). Придумывать отсылающие выражения. В материалах 27-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL) , страницы 68–75.
- ^ а б Р. Дейл (1992). Генерация ссылающихся выражений: построение описаний в области объектов и процессов. TheMIT Press , Кембридж, Массачусетс.
- ^ E Reiter (1990). Вычислительная сложность избежания импликатур разговора. В материалах 28-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL) , страницы 97–104, Питтсбург, Пенсильвания.
- ↑ E Reiter, R Dale (1992). Быстрый алгоритм генерации ссылающихся выражений. В материалах 14-й Международной конференции по компьютерной лингвистике (COLING) , страницы 232–238, Нант.
- ^ H Horacek (2004). Обращаясь к множеству объектов естественно. Труды 3-й Международной конференции по созданию естественного языка (INLG) , страницы 70–79, Brockenhurst.
- ^ Gatt, K ван Деемтера (2007). Лексический выбор и концептуальная перспектива при генерации множественного числа ссылающихся выражений. Журнал логики, языка и информации , 16: 423–443.
- ^ IH Хан, K ван Деемтера, G Ритчи (2008). Генерация ссылающихся выражений: управление структурными неоднозначностями. Труды 22-й Международной конференции по компьютерной лингвистике (COLING) , страницы 433–440, Манчестер.
- ^ М Стоун (2000). Об идентификационных наборах. Труды 1-й Международной конференции по созданию естественного языка (INLG) , страницы 116–123, Мицпе Рамон.
- ^ a b R Дейл, Н. Хэддок (1991). Генерация ссылающихся выражений, включающих отношения. Труды 5-й конференции Европейского отделения Ассоциации компьютерных лингвистов (EACL) , страницы 161–166, Берлин.
- ^ E Крамер, M Theune (2002). Эффективная контекстно-зависимая генерация описаний в контексте. In K van Deemter, R Kibble, редакторы, Обмен информацией: актуальность и новизна в обработке языков . CSLI Publications, Стэнфорд, Калифорния, страницы 223–264.
- ^ a b J Viethen, R Dale (2008). Использование пространственных отношений в ссылочных выражениях. Труды 5-й Международной конференции по созданию естественного языка (INLG) , страницы 59–67, Солт-Форк, Огайо.
- ^ У Рен, К ван Деемтера, J Pan (2010). Диаграмма возможностей Description Logic для генерации ссылающихся выражений. Труды 6-й Международной конференции по созданию естественного языка (INLG) , страницы 115–124, Дублин.
- ^ a b E Krahmer, M Goudbeek, M Theune (2014). Обращение к генерации выражений во взаимодействии: перспектива на основе графиков. Стент, С. Бангалор (ред.), Генерация естественного языка в интерактивных системах . Издательство Кембриджского университета.
- ^ К ван Деемтера (2006). Создание ссылающихся выражений, включающих в себя регулируемые свойства. Компьютерная лингвистика , 32 (2): 195–222.
- ^ H Horacek (2005). Создание ссылочных описаний в условиях неопределенности. Материалы 10-го Европейского семинара по созданию естественного языка (ENLG) , страницы 58–67, Абердин.
- ^ R Passonneau (1996). Использование центрирования для ослабления информационных ограничений Грайса в дискурсе анафорических именных фраз. Язык и речь , 39: 229–264.
- ↑ PW Jordan (2000). Преднамеренное влияние на переописание объекта в диалоге: данные эмпирического исследования. Кандидат наук. защитил диссертацию в Питтсбургском университете.
- ^ E Hajičová (1993). Вопросы структуры предложения и паттернов дискурса - теоретическая и компьютерная лингвистика, Vol. 2 . Карлов университет, Прага.
- ^ BJ Grosz, AK Joshi, S Weinstein (1995). Центрирование: структура для моделирования локальной согласованности дискурса. Компьютерная лингвистика , 21: 203–225.
- ^ D DeVault, C Rich, CL Sidner (2004). Генерация естественного языка и контекст дискурса: вычисление отвлекающих наборов из стека фокуса. Труды 17-го Международного собрания Флоридского общества исследований искусственного интеллекта (FLAIRS) , Майами-Бич, Флорида.
- ^ Siddharthan, A Copestake (2004). Генерация ссылающихся выражений в открытых доменах. Материалы 42-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL) , страницы 407–414, Барселона.
- ^ I Paraboni, K ван Деемтера, J Masthoff (2007). Генерация ссылающихся выражений: упрощение идентификации референтов. Компьютерная лингвистика , 33: 229–254.
- ^ a b E Krahmer, K van Deemter (2012). Вычислительная генерация ссылающихся выражений: обзор. Компьютерная лингвистика 38: 173-218 [6]
- ^ Е Крамер, М Theune, J Viethen, я Хендрикс (2008). График: Издержки избыточности в ссылочных выражениях. Труды Международной конференции по созданию естественного языка (INLG) , страницы 227–229, Salt Fork, OH.
- ^ К ван Деемтера, E Крамер (2007). Графики и логические значения: генерация ссылающихся выражений. В H Bunt, R Muskens, редакторы, Computing Meaning, Volume 3. Исследования в области лингвистики и философии . Издательство Springer, Берлин, страницы 397–422.
- ^ C Gardent (2002). Генерация минимально определенных описаний. Материалы 40-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL) , страницы 96–103, Филадельфия, Пенсильвания.
- ^ M Croitoru, K ван Деемтера (2007). Концептуальный графовый подход к генерации ссылающихся выражений. Труды 20-й Международной совместной конференции по искусственному интеллекту (IJCAI) , страницы 2456–2461, Хайдарабад.
- ^ C Gardent, K Striegnitz (2007). Создание промежуточных определенных описаний. В H Bunt, Рейнхард Маскенс, редакторы, Computing Meaning, Volume 3. Исследования в области лингвистики и философии. Издательство Springer, страницы 369–396, Берлин, DB.
- ^ C Areces, A Koller, K Striegnitz (2008). Обращение к выражениям как к формулам логики описания. Труды 5-й Международной конференции по созданию естественного языка (INLG) , страницы 42–49, Солт-Форк, Огайо.
- ^ MR Garey, D S. Johnson (1979). Компьютеры и несговорчивость: руководство по теории NP – полноты . WH Freeman, Нью-Йорк.
- ^ DR Olson (1970). Язык и мысль: аспекты когнитивной теории семантики. Психологический обзор , 77: 257–273.
- ^ S Sonnenschein (1984). Влияние избыточной коммуникации на слушателей: почему разные типы могут иметь разные эффекты. Журнал психолингвистических исследований , 13: 147–166.
- ^ T Pechmann (1989). Инкрементное производство речи и референциальное уточнение. Языкознание , 27: 98–110.
- ^ PE Энгельгардт, K GD Bailey, F Ferreira (2006). Соблюдают ли ораторы и слушатели Грайсовский Максим количества? Журнал памяти и языка , 54: 554–573.
- ^ К ван Деемтера, я ван дер Sluis, A Gatt (2006). Создание семантически прозрачного корпуса для генерации ссылающихся выражений. В материалах 4-й Международной конференции по созданию естественного языка (INLG) , страницы 130–132, Сидней.
- ^ WW Chafe (1980). Грушевые истории: когнитивные, культурные и лингвистические аспекты нарративного производства. Ablex, Норвуд, Нью-Джерси.
- ^ А.А. Андерсон, М. Бейдер, Э. Гурман Бард, Э. Бойл, Дж. Доэрти, С. Гаррод, С. Айсард, Дж. Ковтко, Дж. Макаллистер, Дж. Миллер, С. Сотилло, Х. Томпсон, Р. Вайнерт (1991). Корпус задач карты HCRC. Язык и речь , 34: 351–366.
- ^ Б. Ди Эухенио, П. У. Джордан, Р. Х. Томасон, Дж. Д. Мур (2000). Процесс согласования: эмпирическое исследование компьютерных диалогов между человеком и человеком. Международный журнал исследований человека и компьютера , 53: 1017–1076.
- ^ P Горняк, D Рой (2004). Обоснованная смысловая композиция для визуальных сцен. Журнал исследований искусственного интеллекта , 21: 429–470.
- ^ J Viethen, R Dale (2006). Алгоритмы генерации ссылающихся выражений: делают ли они то, что делают люди ?. Труды 4-й Международной конференции по созданию естественного языка (INLG) , страницы 63–70, Сидней.
- ^ a b А. Гатт, И. ван дер Слуис, К. ван Деемтер (2007). Оценка алгоритмов генерации ссылающихся выражений с использованием сбалансированного корпуса. Материалы 11-го Европейского семинара по созданию естественного языка (ENLG) , страницы 49–56, Schloss Dagstuhl.
- ^ LR Dice (1945). Меры степени экологической связи между видами. Экология , 26: 297–302.
- ^ R Passonneau (2006). Согласование измерений по многозначным элементам (MASI) для семантической и прагматической аннотации. Труды 5-й Международной конференции по языковым ресурсам и оценке (LREC) , страницы 831–836, Генуя.
- ^ Gatt, A Белз, E Ков (2008). Вызов TUNA 2008: Обзор и результаты оценки. Труды 5-й Международной конференции по созданию естественного языка (INLG) , страницы 198–206, Солт-Форк, Огайо.
- ^ K Papineni, S Roukos, T Ward, W Zhu (2002). BLEU: метод автоматической оценки машинного перевода. Материалы 40-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL) , страницы 311–318, Филадельфия, Пенсильвания.
- ^ G Доддингтон (2002). Автоматическая оценка качества машинного перевода с использованием статистики совпадения n-граммов. Труды 2-й Международной конференции по исследованиям технологий человеческого языка (HLT) , страницы 138–145, Сан-Диего, Калифорния.
- ^ Белз, A Gatt (2008). Внутренние и внешние меры оценки для генерации референтного выражения. Материалы 46-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL) , Колумбус, Огайо.