ROUGE , или Recall-ориентированный дублер Gisting оценки , [1] представляет собой набор метрик и пакет программного обеспечения , используемый для оценки автоматического реферирования и машинного перевод программного обеспечения в обработке естественного языка . Показатели сравнивают автоматически созданное резюме или перевод со ссылкой или набором ссылок (созданных человеком), резюме или перевод.
Метрики
Доступны следующие пять показателей оценки.
- ROUGE-N: перекрытие N-граммов [2] между системным и справочным сводками.
- ROUGE-1 относится к наложению униграммы (каждого слова) между системным и справочным сводками.
- ROUGE-2 относится к наложению биграмм между системным и справочным сводками.
- ROUGE-L: Статистика на основе самой длинной общей подпоследовательности (LCS) [3] . Задача о самой длинной общей подпоследовательности естественным образом учитывает сходство структуры на уровне предложения и автоматически определяет самое длинное совпадение в n-граммах последовательности.
- ROUGE-W: взвешенная статистика на основе LCS, которая отдает предпочтение последовательным LCS.
- ROUGE-S: Пропуск фрагментов Биграммной [4] на основе статистики смежности. Пропустить-биграмму - это любая пара слов в порядке их предложения.
- ROUGE-SU: статистика совместной встречаемости на основе скип-биграмм и униграммы.
Смотрите также
Рекомендации
- ^ Линь, Чин-Ю. 2004. ROUGE: Пакет для автоматической оценки резюме. В материалах семинара по ветвям обобщения текстов (WAS 2004), Барселона, Испания, 25-26 июля 2004 г.
- ^ Лин, Чин-Ю и Э. Х. Хови 2003. Автоматическая оценка сводок с использованием статистики совпадения N-граммов. В материалах конференции языковых технологий 2003 г. (HLT-NAACL 2003), Эдмонтон, Канада, 27 мая - 1 июня 2003 г.
- ^ Лин, Чин-Ю и Франц Йозеф Оч. 2004a. Автоматическая оценка качества машинного перевода с использованием статистики самой длинной общей подпоследовательности и пропускной биграммы. В материалах 42-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL 2004), Барселона, Испания, 21–26 июля 2004 г.
- ^ Лин, Чин-Ю и Франц Йозеф Оч. 2004a. Автоматическая оценка качества машинного перевода с использованием статистики самой длинной общей подпоследовательности и пропускной биграммы. В материалах 42-го ежегодного собрания Ассоциации компьютерной лингвистики (ACL 2004), Барселона, Испания, 21–26 июля 2004 г.