Банк деревьев

Использование внешних ссылок в этой статье может не соответствовать политике или рекомендациям Википедии . Пожалуйста , улучшите эту статью , удалив лишние или неуместные внешние ссылки и преобразовав полезные ссылки, где это уместно, в сноски . ( ноябрь 2017 г. ) ( узнайте, как и когда удалять это шаблонное сообщение )

Эта статья нуждается в дополнительных ссылках для проверки . Пожалуйста, помогите улучшить эту статью , добавив ссылки на надежные источники . Неисходный материал может быть оспорен и удален. Найдите источники:  «Treebank»  —  новости  · газеты  · книги  · ученый  · JSTOR ( октябрь 2021 г. ) ( узнайте, как и когда удалить это шаблонное сообщение )

Большинство синтаксических древовидных банков аннотируют варианты структуры фразы (слева) или структуры зависимостей (справа).

В лингвистике банк деревьев представляет собой анализируемый корпус текста , который аннотирует синтаксическую или семантическую структуру предложения . Построение анализируемых корпусов в начале 1990-х произвело революцию в компьютерной лингвистике , которая извлекла выгоду из крупномасштабных эмпирических данных . ^[1]

Этимология

Термин « банк деревьев» был придуман лингвистом Джеффри Личем в 1980-х годах по аналогии с другими хранилищами, такими как банк семян или банк крови . ^[2] Это связано с тем, что как синтаксическая, так и семантическая структура обычно композиционно представляются в виде древовидной структуры . Термин « разобранный корпус » часто используется взаимозаменяемо с термином «банк деревьев» с акцентом на первичность предложений, а не деревьев.

Строительство

Банки деревьев часто создаются поверх корпуса, который уже был аннотирован тегами части речи . В свою очередь, банки деревьев иногда дополняются семантической или другой лингвистической информацией. Банки деревьев могут быть созданы полностью вручную, когда лингвисты аннотируют каждое предложение синтаксической структурой, или полуавтоматически, когда синтаксический анализатор присваивает некоторую синтаксическую структуру, которую лингвисты затем проверяют и, при необходимости, корректируют. На практике полная проверка и завершение синтаксического анализа корпусов естественного языка является трудоемким проектом, который может занять у группы дипломированных лингвистов несколько лет. Уровень детализации аннотации и широта лингвистической выборки определяют сложность задачи и время, необходимое для построения банка деревьев.

Некоторые банки деревьев следуют определенной лингвистической теории в своих синтаксических аннотациях (например, BulTreeBank следует за HPSG ), но большинство стараются быть менее специфичными для теории. Однако можно выделить две основные группы: древовидные банки, которые аннотируют структуру фразы (например, Penn Treebank или ICE-GB ), и те, которые аннотируют структуру зависимостей (например, пражский древовидный банк зависимостей или коранический арабский древовидный банк зависимостей ).

Важно прояснить различие между формальным представлением и форматом файла, используемым для хранения аннотированных данных. Берега деревьев обязательно строятся по определенной грамматике. Одна и та же грамматика может быть реализована в разных форматах файлов. Например, синтаксический анализ слова « Джон любит Мэри », показанный на рисунке справа, может быть представлен простыми помеченными скобками в текстовом файле, подобно этому (в соответствии с нотацией Penn Treebank ):

(С (НП (ННП Джон)) (ВП (ВПЗ любит) (НП (ННП Мары))) (. . .))

Этот тип представления популярен, поскольку требует мало ресурсов, а древовидная структура относительно легко читается без использования программных средств. Однако по мере того, как корпуса становятся все более сложными, могут быть предпочтительны другие форматы файлов. Альтернативы включают XML - схемы, специфичные для банка деревьев, нумерованные отступы и различные типы нотаций зазоров.

Приложения

С точки зрения вычислительной лингвистики ^[3] банки деревьев использовались для разработки современных систем обработки естественного языка, таких как маркировщики частей речи , синтаксические анализаторы , семантические анализаторы и системы машинного перевода. ^[4]Большинство вычислительных систем используют данные банка деревьев золотого стандарта. Тем не менее, автоматически проанализированный корпус, не исправленный лингвистами-людьми, все же может быть полезен. Он может предоставить свидетельство частоты правил для синтаксического анализатора. Анализатор можно улучшить, применяя его к большим объемам текста и собирая частоты правил. Однако должно быть очевидно, что только в процессе исправления и дополнения корпуса вручную можно идентифицировать правила, отсутствующие в базе знаний парсера. Кроме того, частоты, вероятно, будут более точными.

В корпусной лингвистике банки деревьев используются для изучения синтаксических явлений (например, диахронические корпуса могут использоваться для изучения динамики синтаксических изменений во времени). После анализа корпус будет содержать данные о частоте, показывающие, насколько часто используются различные грамматические структуры. Банки деревьев также предоставляют доказательства охвата и поддерживают открытие новых, непредвиденных грамматических явлений.

Еще одно использование деревьев в теоретической лингвистике и психолингвистике - свидетельство взаимодействия. Заполненный банк деревьев может помочь лингвистам провести эксперименты, чтобы выяснить, как решение использовать одну грамматическую конструкцию имеет тенденцию влиять на решение сформировать другие, и попытаться понять, как говорящие и писатели принимают решения, формируя предложения. Исследования взаимодействия особенно плодотворны, когда к корпусу добавляются дополнительные уровни аннотаций, например, семантический, прагматический. Затем можно оценить влияние несинтаксических явлений на грамматический выбор.

В лингвистических исследованиях аннотированные данные банка деревьев использовались в синтаксических исследованиях для проверки лингвистических теорий структуры предложений на большом количестве встречающихся в природе примеров. ^{[ нужна ссылка ]}

Семантические деревья деревьев

Семантический древовидный банк представляет собой набор предложений на естественном языке, аннотированных смысловым представлением. Эти ресурсы используют формальное представление семантической структуры каждого предложения . Семантические древовидные банки различаются по глубине своего семантического представления. Ярким примером глубокой семантической аннотации является Groningen Meaning Bank , разработанный в Университете Гронингена и аннотированный с использованием теории репрезентации дискурса . Примером неглубокого семантического древовидного банка является PropBank , который обеспечивает аннотацию словесных предложений и их аргументов, не пытаясь представить каждое слово в корпусе в логической форме .

Синтаксические банки деревьев

Многие синтаксические банки деревьев были разработаны для самых разных языков:

Чтобы облегчить дальнейшие исследования между многоязычными задачами, некоторые исследователи обсудили универсальную схему аннотации для кросс-языков. Таким образом, люди пытаются использовать или объединить преимущества различных корпусов банков деревьев. Например, универсальный подход к аннотации для деревьев зависимостей; ^[10] и универсальный подход к аннотации для банков деревьев структуры фраз. ^[11]

инструменты поиска

Один из ключевых способов извлечения доказательств из банка деревьев — использование инструментов поиска. Инструменты поиска для проанализированных корпусов обычно зависят от схемы аннотаций, примененной к корпусу. Пользовательские интерфейсы варьируются по сложности от систем запросов на основе выражений, предназначенных для компьютерных программистов, до полных сред исследования, предназначенных для общих лингвистов. Уоллис (2008) подробно обсуждает принципы поиска на деревьях и анализирует состояние дел того времени. ^[12]

Смотрите также

• Текстовый корпус
• Грамматика структуры фразы
• Грамматика зависимостей
• Разбор
• Маркировка частями речи

использованная литература