Университет Брауна Стандартный корпус современного американского английского языка (или просто коричневый корпус ) представляет собой электронное собрание текстовых образцов американского варианта английского языка, первый крупный структурированный корпус разнообразных жанров. Этот корпус впервые установил планку для научного изучения частоты и распределения категорий слов в повседневном использовании языка. Составленный Генри Кучерой и У. Нельсоном Фрэнсисом из Университета Брауна в Род-Айленде , он представляет собой общий языковой корпус, содержащий 500 образцов английского языка, в общей сложности около миллиона слов, составленный из работ, опубликованных в Соединенных Штатах в 1961 году.
История
В 1967 году Кучера и Фрэнсис опубликовали свою классическую работу « Вычислительный анализ современного американского английского» , в которой были представлены основные статистические данные о том, что сегодня известно просто как Коричневый корпус . [1]
«Коричневый корпус» представлял собой тщательно подобранную подборку современного американского английского языка, насчитывающую около миллиона слов, взятых из самых разных источников. Кучера и Фрэнсис подвергли ее множеству компьютерных анализов, на основе которых они составили богатый и разнообразный труд, сочетающий элементы лингвистики, психологии, статистики и социологии. Он очень широко использовался в компьютерной лингвистике и в течение многих лет был одним из наиболее цитируемых ресурсов в этой области. [2]
Вскоре после публикации первого лексикостатистического анализа бостонское издательство Houghton-Mifflin обратилось к Кучере с просьбой предоставить трехстрочную базу цитирования из миллиона слов для ее нового словаря American Heritage Dictionary . Этот новаторский новый словарь, впервые появившийся в 1969 году, был первым словарем, составленным с использованием корпусной лингвистики для определения частоты слов и другой информации.
Первоначальный Коричневый Корпус содержал только сами слова плюс идентификатор местоположения для каждого из них. В течение следующих нескольких лет были применены теги части речи. Программа создания тегов Greene and Rubin (см. Раздел "Разметка речи" ) значительно помогла в этом, но высокий уровень ошибок означал, что требовалась обширная ручная корректура.
Коричневый корпус с тегами использовал выборку из примерно 80 частей речи, а также специальные индикаторы для сложных форм, сокращений, иностранных слов и некоторых других явлений и сформировал модель для многих более поздних корпусов, таких как Корпус Ланкастера-Осло-Бергена. (Британский английский с начала 1990-х) и Freiburg-Brown Corpus of American English (FROWN) (американский английский с начала 1990-х). [3] [4] Добавление тегов к корпусу позволило провести более сложный статистический анализ, такой как работа, запрограммированная Эндрю Маки и описанная в книгах по грамматике английского языка. [5]
Один интересный результат заключается в том, что даже для довольно больших выборок графическое отображение слов в порядке убывания частоты встречаемости показывает гиперболу : частота n-го наиболее часто встречающегося слова примерно пропорциональна 1 / n . Таким образом, «the» составляет почти 7% Brown Corpus, «к» и «из» - более чем еще по 3% каждое; в то время как около половины всего словарного запаса, составляющего около 50 000 слов, составляют hapax legomen : слова, встречающиеся в корпусе только один раз. [6] Это простое соотношение рангов и частот было отмечено Джорджем Кингсли Зипфом для необычайного разнообразия явлений (например, см. Его Психобиологию языка ) и известно как закон Зипфа .
Хотя Brown Corpus был пионером в области корпусной лингвистики, к настоящему времени типичные корпуса (такие как Corpus of Contemporary American English , British National Corpus или International Corpus of English ), как правило, намного больше, порядка 100 миллионов слов.
Распределение образцов
Корпус состоит из 500 образцов, распределенных по 15 жанрам, примерно пропорционально количеству, опубликованному в 1961 году в каждом из этих жанров. Все отобранные работы были опубликованы в 1961 году; насколько можно было определить, они были впервые опубликованы тогда и были написаны носителями американского английского языка.
Каждая выборка начинается со случайной границы предложения в статье или другой выбранной единице и продолжается до границы первого предложения после 2000 слов. В очень немногих случаях неправильный подсчет приводил к тому, что образцы составляли чуть менее 2000 слов.
Первоначальный ввод данных производился на машинах с клавиатурным вводом только в верхнем регистре ; заглавные буквы были обозначены предшествующей звездочкой, и различные специальные элементы, такие как формулы, также имели специальные коды.
Первоначально корпус (1961 г.) содержал 1014312 слов, взятых из 15 категорий текста:
- А. ПРЕСС: Репортаж ( 44 текста )
- Политическая
- Виды спорта
- Общество
- Spot Новости
- Финансовый
- Культурный
- Б. ПРЕССА: От редакции ( 27 текстов )
- Institutional Daily
- Личное
- Письма в редакцию
- C. PRESS: Обзоры ( 17 текстов )
- театр
- книги
- Музыка
- танцевать
- D. РЕЛИГИЯ ( 17 тексты )
- Книги
- Периодические издания
- Трактаты
- E. НАВЫКИ И ХОББИ ( 36 текстов )
- Книги
- Периодические издания
- F. ПОПУЛЯРНЫЕ ЗНАНИЯ ( 48 текстов )
- Книги
- Периодические издания
- G. BELLES-LETTRES - Биография, Воспоминания и др. ( 75 текстов )
- Книги
- Периодические издания
- H. РАЗНОЕ: Правительство и внутренние органы США ( 30 текстов )
- Правительственные документы
- Отчеты Фонда
- Отраслевые отчеты
- Каталог колледжей
- Орган Промышленного Дома
- J. ВЫУЧИЛ ( 80 текстов )
- Природные науки
- Медицина
- Математика
- Социальные и поведенческие науки
- Политология, право, образование
- Гуманитарные науки
- Технологии и инженерия
- K. FICTION: General ( 29 текстов )
- Романы
- Короткие истории
- L. FICTION: Mystery and Detective Fiction ( 24 текста )
- Романы
- Короткие истории
- М. ФИКЦИЯ: Наука ( 6 текстов )
- Романы
- Короткие истории
- N. FICTION: Adventure and Western ( 29 текстов )
- Романы
- Короткие истории
- P. FICTION: Romance and Love Story ( 29 текстов )
- Романы
- Короткие истории
- Р. ЮМОР ( 9 текстов )
- Романы
- Очерки и др.
Используемые теги части речи
Тег | Определение |
---|---|
. | приговор (. ; ? *) |
( | левая парен |
) | правая рука |
* | нет, нет |
- | бросаться |
, | запятая |
: | двоеточие |
ABL | пре-квалификатор (скорее, скорее) |
ABN | пре-квантификатор (половина, все) |
ABX | пре-квантификатор (оба) |
AP | пост-определитель (многие, несколько, следующий) |
В | статья (a, the, no) |
БЫТЬ | быть |
КРОВАТЬ | мы |
БЭДЗ | было |
ОЧЕНЬ ПРОШУ | существование |
БЭМ | являюсь |
БЕН | был |
BER | есть, искусство |
BBB | является |
CC | координирующий союз (и, или) |
CD | кардинальное число (один, два, 2 и т. д.) |
CS | подчинительный союз (если, хотя) |
ДЕЛАТЬ | делать |
МО | сделал |
ДОЗ | делает |
DT | сингулярный определитель / квантор (это, это) |
DTI | определитель / квантификатор единственного или множественного числа (некоторые, любые) |
DTS | определитель множественного числа (эти, те) |
DTX | определитель / двойная конъюнкция (либо) |
БЫВШИЙ | экзистенциальный там |
FW | иностранное слово (через дефис перед обычным тегом) |
HL | слово, встречающееся в заголовке (через дефис после обычного тега) |
HV | имеют |
HVD | имел (прошедшее время) |
HVG | имея |
HVN | было (причастие прошедшего времени) |
HVZ | имеет |
В | предлог |
JJ | прилагательное |
JJR | сравнительное прилагательное |
JJS | семантически превосходная степень прилагательного (главный, верхний) |
JJT | морфологически превосходная степень прилагательного (самый большой) |
Доктор медицины | модальный вспомогательный (может, должен, будет) |
NC | процитированное слово (через дефис после обычного тега) |
NN | единственное или неисчислимое существительное |
NN $ | притяжательное единственное число |
NNS | существительное во множественном числе |
NNS $ | притяжательное существительное во множественном числе |
НП | имя собственное или часть именной фразы |
NP $ | притяжательное имя собственное |
NPS | существительное во множественном числе |
NPS $ | притяжательное множественное число собственное существительное |
NR | наречное существительное (дом, сегодня, запад) |
NRS | существительное множественного числа |
OD | порядковая цифра (первая, вторая) |
PN | именное местоимение (все, ничего) |
PN $ | притяжательное именное местоимение |
PP $ | притяжательное личное местоимение (мое, наше) |
PP $$ | второе (именное) притяжательное местоимение (мое, наше) |
PPL | единственное возвратное / интенсивное личное местоимение (я) |
PPLS | множественное число возвратное / интенсивное личное местоимение (мы) |
PPO | объективное личное местоимение (я, он, это, они) |
PPS | 3-й. местоимение именительного падежа единственного числа (он, она, оно, один) |
PPSS | другое именительное личное местоимение (я, мы, они, ты) |
QL | квалификатор (очень, честно) |
QLP | пост-квалификатор (действительно) |
РБ | наречие |
RBR | сравнительное наречие |
RBT | наречие в превосходной степени |
RN | именное наречие (здесь, значит, в помещении) |
RP | наречие / частица (около, выкл, вверх) |
TL | слово, встречающееся в заголовке (через дефис после обычного тега) |
К | маркер инфинитива для |
ЭМ-М-М | междометие, восклицание |
VB | глагол, основная форма |
VBD | глагол, прошедшее время |
VBG | глагол, причастие настоящего времени / герундий |
VBN | глагол, причастие прошедшего времени |
VBP | глагол, не 3-е лицо, единственное число, настоящее |
ВБЗ | глагол, 3-й. исключительный подарок |
WDT | WH- определитель (что, что) |
WP $ | притяжательное wh- местоимение (чей) |
WPO | объективный wh- местоимение (кого, что, что) |
WPS | именительный падеж wh- местоимение (кто, что, это) |
WQL | wh- квалификатор (как) |
WRB | wh- наречие (как, где, когда) |
Обратите внимание, что некоторые версии помеченного корпуса Brown содержат комбинированные теги. Например, слово «хочу» помечено как VB + TO, поскольку это сокращенная форма двух слов: want / VB и to / TO. Также некоторые теги могут быть инвертированы, например, «не» будет помечено как «BER *», где * означает отрицание. Кроме того, теги могут иметь перенос: тег -HL переносится к обычным тегам слов в заголовках. Тег -TL переносится к обычным тегам слов в заголовках. Переносы -NC означает в подчеркнуто слово. Иногда тег имеет префикс FW-, что означает иностранное слово. [ необходима цитата ]
Смотрите также
- LOB Corpus , корпус британского английского, основанный на тех же параметрах, что и Brown Corpus
- Британский национальный корпус
Рекомендации
- ^ Фрэнсис, В. Нельсон и Генри Кучера. 1967. Вычислительный анализ современного американского английского. Провиденс, Род-Айленд: Brown University Press.
- ^ Фрэнсис, В. Нельсон и Генри Кучера. 1979. BROWN CORPUS MANUAL: Руководство по информации, сопровождающей стандартный корпус современного редактируемого американского английского языка для использования с цифровыми компьютерами. http://icame.uib.no/brown/bcm.html .
- ^ Хундт, Марианна, Андреа Санд и Райнер Симунд. 1998. Справочник по информации, сопровождающей корпус американского английского языка Фрайбург-Браун (FROWN). http://khnt.hit.uib.no/icame/manuals/frown/INDEX.HTM
- ^ Пиявка, Джеффри и Николас Смит. 2005. Расширение возможностей корпусных исследований английского языка в двадцатом веке: приквел к LOB и FLOB. ICAME Journal 29. 83–98.
- ^ Уинтроп Нельсон Фрэнсис и Генри Кучера. 1983. Частотный анализ употребления английского языка: лексика и грамматика, Houghton Mifflin.
- ^ Кирстен Malmkjær, лингвистики Энциклопедия , 2е изд, Routledge, 2002, ISBN 0-415-22210-9 , стр. 87.