История обработки естественного языка описывает ухаживание обработки естественного языка (Outline обработки естественного языка). Есть некоторое совпадение с историей машинного перевода , историей распознавания речи и историей искусственного интеллекта .
Исследования и разработки [ править ]
История машинного перевода восходит к семнадцатому веку, когда такие философы, как Лейбниц и Декарт, выдвинули предложения о кодах, которые связывали бы слова между языками. Все эти предложения остались теоретическими, и ни одно из них не привело к созданию реальной машины.
Первые патенты на «переводческие машины» были поданы в середине 1930-х годов. Одно из предложений Жоржа Арцруни было просто автоматическим двуязычным словарем на бумажной ленте . Другое предложение, от Петра Троянского , на русском языке , было более подробно. Он включал в себя как двуязычный словарь, так и метод работы с грамматическими ролями между языками, основанный на эсперанто .
В 1950 году Алан Тьюринг опубликовал свою знаменитую статью « Вычислительные машины и интеллект », в которой в качестве критерия интеллекта предложил то, что сейчас называется тестом Тьюринга . Этот критерий зависит от способности компьютерной программы выдавать себя за человека в письменной беседе в реальном времени с судьей-человеком, причем достаточно хорошо, чтобы судья не мог надежно провести различие - на основе только разговорного содержания - между программой и настоящий человек.
В 1957 году « Синтаксические структуры» Ноама Хомского произвели революцию в лингвистике, создав « универсальную грамматику », систему синтаксических структур, основанную на правилах. [1]
Эксперимент Georgetown в 1954 году участвует полностью автоматический перевод более чем шестидесяти русских предложений на английский язык. Авторы утверждали, что в течение трех-пяти лет машинный перевод станет решенной проблемой. [2] Однако реальный прогресс был намного медленнее, и после отчета ALPAC в 1966 году, в котором было обнаружено, что десятилетние исследования не оправдали ожиданий, финансирование машинного перевода резко сократилось. Мало дальнейших исследований в области машинного перевода проводилось до конца 1980-х годов, когда были разработаны первые системы статистического машинного перевода .
Некоторыми особенно успешными системами НЛП, разработанными в 1960-х годах, были SHRDLU , система естественного языка, работающая в ограниченных « блочных мирах » с ограниченными словарями.
В 1969 году Роджер Шэнк представил концептуальную теорию зависимости для понимания естественного языка. [3] Эта модель, на которую частично повлияли работы Сиднея Лэмба , широко использовалась студентами Шанка в Йельском университете , такими как Роберт Виленски, Венди Ленерт и Джанет Колоднер .
В 1970 году Уильям А. Вудс представил расширенную сеть переходов (ATN) для представления ввода на естественном языке. [4] Вместо правил структуры фраз в ATN использовался эквивалентный набор конечных автоматов , которые вызывались рекурсивно. ATN и их более общий формат, называемый «обобщенные ATN», продолжали использоваться в течение ряда лет. В 1970-х годах многие программисты начали писать «концептуальные онтологии», которые структурировали реальную информацию в понятные компьютеру данные. Примеры: MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) и Plot Units (Lehnert 1981). ). За это время многие чаттерботыбыли написаны, включая PARRY , Racter и Jabberwacky .
Вплоть до 1980-х годов большинство систем НЛП были основаны на сложных наборах рукописных правил. Однако, начиная с конца 1980-х годов, в НЛП произошла революция с появлением алгоритмов машинного обучения для языковой обработки. Это было связано как с неуклонным увеличением вычислительной мощности в результате применения закона Мура, так и с постепенным уменьшением доминирования теорий лингвистики Хомского (например, трансформационной грамматики ), теоретические основы которых не одобряли лингвистику корпуса , лежащую в основе подхода машинного обучения. языковая обработка. [5] Некоторые из наиболее ранних алгоритмов машинного обучения, например деревья решений.создали системы жестких правил «если-то», аналогичные существующим рукописным правилам. Однако все больше исследований уделяется статистическим моделям , которые принимают мягкие, вероятностные решения, основанные на добавлении действительных весов к характеристикам, составляющим входные данные. Модели кэшированного языка, на которых в настоящее время полагаются многие системы распознавания речи, являются примерами таких статистических моделей. Такие модели, как правило, более надежны при вводе незнакомых входных данных, особенно входных данных, содержащих ошибки (что очень часто встречается в реальных данных), и дают более надежные результаты при интеграции в более крупную систему, включающую несколько подзадач.
Многие из первых заметных успехов были достигнуты в области машинного перевода , особенно благодаря работе в IBM Research, где последовательно разрабатывались все более сложные статистические модели. Эти системы могли использовать преимущества существующих многоязычных текстовых корпусов , которые были созданы Парламентом Канады и Европейского Союза.в результате принятия законов, требующих перевода всех правительственных заседаний на все официальные языки соответствующих систем управления. Однако большинство других систем зависело от корпусов, специально разработанных для задач, реализуемых этими системами, что было (и часто остается) основным ограничением успеха этих систем. В результате большое количество исследований было направлено на методы более эффективного обучения на ограниченных объемах данных.
Недавние исследования все больше внимания на неконтролируемые и пол-контролируемых алгоритмы обучения. Такие алгоритмы могут учиться на данных, которые не были аннотированы вручную с желаемыми ответами, или с использованием комбинации аннотированных и неаннотированных данных. Как правило, эта задача намного сложнее, чем обучение с учителем, и обычно дает менее точные результаты для заданного количества входных данных. Однако доступно огромное количество неаннотированных данных (включая, среди прочего, весь контент Всемирной паутины ), которые часто могут компенсировать худшие результаты.
Программное обеспечение [ править ]
| Программное обеспечение | Год | Создатель | Описание | Справка |
|---|---|---|---|---|
| Джорджтаунский эксперимент | 1954 г. | Джорджтаунский университет и IBM | задействован полностью автоматический перевод более шестидесяти русских предложений на английский язык. | |
| УЧЕНИК | 1964 г. | Дэниел Боброу | мог решать школьные задачи по алгебре. [6] | |
| ELIZA | 1964 г. | Йозеф Вайценбаум | симуляция психотерапевта из Роджера , перефразировавшего свою реакцию с помощью нескольких грамматических правил. [7] | |
| ШРДЛУ | 1970 г. | Терри Виноград | система естественного языка, работающая в ограниченных " мирах блоков " с ограниченным словарным запасом, работала очень хорошо | |
| ПАРИРОВАТЬ | 1972 г. | Кеннет Колби | Chatterbot | |
| KL-ONE | 1974 г. | Sondheimer et al. | система представления знаний в традициях семантических сетей и фреймов; это фреймовый язык . | |
| МАРДЖИ | 1975 г. | Роджер Шэнк | ||
| TaleSpin (программное обеспечение) | 1976 г. | Михан | ||
| QUALM | Ленерт | |||
| ЛЕСТНИЦА / ЛЕСТНИЦА | 1978 г. | Хендрикс | естественный язык интерфейса к базе данных о кораблях ВМС США. | |
| SAM (программное обеспечение) | 1978 г. | Каллингфорд | ||
| PAM (программное обеспечение) | 1978 г. | Роберт Виленски | ||
| Политика (программное обеспечение) | 1979 г. | Карбонелл | ||
| Блоки сюжета (программное обеспечение) | 1981 г. | Ленерт | ||
| Jabberwacky | 1982 г. | Ролло Карпентер | chatterbot с заявленной целью «имитировать естественный человеческий чат в интересной, развлекательной и юмористической манере». | |
| MUMBLE (программное обеспечение) | 1982 г. | Макдональдс | ||
| Racter | 1983 г. | Уильям Чемберлен и Томас Эттер | чаттербот, который произвольно генерировал англоязычную прозу. | |
| МОПТРАНС [8] | 1984 | Литинен | ||
| КОДИАК (программное обеспечение) | 1986 г. | Виленский | ||
| Absity (программное обеспечение) | 1987 г. | Hirst | ||
| Доктор сбайтсо | 1991 г. | Творческие лаборатории | ||
| Watson (программное обеспечение искусственного интеллекта) | 2006 г. | IBM | Система ответов на вопросы, победившая в Jeopardy! Конкурс, победив лучших игроков-людей в феврале 2011 года. | |
| Siri | 2011 г. | яблоко | Виртуальный помощник, разработанный Apple. | |
| Кортана | 2014 г. | Microsoft | Виртуальный помощник, разработанный Microsoft. | |
| Amazon Alexa | 2014 г. | Amazon | Виртуальный помощник, разработанный Amazon. | |
| Google Ассистент | 2016 г. | Виртуальный помощник, разработанный Google. |
Ссылки [ править ]
- ^ "SEM1A5 - Часть 1 - Краткая история НЛП" . Проверено 25 июня 2010 . CS1 maint: обескураженный параметр ( ссылка )
- ^ Хатчинс, Дж. (2005)
- ^ Роджер Schank , 1969, Парсер концептуальной зависимости для естественного языка Трудов 1969 конференции по вычислительной лингвистике, Санг-Саби, Швеция, страницы 1-3
- ^ Вудс, Уильям A (1970). "Переходные сетевые грамматики для анализа естественного языка". Сообщения ACM 13 (10): 591–606 [1]
- ^ Хомскианское лингвистика поощряет исследование « угловых случаев », которые подчеркивают пределы его теоретических моделей (сравнимых с патологическими явлениями в математике), обычно создаваемых с помощью мысленных экспериментов , а не систематического исследования типичных явлений, которые происходят в реальных данных, как и в корпусной лингвистике . Создание и использование таких корпусов реальных данных является фундаментальной частью алгоритмов машинного обучения для НЛП. Кроме того, теоретические основы лингвистики Хомски, такие как так называемая « бедность стимула»,"аргумент влечет за собой, что алгоритмы общего обучения, которые обычно используются в машинном обучении, не могут быть успешными при обработке языка. В результате парадигма Хомского препятствовала применению таких моделей для обработки языка.
- ^ McCorduck 2004 , стр. 286, Crevier 1993 , pp. 76−79, Russell & Norvig 2003 , p. 19
- ^ McCorduck 2004 , стр. 291-296, Кревьер 1993 , стр. 134-139
- ^ Джанет Л. Колоднер, Кристофер К. Рисбек; Опыт, память и рассуждение ; Психология Press; Переиздание 2014 г.
Библиография [ править ]
- Кревье, Даниэль (1993), AI: Бурный поиск искусственного интеллекта , Нью-Йорк, Нью-Йорк: BasicBooks, ISBN 0-465-02997-3
- МакКордак, Памела (2004), Машины, которые думают (2-е изд.), Натик, Массачусетс: AK Peters, Ltd., ISBN 978-1-56881-205-2, OCLC 52197627.
- Рассел, Стюарт Дж .; Норвиг, Питер (2003), Искусственный интеллект: современный подход (2-е изд.), Верхняя Сэдл-Ривер, Нью-Джерси: Prentice Hall, ISBN 0-13-790395-2.
