Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Персептроны: введение в вычислительную геометрию
АвторМарвин Мински , Сеймур Пейперт
Дата публикации1969 г.
ISBN0 262 13043 2

Персептроны: введение в вычислительную геометрию - это книга, написанная Марвином Мински и Сеймуром Папертом и опубликованная в 1969 году. Издание с рукописными исправлениями и дополнениями было выпущено в начале 1970-х годов. В 1987 году было опубликовано расширенное издание, содержащее главу, посвященную противодействию критике, высказанной в ее адрес в 1980-х.

Основная тема книги - перцептрон , разновидность искусственной нейронной сети, разработанная в конце 1950-х - начале 1960-х годов. Книга была посвящена психологу Фрэнку Розенблатту , который в 1957 году опубликовал первую модель «персептрона». [1] Розенблатт и Мински знали друг друга с подросткового возраста, обучаясь с разницей в один год в Высшей школе естественных наук Бронкса . [2] В какой-то момент они стали центральными фигурами дебатов в сообществе исследователей ИИ и, как известно, способствовали громким дискуссиям на конференциях, но оставались дружелюбными. [3]

Эта книга является центром давних споров в области изучения искусственного интеллекта . Утверждается, что пессимистические прогнозы, сделанные авторами, были ответственны за изменение направления исследований в области ИИ, сосредоточив усилия на так называемых «символических» системах, направление исследований, которое прекратилось и способствовало так называемой « зиме ИИ». 1980-х годов, когда обещания AI не были реализованы.

Суть перцептронов - это ряд математических доказательств, которые признают некоторые сильные стороны перцептронов, но при этом показывают серьезные ограничения. [3] Самый важный из них связан с вычислением некоторых предикатов, таких как функция XOR, а также важного предиката связности. Проблема связности проиллюстрирована на неудобно раскрашенной обложке книги, призванной показать, как люди сами сталкиваются с трудностями при вычислении этого предиката. [4]

Фон [ править ]

Персептроном является нейронной сетью , разработанный психологом Розенблаттом в 1958 году и является одним из самых известных машин своего времени. [5] [6] В 1960 году Розенблатт и его коллеги смогли показать, что перцептрон может за конечное число тренировочных циклов изучить любую задачу, которую могут воплотить его параметры. Теорема о сходимости персептрона доказана для однослойных нейронных сетей. [6]

В этот период исследования нейронных сетей были основным подходом к проблеме мозг-машина, которым воспользовалось значительное количество людей. [6] В сообщениях New York Times и заявлениях Розенблатта утверждалось, что нейронные сети скоро смогут видеть изображения, побеждать людей в шахматах и воспроизводить их. [3] В то же время появились новые подходы, включая символический ИИ . [7] Различные группы оказались в конкурентной борьбе за финансирование и людей, и их спрос на вычислительные мощности намного превышал доступное предложение. [8]

Содержание [ править ]

Персептроны: Введение в вычислительную геометрию - это книга из тринадцати глав, сгруппированных в три раздела. В главах 1–10 представлена ​​теория персептронов авторов в виде доказательств, в главе 11 рассматривается обучение, в главе 12 рассматриваются проблемы линейного разделения, а в главе 13 обсуждаются некоторые мысли авторов о простых и многослойных перцептронах и распознавании образов. [9] [10]

Определение перцептрона [ править ]

Мински и Паперт взяли в качестве своего предмета абстрактные версии класса обучающих устройств, которые они назвали перцептронами, «в знак признания новаторской работы Фрэнка Розенблатта». [10] Эти перцептроны были модифицированными формами перцептронов, введенных Розенблаттом в 1958 году. Они состояли из сетчатки, одного слоя входных функций и одного выходного. [9] [6]

Помимо этого, авторы ограничили «порядок» или максимальное количество входящих соединений своих перцептронов. Социолог Микель Олазаран объясняет, что Мински и Паперт «утверждали, что интерес к нейронным вычислениям возник из того факта, что это была параллельная комбинация локальной информации», которая, чтобы быть эффективной, должна была быть простым вычислением. Для авторов это означало, что «каждая ассоциативная единица могла получать соединения только из небольшой части входной области». [6] Мински и Паперт назвали это понятие «конъюнктивной локальностью». [10]

Четность и связанность [ править ]

Два основных примера, проанализированных авторами, - это паритетность и связность. Четность включает определение того, является ли количество активированных входов на входной сетчатке четным или нечетным, а связность относится к проблеме « фигура-земля» . Мински и Паперт доказали, что однослойный перцептрон не может вычислять четность в условиях конъюнктивной локальности, и показали, что порядок, необходимый персептрону для вычисления связности, становится непрактично большим. [11] [10]

Дело XOR [ править ]

Некоторые критики книги заявляют, что авторы подразумевают, что, поскольку отдельный искусственный нейрон неспособен реализовать некоторые функции, такие как логическая функция XOR , более крупные сети также имеют аналогичные ограничения, и поэтому от них следует отказаться. Исследования трехслойных перцептронов показали, как реализовать такие функции. Розенблатт в своей книге доказал, что простейший персептрон с априори неограниченным количеством А-элементов (нейронов) скрытого слоя и одним выходным нейроном может решить любую задачу классификации. (Теорема существования. [12]) Мински и Паперт использовали перцептроны с ограниченным числом входов А-элементов скрытого слоя и условием локальности: каждый элемент скрытого слоя получает входные сигналы от маленького круга. Эти ограниченные перцептроны не могут определить, является ли изображение связанной фигурой или равно количеству пикселей в изображении (предикат четности).

В этой истории много ошибок. Хотя на самом деле один нейрон может вычислить лишь небольшое количество логических предикатов, было широко известно, что сети из таких элементов могут вычислять любую возможную логическую функцию . Об этом знали Уоррен Маккалок и Уолтер Питтс , которые даже предложили, как создать машину Тьюринга с их формальными нейронами, упоминается в книге Розенблатта и даже упоминается в книге Персептроны. [13] Мински также широко использует формальные нейроны для создания простых теоретических компьютеров в своей книге « Вычисления: конечные и бесконечные машины» .

Книга действительно доказывает, что в трехуровневых перцептронах с прямой связью (с так называемым «скрытым» или «промежуточным» слоем) невозможно вычислить некоторые предикаты, если хотя бы один из нейронов первого слоя нейронов («промежуточный» слой) связан с ненулевым весом для каждого входа. Это противоречило надежде некоторых исследователей полагаться в основном на сети с несколькими слоями «локальных» нейронов, каждый из которых подключен только к небольшому количеству входов. Машину прямой связи с «локальными» нейронами гораздо проще построить и использовать, чем большую, полностью связанную нейронную сеть, поэтому исследователи в то время сосредоточились на них, а не на более сложных моделях.

Некоторые другие критики, в первую очередь Джордан Поллак, отмечают, что то, что было небольшим доказательством того, что глобальная проблема (паритет) не обнаруживается локальными детекторами, было интерпретировано сообществом как довольно успешная попытка похоронить всю идею. [14]

Персептроны и распознавание образов [ править ]

В заключительной главе авторы высказали мысли о многослойных машинах и перцептронах гамба. Они предполагают, что гамба-машинам потребуется «огромное количество» гамба-масок и что многослойные нейронные сети являются «стерильным» расширением. Кроме того, они отмечают, что многие из «невозможных» проблем для перцептронов уже были решены другими методами. [10]

Прием и наследие [ править ]

Через несколько лет после публикации перцептроны получили ряд положительных отзывов. В 1969 году профессор Стэнфордского университета Майкл А. Арбиб заявил: «[t] его книга получила широкое признание как новая захватывающая глава в теории распознавания образов». [15] Ранее в том же году профессор CMU Аллен Ньюэлл написал рецензию на книгу для Science , открыв ее словами: «Это великая книга». [16]

С другой стороны, HD Block выразил озабоченность узким определением персептронов авторами. Он утверждал, что они «изучают строго ограниченный класс машин с точки зрения, совершенно чуждой Розенблатту», и поэтому название книги «серьезно вводит в заблуждение». [9] Современные исследователи нейронных сетей разделяют некоторые из этих возражений: Бернард Видроу жаловался, что авторы слишком узко определили перцептроны, но также сказал, что доказательства Мински и Паперта «в значительной степени неуместны», появившись на целое десятилетие после перцептрона Розенблатта. [11]

Перцептроны часто думают, что вызвало снижение нейронной сети исследований в 1970 - х и начале 1980 - х годов. [3] [17] В этот период исследователи нейронных сетей продолжали более мелкие проекты, выходящие за рамки мейнстрима, в то время как исследования символического ИИ переживали бурный рост. [18] [3]

С возрождением коннекционизма в конце 80-х исследователь PDP Дэвид Румелхарт и его коллеги вернулись к персептронам . В отчете 1986 года они утверждали, что преодолели проблемы, представленные Мински и Папертом, и что «их пессимизм в отношении обучения на многослойных машинах был неуместен». [3]

Анализ противоречия [ править ]

Очень поучительно узнать, что сами Мински и Паперт говорили в 1970-х годах относительно более широкого значения их книги. На своем веб-сайте Харви Коэн [19], исследователь из MIT AI Labs 1974+, [20] цитирует Мински и Паперта из отчета 1971 года о проекте MAC, адресованном финансирующим агентствам, о «сетях Гамба»: [21] «Практически ничего не известно о вычислительных возможностях этого последнего типа машин. Мы полагаем, что они могут сделать немногим больше, чем перцептрон низкого порядка ». На предыдущей странице Мински и Пейперт поясняют, что «сети Гамба» - это сети со скрытыми слоями.

Мински сравнил книгу вымышленной книги Некрономикон в HP Lovecraft сказок «s, книги , известный многим, но читать только некоторые из них. [22] В расширенном издании авторы говорят о критике книги, которая началась в 1980-х годах с новой волны исследований, символизируемой книгой PDP .

Как персептроны были исследованы сначала одной группой ученых для стимулирования исследований в области ИИ в одном направлении, а затем новой группой в другом направлении, стало предметом социологического исследования развития науки. [3]

Заметки [ править ]

  1. ↑ Розенблатт, Франк (январь 1957 г.). «Персептрон: воспринимающий и распознающий автомат (проект PARA)» (PDF) . Отчет (85-460-1). Cornell Aeronautical Laboratory, Inc., увековеченная Джо Патером, Brain Wars: Как работает разум? И почему это так важно? , UmassAmherst . Проверено 29 декабря 2019 . Цитировать журнал требует |journal=( помощь );Внешняя ссылка в |publisher=( помощь )
  2. ^ Кревье 1993
  3. ^ a b c d e f g Олазаран, Микель (1996). «Социологическое исследование официальной истории спора о персептронах». Общественные науки . 26 (3): 611–659. DOI : 10.1177 / 030631296026003005 . JSTOR 285702 . 
  4. ^ Minsky-Papert 1972: 74 показывает фигуры черным и белым. На обложке издания в мягкой обложке 1972 года они напечатаны пурпурным цветом на красном фоне, и это делает подключение еще более трудным для распознавания без использования пальца или других средств для механического следования узорам. Эта проблема подробно обсуждается на стр.136ff и действительно включает отслеживание границы.
  5. ^ Розенблатт, Франк (1958). «Персептрон: вероятностная модель для хранения и организации информации в мозге». Психологический обзор . 65 (6): 386–408. CiteSeerX 10.1.1.588.3775 . DOI : 10.1037 / h0042519 . PMID 13602029 .  
  6. ^ а б в г д Олазаран 1996 , стр. 618
  7. ^ Haugeland, Джон (1985). Искусственный интеллект: сама идея . Кембридж, Массачусетс: MIT Press. ISBN 978-0-262-08153-5.
  8. ^ Хван, Тим (2018). «Вычислительная мощность и социальное влияние искусственного интеллекта». arXiv : 1803.08971v1 [ cs.AI ].
  9. ^ a b c Блок, HD (1970). «Обзор„Перцептроны: Введение в вычислительной геометрии “ » . Информация и контроль . 17 (1): 501–522. DOI : 10.1016 / S0019-9958 (70) 90409-2 .
  10. ^ a b c d e Мински, Марвин; Паперт, Сеймур (1988). Персептроны: введение в вычислительную геометрию . MIT Press.
  11. ^ а б Олазаран 1996 , стр. 630
  12. ^ Теорема 1 в Розенблатте, Ф. (1961) Принципы нейродинамики: персептроны и теория механизмов мозга, Spartan. Вашингтон.
  13. ^ Ср. Мински-Паперт (1972: 232): «... универсальный компьютер может быть построен полностью из линейных пороговых модулей. Это ни в коем случае не сводит теорию вычислений и программирования к теории перцептронов».
  14. Перейти ↑ Pollack, JB (1989). «Никакого вреда не предполагается: обзор расширенного издания перцептронов». Журнал математической психологии . 33 (3): 358–365. DOI : 10.1016 / 0022-2496 (89) 90015-1 .
  15. ^ Арбиб, Майкл (ноябрь 1969). «Обзор„Перцептроны: Введение в вычислительной геометрии “ ». IEEE Transactions по теории информации . 15 (6): 738–739. DOI : 10.1109 / TIT.1969.1054388 .
  16. ^ Ньюэлл, Аллен (1969). «Шаг к пониманию информационных процессов». Наука . 165 (3895): 780–782. DOI : 10.1126 / science.165.3895.780 . JSTOR 1727364 . 
  17. ^ Алом, Md Zahangir; и другие. (2018). «История началась с AlexNet: всесторонний обзор подходов к глубокому обучению». arXiv : 1803.01164v1 [ cs.CV ]. 1969: Мински и Паперт показывают ограничения перцептрона, убивая исследования нейронных сетей в течение десятилетия.
  18. Перейти ↑ Bechtel, William (1993). «Дело в пользу коннекционизма». Философские исследования . 71 (2): 119–154. DOI : 10.1007 / BF00989853 . JSTOR 4320426 . 
  19. ^ "Споры о персептронах" .
  20. ^ "Автор MIT AI Memo 338" (PDF) .
  21. ^ от имени итальянского исследователя нейронных сетей Аугусто Гамба (1923–1996), создателя перцептрона PAPA.
  22. ^ «История: Прошлое» . Ucs.louisiana.edu . Проверено 10 июля 2013 .

Ссылки [ править ]

  • МакКордак, Памела (2004), Машины, которые думают (2-е изд.), Натик, Массачусетс: AK Peters, Ltd., ISBN 1-56881-205-1, с. 104-107
  • Кревье, Даниэль (1993), AI: Бурный поиск искусственного интеллекта , Нью-Йорк, Нью-Йорк: BasicBooks, ISBN 0-465-02997-3 , стр. 102-105
  • Рассел, Стюарт Дж .; Норвиг, Питер (2003), Искусственный интеллект: современный подход (2-е изд.), Верхняя Сэдл-Ривер, Нью-Джерси: Prentice Hall, ISBN 0-13-790395-2п. 22
  • Марвин Мински и Сеймур Паперт, 1972 (2-е издание с исправлениями, первое издание 1969 г.) Персептроны: Введение в вычислительную геометрию , MIT Press, Cambridge MA, ISBN 0-262-63022-2 .