Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

В этой статье обсуждаются вычислительные инструменты, используемые в искусственном интеллекте .

Поиск и оптимизация [ править ]

Основные статьи: алгоритм поиска , математическая оптимизация и эволюционные вычисления

Многие проблемы в ИИ могут быть решены теоретически путем интеллектуального поиска по множеству возможных решений: [1] Рассмотрение может быть сведено к выполнению поиска. Например, логическое доказательство можно рассматривать как поиск пути, ведущего от предпосылок к заключениям , где каждый шаг - это применение правила вывода . [2] Алгоритмы планирования ищут в деревьях целей и подцелей, пытаясь найти путь к целевой цели; этот процесс называется анализом средств и результатов . [3] Робототехнические алгоритмы для движения конечностей и захвата объектов используют локальный поиск в конфигурационном пространстве .[4] Многиеалгоритмы обучения используют алгоритмы поиска, основанные на оптимизации .

Простого исчерпывающего поиска [5] редко бывает достаточно для решения большинства реальных проблем: пространство поиска (количество мест для поиска) быстро увеличивается до астрономических чисел . В результате поиск выполняется слишком медленно или никогда не завершается. Решением многих проблем является использование « эвристики » или «эмпирических правил», которые отдают предпочтение вариантам в пользу тех, которые с большей вероятностью достигнут цели, и делают это за меньшее количество шагов. В некоторых методик поиска эвристики может также служить полностью устранить некоторые варианты , которые вряд ли приведут к цели ( так называемый « обрезку в дерево поиска »). Эвристикапредоставить программе "наилучшее предположение" пути, на котором лежит решение. [6] [7] Эвристика ограничивает поиск решений выборкой меньшего размера. [8]

В 1990-е годы на первый план вышел совсем другой вид поиска, основанный на математической теории оптимизации . Для многих проблем можно начать поиск с некоторой формы предположения, а затем постепенно уточнять предположение до тех пор, пока больше не удастся выполнить уточнения. Эти алгоритмы можно представить себе как слепое восхождение на холм : мы начинаем поиск в случайной точке ландшафта, а затем, скачками или шагами, продолжаем продвигать нашу догадку вверх, пока не достигнем вершины. Другие алгоритмы оптимизации - это имитация отжига , поиск пучка и случайная оптимизация . [9]

Рой частиц ищет глобальный минимум

Эволюционные вычисления используют форму поиска оптимизации. Например, они могут начать с популяции организмов (предположений), а затем позволить им мутировать и рекомбинировать, отбирая только наиболее приспособленных для выживания в каждом поколении (уточняя предположения). Классические эволюционные алгоритмы включают генетические алгоритмы , программирование экспрессии генов и генетическое программирование . [10] * [11] [12] [13] В качестве альтернативы, процессы распределенного поиска могут координироваться с помощью алгоритмов разведки роя . Два популярных алгоритма роя, используемые в поиске, - это оптимизация роя частиц.(навеяна стаей птиц ) и оптимизацией колонии муравьев (навеянной следами муравьев ). [14] [15]

Логика [ править ]

Основные статьи: Логическое программирование и автоматизированное рассуждение

Логика [16] [17] используется для представления знаний и решения проблем, но может применяться и к другим задачам. Например, алгоритм спутникового плана использует логику для планирования [18], а индуктивное логическое программирование - это метод обучения . [19]

В исследованиях ИИ используется несколько различных форм логики. Логика высказываний [20] включает в себя функции истинности, такие как «или» и «не». Логика первого порядка [21] [17] добавляет кванторы и предикаты и может выражать факты об объектах, их свойствах и их отношениях друг с другом. Теория нечетких множеств присваивает «степень истинности» (от 0 до 1) нечетким утверждениям, таким как «Алиса старая» (или богатая, или высокая, или голодная), которые слишком лингвистически неточны, чтобы быть полностью истинными или ложными. Нечеткая логика успешно применяется в системах управления.позволить экспертам вносить расплывчатые правила, такие как «если вы находитесь близко к станции назначения и быстро двигаетесь, увеличивайте тормозное давление поезда»; затем эти расплывчатые правила могут быть численно уточнены в системе. Нечеткая логика плохо масштабируется в базах знаний; многие исследователи искусственного интеллекта сомневаются в правильности построения цепочек нечетких логических выводов. [а] [23] [24]

Логика по умолчанию , немонотонная логика и ограниченность [25] - это формы логики, разработанные, чтобы помочь с рассуждением по умолчанию и проблемой квалификации . Несколько расширений логики были разработаны для работы с конкретными областями знаний , такими как: логика описания ; [26] Положение исчисление , исчисление событий и свободно исчисление (для представления событий и времени); [27] причинное исчисление ; [28] исчисление убеждений (пересмотр убеждений) ; [29] и модальные логики . [30]Также были разработаны логики для моделирования противоречивых или непоследовательных утверждений, возникающих в многоагентных системах, например, паранепротиворечивые логики .

Вероятностные методы для неопределенных рассуждений [ править ]

Основные статьи: байесовская сеть , Скрытые марковские модели , фильтр Калмана , фильтр частиц , теория принятия решений и теория Полезности
Кластеризация с максимизацией ожидания данных об извержении Old Faithful начинается со случайного предположения, но затем успешно сходится к точной кластеризации двух физически различных режимов извержения.

Многие проблемы в ИИ (в рассуждениях, планировании, обучении, восприятии и робототехнике) требуют, чтобы агент работал с неполной или неопределенной информацией. Исследователи искусственного интеллекта разработали ряд мощных инструментов для решения этих проблем, используя методы теории вероятностей и экономики. [31] [17]

Байесовские сети [32] - это очень общий инструмент, который можно использовать для различных задач: рассуждения (с использованием алгоритма байесовского вывода ), [33] обучения (с использованием алгоритма максимизации ожидания ), [b] [35] планирования (с использованием алгоритма принятия решений). сетей ) [36] и восприятия (с использованием динамических байесовских сетей ). [37] Вероятностные алгоритмы также могут использоваться для фильтрации, прогнозирования, сглаживания и поиска объяснений для потоков данных, помогая системам восприятия анализировать процессы, которые происходят во времени (например,скрытые модели Маркова или фильтры Калмана ). [37] По сравнению с символической логикой, формальный байесовский вывод требует больших вычислительных ресурсов. Чтобы вывод был податливым, большинство наблюдений должны быть условно независимыми друг от друга. Для сложных графов с ромбами или другими «петлями» (неориентированными циклами ) может потребоваться сложный метод, такой как цепь Маркова Монте-Карло , который распределяет ансамбль случайных блуждающих по всей байесовской сети и пытается сойтись для оценки условных вероятностей. Байесовские сети используются в Xbox Live для оценки и сопоставления игроков; победы и поражения являются «свидетельством» того, насколько хорош игрок[ необходима цитата ] . AdSense использует байесовскую сеть с более чем 300 миллионами ребер, чтобы узнать, какую рекламу показывать. [34] : глава 6

Ключевым понятием экономической науки является « полезность »: мера того, насколько что-то ценно для разумного агента. Точные математические инструменты были разработаны анализ того, как агент может сделать выбор и план, используя теорию принятия решений , анализ решений , [38] и теорию информации значения . [39] Эти инструменты включают такие модели, как марковские процессы принятия решений , [40] динамические сети принятия решений , [37] теория игр и проектирование механизмов . [41]

Классификаторы и статистические методы обучения [ править ]

Основные статьи: классификатор (математика) , статистическая классификация и машинное обучение

Простейшие приложения ИИ можно разделить на два типа: классификаторы («если блестит, то ромб») и контроллеры («если блестит, то поднимай»). Однако контроллеры также классифицируют условия, прежде чем делать выводы о действиях, и поэтому классификация составляет центральную часть многих систем ИИ. Классификаторы - это функции, использующие сопоставление с образцомдля определения ближайшего совпадения. Их можно настраивать по примерам, что делает их очень привлекательными для использования в ИИ. Эти примеры известны как наблюдения или закономерности. При обучении с учителем каждый шаблон принадлежит определенному предопределенному классу. Класс - это решение, которое нужно принять. Все наблюдения в сочетании с их метками классов называются набором данных. Когда получено новое наблюдение, оно классифицируется на основе предыдущего опыта. [42]

Классификатор можно обучить разными способами; существует множество статистических подходов и подходов к машинному обучению . Дерево принятия решений [43] , возможно, наиболее широко используемый алгоритм машинного обучения. [34] : 88 Другими широко используемыми классификаторами являются нейронная сеть , [44] алгоритм k-ближайшего соседа , [c] [45] методы ядра, такие как машина опорных векторов (SVM), [d] [46] модель смеси Гаусса. , [47] и чрезвычайно популярный наивный байесовский классификатор . [e] [48]Производительность классификатора сильно зависит от характеристик классифицируемых данных, таких как размер набора данных, распределение выборок по классам, размерность и уровень шума. Классификаторы на основе моделей работают хорошо, если предполагаемая модель очень хорошо подходит для фактических данных. В противном случае, если нет подходящей модели и если единственной проблемой является точность (а не скорость или масштабируемость), общепринято считать, что дискриминационные классификаторы (особенно SVM) имеют тенденцию быть более точными, чем классификаторы на основе моделей, такие как «наивный байесовский» по большинству практических наборов данных. [49] [50]

Искусственные нейронные сети [ править ]

Основные статьи: Искусственная нейронная сеть и коннекционизм
Нейронная сеть - это взаимосвязанная группа узлов, подобная обширной сети нейронов в человеческом мозгу .

Нейронные сети были вдохновлены архитектурой нейронов человеческого мозга. Простой «нейрон» N принимает входные данные от других нейронов, каждый из которых при активации (или «срабатывании») подает взвешенный «голос» за или против того, должен ли нейрон N сам активироваться. Для обучения требуется алгоритм для корректировки этих весов на основе данных обучения; один простой алгоритм (получивший название « огонь вместе, соединение вместе ») заключается в увеличении веса между двумя подключенными нейронами, когда активация одного вызывает успешную активацию другого. Нейронная сеть формирует «концепции», которые распределяются между подсетью общего доступа [f]нейроны, которые стремятся срабатывать вместе; понятие, означающее «нога», может быть объединено с подсетью, означающей «ступня», которая включает звук для «ступни». Спектр активации нейронов непрерывный; Кроме того, нейроны могут обрабатывать входные данные нелинейным образом, а не просто взвешивать голоса. Современные нейронные сети могут изучать как непрерывные функции, так и, что удивительно, цифровые логические операции. Первые успехи нейронных сетей включали предсказание фондового рынка и (в 1995 году) в основном беспилотного автомобиля. [g] [34] : Глава 4 В 2010-х годах достижения в области нейронных сетей с использованием глубокого обучения привели к тому, что ИИ вошел в широкое общественное сознание и способствовал огромному росту корпоративных расходов на ИИ; например, слияния и поглощения, связанные с искусственным интеллектомв 2017 году было более чем в 25 раз больше, чем в 2015 году. [51] [52]

Изучение не обучающихся искусственных нейронных сетей [44] началось за десять лет до основания области исследований ИИ в работах Уолтера Питтса и Уоррена Маккаллача . Франк Розенблатт изобрел перцептрон , обучающую сеть с одним слоем, похожую на старую концепцию линейной регрессии . Среди первых пионеров также есть Алексей Григорьевич Ивахненко , Теуво Кохонен , Стивен Гроссберг , Кунихико Фукусима , Кристоф фон дер Мальсбург , Дэвид Уиллшоу, Шун-Ичи Амари , Бернард Видроу ,Джон Хопфилд , Эдуардо Р. Каяниелло и другие [ ссылка ] .

Основными категориями сетей являются ациклические нейронные сети или нейронные сети с прямой связью (где сигнал проходит только в одном направлении) и рекуррентные нейронные сети (которые обеспечивают обратную связь и краткосрочную память о предыдущих входных событиях). Среди наиболее популярных сетей прямого распространения - персептроны , многослойные персептроны и радиальные базисные сети . [53] Нейронные сети могут применяться к проблеме интеллектуального управления (для робототехники) или обучения , используя такие методы, как обучение Хебба («огонь вместе, соединение вместе»), GMDH или соревновательное обучение . [54]

Сегодня, нейронные сети часто обучается по обратному распространению алгоритма, который был примерно с 1970 года в качестве обратного режима автоматического дифференцирования опубликованного Сеппо Linnainmaa , [55] [56] и была введены в нейронные сети с помощью Пола Werbos . [57] [58] [59]

Иерархическая временная память - это подход, моделирующий некоторые структурные и алгоритмические свойства неокортекса . [60]

Подводя итог, можно сказать, что большинство нейронных сетей используют некоторую форму градиентного спуска на созданной вручную нейронной топологии. Тем не менее, некоторые исследовательские группы, такие как Uber , утверждают , что просто нейроэволюция мутировать новые нейронные сетевые топологии и весов может быть конкурентоспособной с утонченным градиентным спуском приближается [ править ] . Одно из преимуществ нейроэволюции состоит в том, что она менее подвержена попаданию в «тупики». [61]

Глубокие нейронные сети с прямой связью [ править ]

Основная статья: Глубокое обучение

Глубокое обучение - это использование искусственных нейронных сетей, которые имеют несколько слоев нейронов между входами и выходами сети. Глубокое обучение изменило многие важные области искусственного интеллекта [ почему? ] , включая компьютерное зрение , распознавание речи , обработку естественного языка и другие. [62] [63] [64]

Согласно одному обзору, [65] выражение «глубокое обучение» было представлено сообществу машинного обучения Риной Дехтер в 1986 году [66] и получило распространение после того, как Игорь Айзенберг и его коллеги представили его в искусственных нейронных сетях в 2000 году [67] . Первые функциональные сети глубокого обучения были опубликованы Алексеем Григорьевичем Ивахненко и В.Г. Лапой в 1965 году. [68] [ нужна страница ] Эти сети обучаются по одному уровню за раз. Статья Ивахненко 1971 г. [69]описывает изучение глубокого многослойного персептрона с прямой связью с восемью слоями, который уже намного глубже, чем многие более поздние сети. В 2006 году в публикации Джеффри Хинтона и Руслана Салахутдинова был представлен еще один способ предварительного обучения многослойных нейронных сетей с прямой связью (FNN) по одному слою за раз, рассматривая каждый слой по очереди как неконтролируемую ограниченную машину Больцмана , а затем используя контролируемое обратное распространение для тонкая настройка. [70] Подобно мелким искусственным нейронным сетям, глубокие нейронные сети могут моделировать сложные нелинейные отношения.

В глубоком обучении часто используются сверточные нейронные сети (CNN), происхождение которых можно проследить до неокогнитрона, представленного Кунихико Фукусимой в 1980 году. [71] В 1989 году Янн ЛеКун и его коллеги применили обратное распространение в такой архитектуре. В начале 2000-х годов в промышленных приложениях CNN уже обрабатывали от 10% до 20% всех чеков, выписанных в США. [72] С 2011 года быстрые реализации CNN на графических процессорах выиграли множество конкурсов по распознаванию визуальных образов. [64]

CNNs с 12 сверточных слоев были использованы при обучении с подкреплением на Deepmind в « AlphaGo Ли», программы , которые избили топ - Go чемпионом в 2016 году [73]

Глубокие рекуррентные нейронные сети [ править ]

Основная статья: Рекуррентные нейронные сети

Вначале глубокое обучение также применялось к последовательному обучению с помощью рекуррентных нейронных сетей (RNN) [74], которые теоретически являются полными по Тьюрингу [75] и могут запускать произвольные программы для обработки произвольных последовательностей входных данных. Глубина RNN не ограничена и зависит от длины ее входной последовательности; таким образом, RNN является примером глубокого обучения. [64] RNN могут быть обучены градиентным спуском [76] [77] [78], но страдают от проблемы исчезающего градиента . [62] [79] В 1992 году было показано, что неконтролируемое предварительное обучение стека рекуррентных нейронных сетейможет ускорить последующее контролируемое обучение глубоких последовательных задач. [80]

Многочисленные исследователи теперь используют варианты повторяющейся НС глубокого обучения, называемой сетью долговременной краткосрочной памяти (LSTM), опубликованной Hochreiter & Schmidhuber в 1997 году. [81] LSTM часто обучается коннекционистской временной классификацией (CTC). [82] В Google, Microsoft и Baidu этот подход произвел революцию в распознавании речи . [83] [84] [85] Например, в 2015 году производительность распознавания речи Google резко выросла на 49% благодаря обученному CTC LSTM, который теперь доступен через Google Voice миллиардам пользователей смартфонов. [86] Google также использовал LSTM для улучшения машинного перевода,[87] Языковое моделирование [88] и многоязычная языковая обработка. [89] LSTM в сочетании с CNN также улучшили автоматические титры изображений [90] и множество других приложений.

Оценка прогресса [ править ]

Дополнительная информация: Прогресс в области искусственного интеллекта и Соревнования и призы в области искусственного интеллекта.

ИИ, как электричество или паровой двигатель, - это технология общего назначения. Нет единого мнения о том, как охарактеризовать задачи, в которых ИИ стремится преуспеть. [91] В то время как такие проекты, как AlphaZero , преуспели в создании собственных знаний с нуля, многие другие проекты машинного обучения требуют больших наборов обучающих данных. [92] [93] Исследователь Эндрю Нг предположил в качестве «весьма несовершенного практического правила», что «почти все, что обычный человек может сделать менее чем за одну секунду мысленного мышления, мы, вероятно, сможем автоматизировать сейчас или в ближайшем будущем. с использованием ИИ ". [94] Парадокс Моравека предполагает, что ИИ отстает от людей в выполнении многих задач, которые человеческий мозг специально развил, чтобы выполнять хорошо.[95]

Игры являются широко разрекламированным эталоном для оценки темпов прогресса. AlphaGo около 2016 года положила конец эпохе классических тестов для настольных игр. Игры с несовершенным знанием ставят перед ИИ новые задачи в теории игр . [96] [97] Киберспорт, такой как StarCraft, продолжает предоставлять дополнительные общественные тесты. [98] [99] Многие конкурсы и призы, такие как Imagenet Challenge , способствуют развитию исследований в области искусственного интеллекта. Наиболее распространенные области конкуренции включают в себя общий машинный интеллект, диалоговое поведение, интеллектуальный анализ данных, роботизированные машины и робот-футбол, а также обычные игры. [100]

«Игра в имитацию» (интерпретация теста Тьюринга 1950 г. , оценивающего, может ли компьютер имитировать человека) в настоящее время считается слишком уязвимой для использования в качестве значимого эталона. [101] Производным от теста Тьюринга является полностью автоматизированный общедоступный тест Тьюринга для различения компьютеров и людей ( CAPTCHA). Как следует из названия, это помогает определить, что пользователь - реальный человек, а не компьютер, изображающий из себя человека. В отличие от стандартного теста Тьюринга, CAPTCHA вводится машиной и нацелен на человека, в отличие от того, чтобы вводить человек и нацелен на машину. Компьютер просит пользователя пройти простой тест, а затем выставляет оценку за этот тест. Компьютеры не могут решить проблему, поэтому правильные решения считаются результатом сдачи теста. Распространенным типом CAPTCHA является тест, который требует набора искаженных букв, цифр или символов, которые появляются на изображении, не поддающемся расшифровке компьютером. [102]

Предлагаемые тесты «универсального интеллекта» направлены на сравнение того, насколько хорошо машины, люди и даже животные, не относящиеся к человеческому роду, справляются с наборами задач, которые являются общими, насколько это возможно. В крайнем случае, набор тестов может содержать все возможные проблемы, взвешенные по сложности Колмогорова ; К сожалению, в этих наборах задач, как правило, преобладают скудные упражнения по сопоставлению с образцом, когда настроенный ИИ может легко превзойти человеческий уровень производительности. [103] [104] [105] [106]

Улучшения оборудования [ править ]

С 2010-х годов достижения как в алгоритмах машинного обучения, так и в компьютерном оборудовании привели к созданию более эффективных методов обучения глубоких нейронных сетей, которые содержат много уровней нелинейных скрытых единиц и очень большой выходной слой. [107] К 2019 году графические процессоры ( ГП ), часто с улучшениями, специфичными для ИИ, вытеснили ЦП в качестве доминирующего метода обучения ИИ в крупномасштабном коммерческом облаке. [108] OpenAI оценил объем аппаратных вычислений, используемых в крупнейших проектах глубокого обучения от AlexNet (2012 г.) до AlphaZero (2017 г.), и обнаружил, что объем требуемых вычислений увеличился в 300 000 раз, а линия тренда на время удвоения составила 3,4 месяца. [109] [110]

Заметки [ править ]

  1. ^ «Существует много различных типов неопределенности, неясности и незнания ... [Мы] независимо подтверждаем неадекватность систем для рассуждений о неопределенности, которая распространяется числовыми факторами, согласно только тем, какие связки появляются в утверждениях». [22]
  2. ^ Максимизация ожиданий, один из самых популярных алгоритмов в машинном обучении, позволяет выполнять кластеризацию в присутствии неизвестных скрытых переменных [34] : 210
  3. ^ Наиболее широко используемый аналогичный ИИ до середины 1990-х годов [34] : 187
  4. ^ SVM вытеснил k-ближайшего соседа в 1990-х [34] : 188
  5. ^ Наивный Байес, как сообщается, является «наиболее широко используемым учеником» в Google, отчасти из-за его масштабируемости. [34] : 152
  6. ^ Каждый отдельный нейрон может участвовать более чем в одной концепции.
  7. ↑ Рулевое управление в 1995 году « Нет рук через Америку » потребовало «всего лишь нескольких человеческих ассистентов».

Ссылки [ править ]

  1. ^ Алгоритмы поиска :
    • Russell & Norvig, 2003 , стр. 59–189.
    • Poole, Mackworth & Goebel 1998 , стр. 113–163.
    • Люгер и Стабблфилд 2004 , стр. 79–164, 193–219.
    • Нильссон 1998 , гл. 7–12
  2. ^ Прямая цепочка , обратная цепочка , предложения Хорна и логическая дедукция как поиск:
    • Russell & Norvig, 2003 , стр. 217–225, 280–294.
    • Poole, Mackworth & Goebel 1998 , стр. ~ 46–52
    • Luger & Stubblefield 2004 , стр. 62–73.
    • Нильссон 1998 , гл. 4.2, 7.2
  3. ^ Государственное пространство поиска и планирования :
    • Russell & Norvig, 2003 , стр. 382–387.
    • Poole, Mackworth & Goebel 1998 , стр. 298–305.
    • Нильссон 1998 , гл. 10.1–2
  4. ^ Перемещение и конфигурация пространства :
    • Russell & Norvig, 2003 , стр. 916–932.
  5. ^ Неинформированный поиск ( поиск в ширину , глубина первой поиск и общее состояние пространства поиск ):
    • Russell & Norvig, 2003 , стр. 59–93.
    • Poole, Mackworth & Goebel 1998 , стр. 113–132.
    • Luger & Stubblefield 2004 , стр. 79–121.
    • Нильссон 1998 , гл. 8
  6. ^ Эвристический или информированный поиск (например, жадный поиск лучшего и A * ):
    • Russell & Norvig 2003 , стр. 94–109,
    • Poole, Mackworth & Goebel 1998 , стр. 132–147,
    • Luger & Stubblefield 2004 , стр. 133–150,
    • Нильссон 1998 , гл. 9,
  7. ^ Пул, Дэвид ; Макворт, Алан (2017). Искусственный интеллект: основы вычислительных агентов (2-е изд.). Издательство Кембриджского университета. Раздел 3.6. ISBN 978-1-107-19539-4.
  8. ^ Текучи, Георге (март – апрель 2012 г.). "Искусственный интеллект". Междисциплинарные обзоры Wiley: вычислительная статистика . 4 (2): 168–180. DOI : 10.1002 / wics.200 .
  9. ^ Поиски оптимизации :
    • Рассел и Норвиг, 2003 , стр. 110–116, 120–129.
    • Poole, Mackworth & Goebel 1998 , стр. 56–163.
    • Люгер и Стаблфилд 2004 , стр. 127–133.
  10. ^ Генетическое программирование и генетические алгоритмы :
    • Luger & Stubblefield 2004 , стр. 509–530,
    • Нильссон 1998 , гл. 4.2.
  11. ^ Голландия, Джон Х. (1975). Адаптация в естественных и искусственных системах . Пресса Мичиганского университета. ISBN 978-0-262-58111-0.
  12. ^ Коза, Джон Р. (1992). Генетическое программирование (О программировании компьютеров посредством естественного отбора) . MIT Press. Bibcode : 1992gppc.book ..... K . ISBN 978-0-262-11170-6.
  13. ^ Poli, R .; Лэнгдон, ВБ; Макфи, Н.Ф. (2008). Полевое руководство по генетическому программированию . Lulu.com. ISBN 978-1-4092-0073-4 - через gp-field-guide.org.uk.
  14. ^ Искусственная жизнь и обучение на основе общества:
    • Luger & Stubblefield 2004 , стр. 530–541.
  15. ^ Даниэль Меркл; Мартин Миддендорф (2013). «Рой интеллект». В Burke, Edmund K .; Кендалл, Грэм (ред.). Методологии поиска: вводные руководства по методам оптимизации и поддержки принятия решений . Springer Science & Business Media. ISBN 978-1-4614-6940-7.
  16. ^ Логика :
    • Russell & Norvig 2003 , стр. 194–310,
    • Luger & Stubblefield 2004 , стр. 35–77,
    • Нильссон 1998 , гл. 13–16
  17. ^ a b c «Система классификации вычислений ACM: искусственный интеллект» . ACM . 1998. ~ I.2.3 и ~ I.2.4. Архивировано из оригинального 12 октября 2007 года . Проверено 30 августа 2007 года .
  18. ^ Сатплан :
    • Russell & Norvig 2003 , стр. 402–407,
    • Poole, Mackworth & Goebel 1998 , стр. 300–301,
    • Нильссон 1998 , гл. 21 год
  19. ^ Обучение на основе объяснений, обучение на основе релевантности, индуктивное логическое программирование , рассуждение на основе случая :
    • Russell & Norvig 2003 , стр. 678–710,
    • Poole, Mackworth & Goebel 1998 , стр. 414–416,
    • Luger & Stubblefield 2004 , стр. ~ 422–442,
    • Нильссон 1998 , гл. 10,3, 17,5
  20. ^ Логика высказываний :
    • Russell & Norvig 2003 , стр. 204–233,
    • Luger & Stubblefield 2004 , стр. 45–50.
    • Нильссон 1998 , гл. 13
  21. ^ Логика первого порядка и такие функции, как равенство :
    • Russell & Norvig 2003 , стр. 240–310,
    • Poole, Mackworth & Goebel 1998 , стр. 268–275,
    • Luger & Stubblefield 2004 , стр. 50–62,
    • Нильссон 1998 , гл. 15
  22. ^ Элкан, Чарльз (1994). «Парадоксальный успех нечеткой логики». Эксперт IEEE . 9 (4): 3–49. CiteSeerX 10.1.1.100.8402 . DOI : 10.1109 / 64.336150 . S2CID 113687 .  
  23. ^ Нечеткая логика :
    • Russell & Norvig, 2003 , стр. 526–527.
  24. ^ «Что такое« нечеткая логика »? Существуют ли компьютеры, которые по своей природе нечеткие и не применяют обычную двоичную логику?» . Scientific American . Проверено 5 мая 2018 .
  25. ^ Рассуждения по умолчанию и логика по умолчанию , немонотонная логика , ограниченность , предположение о закрытом мире , похищение (Пул и др. Относят похищение к «рассуждениям по умолчанию». Люгер и др. Помещают это в «неопределенные рассуждения»):
    • Russell & Norvig 2003 , стр. 354–360,
    • Poole, Mackworth & Goebel 1998 , стр. 248–256, 323–335,
    • Luger & Stubblefield 2004 , стр. 335–363,
    • Нильссон 1998 , ~ 18.3.3
  26. ^ Представление категорий и отношений: семантические сети , логика описания , наследование (включая фреймы и скрипты ):
    • Russell & Norvig 2003 , стр. 349–354,
    • Poole, Mackworth & Goebel 1998 , стр. 174–177,
    • Luger & Stubblefield 2004 , стр. 248–258,
    • Нильссон 1998 , гл. 18,3
  27. ^ Представление событий и времени: Ситуационное исчисление , исчисление событий , свободно исчисления (то числе решения проблемы кадров ):
    • Russell & Norvig 2003 , стр. 328–341,
    • Poole, Mackworth & Goebel 1998 , стр. 281–298,
    • Нильссон 1998 , гл. 18,2
  28. ^ Причинное исчисление :
    • Poole, Mackworth & Goebel 1998 , стр. 335–337.
  29. ^ "Исчисление убеждений и неопределенное рассуждение", Йен-Дэ Ся
  30. ^ Представление знаний о знаниях: исчисление убеждений, модальная логика :
    • Russell & Norvig 2003 , стр. 341–344,
    • Poole, Mackworth & Goebel 1998 , стр. 275–277.
  31. ^ Стохастические методы для неопределенных рассуждений:
    • Russell & Norvig 2003 , стр. 462–644,
    • Poole, Mackworth & Goebel 1998 , стр. 345–395,
    • Luger & Stubblefield 2004 , стр. 165–191, 333–381,
    • Нильссон 1998 , гл. 19
  32. ^ Байесовские сети :
    • Russell & Norvig 2003 , стр. 492–523,
    • Poole, Mackworth & Goebel 1998 , стр. 361–381,
    • Luger & Stubblefield 2004 , стр. ~ 182–190, ≈363–379,
    • Нильссон 1998 , гл. 19,3–4
  33. ^ Байесовский алгоритм вывода :
    • Russell & Norvig 2003 , стр. 504–519,
    • Poole, Mackworth & Goebel 1998 , стр. 361–381,
    • Люгер и Стаблфилд 2004 , стр. ~ 363–379,
    • Нильссон 1998 , гл. 19,4 и 7
  34. ^ Б с д е е г Домингосом, Педро (2015). Главный алгоритм: как поиски совершенной обучающей машины переделают наш мир . Основные книги. ISBN 978-0-465-06192-1.
  35. ^ Байесовское обучение и алгоритм максимизации ожидания :
    • Russell & Norvig 2003 , стр. 712–724,
    • Poole, Mackworth & Goebel 1998 , стр. 424–433,
    • Нильссон 1998 , гл. 20
  36. ^ Байесовская теория принятия решений и байесовские сети принятия решений :
    • Russell & Norvig, 2003 , стр. 597–600.
  37. ^ a b c Стохастические временные модели:
    • Russell & Norvig, 2003 , стр. 537–581.
    Динамические байесовские сети :
    • Russell & Norvig, 2003 , стр. 551–557.
    Скрытая марковская модель :
    • ( Рассел и Норвиг, 2003 , стр. 549–551).
    Фильтры Калмана :
    • Russell & Norvig, 2003 , стр. 551–557.
  38. ^ Теория принятия решений и анализ решений :
    • Russell & Norvig 2003 , стр. 584–597,
    • Poole, Mackworth & Goebel 1998 , стр. 381–394.
  39. ^ Теория информационной ценности :
    • Russell & Norvig, 2003 , стр. 600–604.
  40. ^ Марковские процессы принятия решений и динамические сети принятия решений :
    • Russell & Norvig, 2003 , стр. 613–631.
  41. ^ Теория игр и дизайн механизмов :
    • Russell & Norvig, 2003 , стр. 631–643.
  42. ^ Статистические методы обучения и классификаторы :
    • Russell & Norvig 2003 , стр. 712–754,
    • Luger & Stubblefield 2004 , стр. 453–541.
  43. ^ Дерево решений :
    • Russell & Norvig 2003 , стр. 653–664,
    • Poole, Mackworth & Goebel 1998 , стр. 403–408,
    • Luger & Stubblefield 2004 , стр. 408–417.
  44. ^ a b Нейронные сети и коннекционизм:
    • Russell & Norvig 2003 , стр. 736–748,
    • Poole, Mackworth & Goebel 1998 , стр. 408–414,
    • Luger & Stubblefield 2004 , стр. 453–505,
    • Нильссон 1998 , гл. 3
  45. ^ Алгоритм K-ближайшего соседа :
    • Russell & Norvig, 2003 , стр. 733–736.
  46. ^ методы ядра, такие как машина опорных векторов :
    • Russell & Norvig, 2003 , стр. 749–752.
  47. ^ Модель гауссовой смеси :
    • Russell & Norvig, 2003 , стр. 725–727.
  48. ^ Наивный байесовский классификатор :
    • Рассел и Норвиг 2003 , стр. 718
  49. ^ ван дер Уолт, Христиан; Бернар, Этьен (2006). «Характеристики данных, определяющие работу классификатора» (PDF) . Архивировано из оригинального (PDF) 25 марта 2009 года . Проверено 5 августа 2009 года .
  50. ^ Рассел, Стюарт Дж .; Норвиг, Питер (2009). Искусственный интеллект: современный подход (3-е изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall. 18.12: Учимся на примерах: Резюме. ISBN 978-0-13-604259-4.
  51. ^ «Почему глубокое обучение внезапно меняет вашу жизнь» . Удача . 2016 . Проверено 12 марта 2018 .
  52. ^ "Google лидирует в гонке за господство над искусственным интеллектом" . Экономист . 2017 . Проверено 12 марта 2018 .
  53. ^ Нейронные сети с прямой связью , персептроны и радиальные базисные сети :
    • Russell & Norvig 2003 , стр. 739–748, 758
    • Luger & Stubblefield 2004 , стр. 458–467.
  54. ^ Соревновательное обучение , изучение совпадений Хебба , сети Хопфилда и сети аттракторов:
    • Luger & Stubblefield 2004 , стр. 474–505.
  55. ^ Сеппо Linnainmaa (1970). Представление совокупной ошибки округления алгоритма в виде разложения Тейлора локальных ошибок округления. Магистерская работа (на финском языке), Univ. Хельсинки, 6–7.
  56. ^ Griewank, Andreas (2012). Кто изобрел обратный способ дифференциации ?. Истории оптимизации, Documenta Matematica, Extra Volume ISMP (2012), 389–400.
  57. ^ Пол Вербос , «За пределами регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках», докторская диссертация, Гарвардский университет , 1974.
  58. ^ Пол Werbos (1982). Применение достижений в нелинейном анализе чувствительности. В Системном моделировании и оптимизации (стр. 762–770). Springer Berlin Heidelberg. Интернет архивации 14 апреля 2016 в Wayback Machine
  59. ^ Обратное распространение :
    • Russell & Norvig 2003 , стр. 744–748,
    • Luger & Stubblefield 2004 , стр. 467–474,
    • Нильссон 1998 , гл. 3.3
  60. ^ Хокинс, Джефф ; Блейксли, Сандра (2005). Об интеллекте . Нью-Йорк, Нью-Йорк: Книги Совы. ISBN 978-0-8050-7853-4.
  61. ^ «Искусственный интеллект может« развиваться »для решения проблем» . Наука | AAAS . 10 января 2018 . Проверено 7 февраля 2018 .
  62. ^ Б Ян Гудфеллоу, Йошуа Бенджио и Аарон Courville (2016). Глубокое обучение. MIT Press. Интернет архивации 16 апреля 2016 в Wayback Machine
  63. ^ Хинтон, G .; Deng, L .; Ю, Д .; Dahl, G .; Mohamed, A .; Jaitly, N .; Старший, А .; Vanhoucke, V .; Nguyen, P .; Sainath, T .; Кингсбери, Б. (2012). «Глубокие нейронные сети для акустического моделирования в распознавании речи - общие взгляды четырех исследовательских групп». Журнал обработки сигналов IEEE . 29 (6): 82–97. Bibcode : 2012ISPM ... 29 ... 82H . DOI : 10.1109 / msp.2012.2205597 . S2CID 206485943 . 
  64. ^ a b c Шмидхубер, Дж. (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети . 61 : 85–117. arXiv : 1404,7828 . DOI : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 . S2CID 11715509 .  
  65. ^ Шмидхубер, Юрген (2015). «Глубокое обучение» . Scholarpedia . 10 (11): 32832. Bibcode : 2015SchpJ..1032832S . DOI : 10,4249 / scholarpedia.32832 .
  66. ^ Рина Дечтер (1986). Обучение в поисках проблем удовлетворения ограничений. Калифорнийский университет, факультет компьютерных наук, лаборатория когнитивных систем. Интернет архивации 19 апреля 2016 в Wayback Machine
  67. ^ Игорь Айзенберг, Наум Н. Айзенберг, Джоос П.Л. Вандевалле (2000). Многозначные и универсальные бинарные нейроны: теория, обучение и приложения. Springer Science & Business Media.
  68. ↑ Ивахненко, Алексей (1965). Кибернетические предсказательные устройства . Киев: Наукова думка.
  69. ↑ Ивахненко, А.Г. (1971). «Полиномиальная теория сложных систем». Транзакции IEEE по системам, человеку и кибернетике (4): 364–378. DOI : 10.1109 / TSMC.1971.4308320 . S2CID 17606980 . 
  70. Перейти ↑ Hinton, GE (2007). «Изучение нескольких уровней представления». Тенденции в когнитивных науках . 11 (10): 428–434. DOI : 10.1016 / j.tics.2007.09.004 . PMID 17921042 . S2CID 15066318 .  
  71. Перейти ↑ Fukushima, K. (1980). «Неокогнитрон: модель самоорганизующейся нейронной сети для механизма распознавания образов, не подверженного изменению положения». Биологическая кибернетика . 36 (4): 193–202. DOI : 10.1007 / bf00344251 . PMID 7370364 . S2CID 206775608 .  
  72. ^ Лекун (2016). Слайды по глубокому обучению в Интернете, заархивированные 23 апреля 2016 г., на Wayback Machine
  73. ↑ Сильвер, Дэвид ; Шриттвизер, Джулиан; Симонян, Карен; Антоноглоу, Иоаннис; Хуанг, Аджа ; Гез, Артур; Хьюберт, Томас; Бейкер, Лукас; Лай, Мэтью; Болтон, Адриан; Чен, Юйтянь ; Лилликрап, Тимоти; Фань, Хуэй ; Сифре, Лоран; Дрише, Джордж ван ден; Грэпель, Тор; Хассабис, Демис (19 октября 2017 г.). «Освоение игры в го без человеческого знания» (PDF) . Природа . 550 (7676): 354–359. Bibcode : 2017Natur.550..354S . DOI : 10.1038 / nature24270 . ISSN 0028-0836 . PMID   29052630 . S2CID  205261034 . AlphaGo Lee ... 12 сверточных слоев
  74. ^ Рекуррентные нейронные сети , сети Хопфилда :
    • Рассел и Норвиг 2003 , стр. 758
    • Luger & Stubblefield 2004 , стр. 474–505.
  75. ^ Hyötyniemi, Хейкки (1996). «Машины Тьюринга - это рекуррентные нейронные сети». Труды STeP '96 / Публикации Финского общества искусственного интеллекта : 13–24.
  76. ^ PJ Werbos. Обобщение обратного распространения ошибки применительно к модели рекуррентного газового рынка " Neural Networks 1, 1988.
  77. ^ AJ Робинсон и Ф. Фолсайд. Сеть динамического распространения ошибок, управляемая коммунальными предприятиями. Технический отчет CUED / F-INFENG / TR.1, инженерный факультет Кембриджского университета, 1987 г.
  78. ^ RJ Уильямс и Д. Ципсер. Алгоритмы обучения на основе градиентов для рекуррентных сетей и их вычислительная сложность. В обратном распространении: теория, архитектура и приложения. Хиллсдейл, Нью-Джерси: Эрлбаум, 1994.
  79. ^ Зепп Hochreiter (1991), Untersuchungen цу dynamischen neuronalen Netzen архивации 6 марта 2015 в Wayback Machine , дипломной работы. Institut f. Informatik, Technische Univ. Мюнхен. Советник: Я. Шмидхубер.
  80. ^ Шмидхубер, J. (1992). «Изучение сложных, расширенных последовательностей с использованием принципа сжатия истории». Нейронные вычисления . 4 (2): 234–242. CiteSeerX 10.1.1.49.3934 . DOI : 10.1162 / neco.1992.4.2.234 . S2CID 18271205 .  
  81. ^ Хохрайтер, Зепп ; и Шмидхубер, Юрген ; Долговременная кратковременная память , нейронные вычисления, 9 (8): 1735–1780, 1997
  82. ↑ Алекс Грейвс, Сантьяго Фернандес, Фаустино Гомес и Юрген Шмидхубер (2006). Временная классификация коннекционистов: маркировка несегментированных данных последовательностей с помощью повторяющихся нейронных сетей. Материалы ICML'06. С. 369–376.
  83. ^ Ханнун, Авни; Кейс, Карл; Каспер, Джаред; Катандзаро, Брайан; Диамос, Грег; Эльзен, Эрих; Пренгер, Райан; Сатиш, Санджив; Сенгупта, Шубхо; Коутс, Адам; Нг, Эндрю Ю. (2014). «Глубокая речь: масштабирование сквозного распознавания речи». arXiv : 1412.5567 [ cs.CL ].
  84. ^ Хасим Саки и Эндрю старший и Франсуаза Beaufays (2014). Рекуррентные архитектуры нейронных сетей с долговременной краткосрочной памятью для крупномасштабного акустического моделирования. Труды Interspeech 2014.
  85. ^ Ли, Сянган; У, Сихун (2015). «Построение глубоких рекуррентных нейронных сетей на основе кратковременной памяти для распознавания речи с большим словарным запасом». arXiv : 1410.4281 [ cs.CL ].
  86. ^ Хашим Сак, Эндрю Старший, Канишка Рао, Франсуаза Бофейс и Йохан Шалквик (сентябрь 2015 г.): Голосовой поиск Google: быстрее и точнее. Архивировано 9 марта 2016 года в Wayback Machine.
  87. ^ Суцкевер, Илья; Виньялс, Ориол; Ле, Куок В. (2014). «Последовательность для последовательного обучения с помощью нейронных сетей». arXiv : 1409.3215 [ cs.CL ].
  88. ^ Юзефович, Рафал; Виньялс, Ориол; Шустер, Майк; Шазир, Ноам; Ву, Юнхуэй (2016). «Изучение границ языкового моделирования». arXiv : 1602.02410 [ cs.CL ].
  89. ^ Гиллик, Дэн; Бранк, Клифф; Виньялс, Ориол; Субраманья, Амарнаг (2015). «Обработка многоязычного языка из байтов». arXiv : 1512.00103 [ cs.CL ].
  90. ^ Виньялс, Ориоль; Тошев Александр; Бенжио, Сами; Эрхан, Думитру (2015). «Покажи и расскажи: генератор титров нейронных изображений». arXiv : 1411.4555 [ cs.CV ].
  91. ^ Brynjolfsson, Erik; Митчелл, Том (22 декабря 2017 г.). «Что может машинное обучение? Последствия для персонала» . Наука . С. 1530–1534. Bibcode : 2017Sci ... 358.1530B . DOI : 10.1126 / science.aap8062 . Проверено 7 мая 2018 .
  92. ^ Образец, Ян (18 октября 2017 г.). « « Он способен сам создавать знания »: Google представляет искусственный интеллект, который учится сам по себе» . Хранитель . Проверено 7 мая 2018 .
  93. ^ «Революция AI в науке» . Наука | AAAS . 5 июля 2017 . Проверено 7 мая 2018 .
  94. ^ "Будет ли ваша работа по-прежнему существовать через 10 лет, когда прибудут роботы?" . Южно-Китайская утренняя почта . 2017 . Проверено 7 мая 2018 .
  95. ^ «Мебель ИКЕА и пределы искусственного интеллекта» . Экономист . 2018 . Проверено 24 апреля 2018 года .
  96. ^ Borowiec, Tracey Лиен, Стивен (2016). «AlphaGo превосходит чемпиона по игре в го в области искусственного интеллекта» . latimes.com . Проверено 7 мая 2018 .
  97. ^ Браун, Ноам; Сандхольм, Туомас (26 января 2018 г.). «Сверхчеловеческий ИИ для безлимитного хедз-ап покера: Libratus превосходит лучших профессионалов» . Наука . С. 418–424. DOI : 10.1126 / science.aao1733 . Проверено 7 мая 2018 .
  98. ^ Ontanon, Сантьяго; Синнаев, Гавриил; Уриарте, Альберто; Ричу, Флориан; Черчилль, Дэвид; Прейс, Майк (декабрь 2013 г.). «Обзор исследований и конкуренции ИИ в стратегических играх в реальном времени в StarCraft». IEEE Transactions по вычислительному интеллекту и искусственному интеллекту в играх . 5 (4): 293–311. CiteSeerX 10.1.1.406.2524 . DOI : 10.1109 / TCIAIG.2013.2286295 . S2CID 5014732 .  
  99. ^ «Facebook незаметно вступает в войну в StarCraft за ботов с ИИ и проигрывает» . ПРОВОДНОЙ . 2017 . Проверено 7 мая 2018 .
  100. ^ "ILSVRC2017" . image-net.org . Проверено 6 ноября 2018 .
  101. ^ Шеник, Карисса; Кларк, Питер; Тафьорд, Ойвинд; Терни, Питер; Эциони, Орен (23 августа 2017 г.). «Выход за рамки теста Тьюринга с научным вызовом Аллена AI». Коммуникации ACM . 60 (9): 60–64. arXiv : 1604.04315 . DOI : 10.1145 / 3122814 . S2CID 6383047 . 
  102. ^ О'Брайен, Джеймс; Маракас, Джордж (2011). Информационные системы управления (10-е изд.). Макгроу-Хилл / Ирвин. ISBN 978-0-07-337681-3.
  103. ^ Hernandez-Orallo, Хосе (2000). «За пределами теста Тьюринга». Журнал логики, языка и информации . 9 (4): 447–466. DOI : 10,1023 / A: 1008367325700 . S2CID 14481982 . 
  104. ^ Dowe, DL; Hajek, AR (1997). «Вычислительное расширение теста Тьюринга» . Труды 4-й конференции Австралазийского общества когнитивных наук . Архивировано из оригинального 28 июня 2011 года.
  105. ^ Эрнандес-Оралло, Дж .; Доу, Д.Л. (2010). «Измерение универсального интеллекта: на пути к тесту интеллекта в любое время». Искусственный интеллект . 174 (18): 1508–1539. CiteSeerX 10.1.1.295.9079 . DOI : 10.1016 / j.artint.2010.09.006 . 
  106. ^ Эрнандес-Оралло, Хосе; Доу, Дэвид Л .; Эрнандес-Льореда, М. Виктория (март 2014 г.). «Универсальная психометрия: измерение когнитивных способностей в машинном царстве». Исследование когнитивных систем . 27 : 50–74. DOI : 10.1016 / j.cogsys.2013.06.001 . ЛВП : 10251/50244 . S2CID 26440282 . 
  107. ^ Исследования, AI (23 октября 2015 г.). «Глубокие нейронные сети для акустического моделирования в распознавании речи» . airesearch.com . Проверено 23 октября 2015 года .
  108. ^ «Графические процессоры продолжают доминировать на рынке ускорителей искусственного интеллекта» . Информационная неделя . Декабрь 2019 . Проверено 11 июня 2020 .
  109. ^ Рэй, Тирнан (2019). «ИИ меняет всю природу вычислений» . ZDNet . Проверено 11 июня 2020 .
  110. ^ «AI и вычисления» . OpenAI . 16 мая 2018 . Проверено 11 июня 2020 .

Источники [ править ]

  • Рассел, Стюарт Дж .; Норвиг, Питер (2003). Искусственный интеллект: современный подход (2-е изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall. ISBN 978-0-13-790395-5.
  • Пул, Дэвид ; Макворт, Алан ; Гебель, Рэнди (1998). Вычислительный интеллект: логический подход . Нью-Йорк: Издательство Оксфордского университета. ISBN 978-0-19-510270-3.
  • Люгер, Джордж ; Стаблфилд, Уильям (2004). Искусственный интеллект: структуры и стратегии решения сложных проблем (5-е изд.). Бенджамин / Каммингс. ISBN 978-0-8053-4780-7.
  • Нильссон, Нильс (1998). Искусственный интеллект: новый синтез . Морган Кауфманн. ISBN 978-1-55860-467-4.