Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Совместимость с человеком
Совместимость с людьми (Стюарт Дж. Рассел, 2019) book cover.jpg
Издание в твердом переплете
АвторСтюарт Дж. Рассел
СтранаСоединенные Штаты
Языканглийский
ПредметПроблема управления ИИ
ЖанрНехудожественная литература
ИздательВикинг
Дата публикации8 октября 2019 г.,
Страницы352
ISBN978-0-525-55861-3
OCLC1083694322

«Совместимость с человеком: искусственный интеллект и проблема контроля» - это научно-популярная книга ученого-информатика Стюарта Дж. Рассела 2019 года. В нем утверждается, что риск для человечества, связанный с передовым искусственным интеллектом (ИИ), вызывает серьезную озабоченность, несмотря на неопределенность в отношении будущего прогресса в области ИИ. Также предлагается подход к проблеме управления ИИ .

Резюме [ править ]

Рассел начинает с утверждения, что стандартная модель исследования искусственного интеллекта, в которой основным определением успеха становится все лучше и лучше в достижении жестко определенных человеком целей, опасно ошибочна. Такие цели могут не отражать намерения дизайнеров, например, из-за того, что они не принимают во внимание какие-либо человеческие ценности, не включенные в эти цели. Если ИИ, разработанный в соответствии со стандартной моделью, станет сверхразумным , он, скорее всего, не будет полностью отражать человеческие ценности и может иметь катастрофические последствия для человечества. Рассел утверждает, что именно из-за того, что сроки разработки человеческого или сверхразумного ИИ весьма неопределенны, исследования по безопасности следует начинать как можно скорее, поскольку также очень неясно, сколько времени потребуется для завершения таких исследований.

Рассел утверждает, что дальнейшее развитие возможностей искусственного интеллекта неизбежно из-за экономического давления. Такое давление уже можно увидеть в развитии существующих технологий искусственного интеллекта, таких как беспилотные автомобили и программное обеспечение для личных помощников . Более того, ИИ человеческого уровня может стоить многие триллионы долларов. Затем Рассел исследует текущие дебаты о рисках, связанных с ИИ. Он предлагает опровержения ряда распространенных аргументов, отвергающих риск ИИ, и приписывает большую часть их стойкости трайбализму - исследователи ИИ могут рассматривать опасения по поводу риска ИИ как «атаку» на их поле деятельности. Тем не менее, Рассел повторяет, что есть законные причины серьезно относиться к рискам, связанным с ИИ, и что экономическое давление делает продолжение инноваций в ИИ неизбежным.

Затем Рассел предлагает подход к разработке потенциально полезных машин, основанный на уважении к людям. В отличие от стандартной модели ИИ, где цель жесткая и определенная, при таком подходе истинная цель ИИ остается неопределенной, а ИИ только приближается к определенности, поскольку он получает больше информации о людях и мире. Эта неопределенность в идеале предотвратила бы катастрофическое недопонимание человеческих предпочтений и поощрила бы сотрудничество и общение с людьми. В заключение Рассел призывает к более жесткому управлению исследованиями и разработками ИИ, а также к культурному самоанализу о том, какой объем автономии следует сохранять в мире, где доминирует ИИ.

Три принципа Рассела [ править ]

Рассел перечисляет три принципа, которыми руководствуются при разработке полезных машин. Он подчеркивает, что эти принципы не предназначены для явного кодирования в машинах; скорее, они предназначены для разработчиков-людей. Принципы следующие: [1] : 173

1. Единственная цель машины - максимально реализовать человеческие предпочтения.

2. Машина изначально не уверена в своих предпочтениях.

3. Конечным источником информации о человеческих предпочтениях является человеческое поведение.

«Предпочтения», на которые ссылается Рассел, «всеобъемлющи; они охватывают все, что может вас волновать, сколь угодно далеко в будущем». [1] : 173 Точно так же «поведение» включает в себя любой выбор между вариантами, [1] : 177, и неопределенность такова, что некоторая вероятность, которая может быть довольно маленькой, должна быть приписана каждому логически возможному человеческому предпочтению. [1] : 201

Рассел исследует обратное обучение с подкреплением , в котором машина выводит функцию вознаграждения из наблюдаемого поведения как возможную основу для механизма изучения человеческих предпочтений. [1] : 191–193

Прием [ править ]

Несколько рецензентов согласились с аргументами книги. Ян Сэмпл в The Guardian назвал ее «убедительной» и «самой важной книгой по ИИ в этом году». [2] Ричард Уотерс из Financial Times похвалил книгу за «бодрящую интеллектуальную строгость». [3] Киркус одобрил это как «веский довод в пользу планирования того дня, когда машины смогут перехитрить нас». [4]

Те же рецензенты охарактеризовали книгу как «кривую и остроумную» [2] или «доступную» [4] за «лаконичность и сухой юмор». [3] Мэтью Хатсон из Wall Street Journal сказал: «Увлекательная книга г-на Рассела глубокая, но искрящаяся сухими остротами». [5] Library Journal рецензент назвал его «правой направляющей в нужное время». [6]

Джеймс МакКоннаки из The Times написал: «Это не совсем та популярная книга, в которой срочно необходим искусственный интеллект. Ее технические части слишком сложны, а философские - слишком легки. Но она увлекательна и значительна». [7]

Напротив, Human Compatible подверглась критике в своем обзоре Nature Дэвидом Лесли, научным сотрудником по этике Института Алана Тьюринга ; и то же самое в эссе Мелани Митчелл в New York Times . Один из спорных вопросов заключался в том, может ли сверхразумвозможно. Лесли утверждает, что Рассел «не может убедить нас в том, что мы когда-либо увидим появление« второго разумного вида »», и Митчелл сомневается, что машина когда-либо сможет «превзойти универсальность и гибкость человеческого разума» без потери «скорости, точности и программируемости. компьютер". Второе разногласие заключалось в том, будут ли разумные машины естественным образом принимать так называемые моральные ценности «здравого смысла». В мысленном эксперименте Рассела с геоинженерным роботом, который «душит человечество, чтобы нейтрализовать кислотность океанов», Лесли «изо всех сил пытается идентифицировать какой-либо разум». Точно так же Митчелл считает, что умный робот, естественно, склонен «сдерживаться здравым смыслом,ценности и социальное суждение, без которых не может существовать общий интеллект » [8] [9].

Книга вошла в лонг-лист премии Financial Times / McKinsey 2019 года . [10]

См. Также [ править ]

  • Искусственный интеллект: современный подход
  • Центр искусственного интеллекта, совместимого с человеком
  • Пропасть: экзистенциальный риск и будущее человечества
  • Убойные роботы
  • Сверхразум: пути, опасности, стратегии

Ссылки [ править ]

  1. ^ a b c d e Рассел, Стюарт (8 октября 2019 г.). Совместимость с человеком: искусственный интеллект и проблема контроля . США: Викинг. ISBN 978-0-525-55861-3. OCLC  1083694322 .
  2. ^ a b Образец, Ян (24 октября 2019 г.). «Human Compatible от Стюарта Рассела - ИИ и наше будущее» . Хранитель .
  3. ^ a b Уотерс, Ричард (18 октября 2019 г.). «Совместимость с людьми - сможем ли мы сохранить контроль над суперинтеллектом?» . www.ft.com . Проверено 23 февраля 2020 года .
  4. ^ a b "СОВМЕСТИМЫЕ ЧЕЛОВЕКА | Обзоры Киркуса" . Киркус Обзоры . 2019 . Проверено 23 февраля 2020 года .
  5. ^ Хутсон, Мэтью (19 ноября 2019). « „ Human Совместимый“и„Искусственный интеллект“Обзор: Узнайте , как машина» . The Wall Street Journal .
  6. ^ Хан, Джим (2019). «Совместимость с людьми: искусственный интеллект и проблема управления» . Библиотечный журнал . Проверено 23 февраля 2020 года .
  7. ^ McConnachie, Джеймс (6 октября 2019). «Human Compatible», обзор Стюарта Рассела - пугающее предупреждение эксперта по искусственному интеллекту » . The Times .
  8. ↑ Лесли, Дэвид (2 октября 2019 г.). «Бешеные роботы, несчастные люди: антиутопия ИИ» . Природа . 574 (7776): 32–33. Bibcode : 2019Natur.574 ... 32L . DOI : 10.1038 / d41586-019-02939-0 .
  9. ↑ Митчелл, Мелани (31 октября 2019 г.). «Мы не должны бояться« сверхразумного ИИ » » . Нью-Йорк Таймс .
  10. ^ Хилл, Эндрю (11 августа 2019). «Бизнес-книга года 2019 - длинный список» . www.ft.com . Проверено 23 февраля 2020 года .

Внешние ссылки [ править ]

  • Интервью со Стюартом Дж. Расселом