Дружественный искусственный интеллект (также дружественный AI или FAI ) относится к гипотетическому общему искусственному интеллекту (AGI), который окажет положительное (благоприятное) влияние на человечество или, по крайней мере, будет соответствовать человеческим интересам или способствовать улучшению человеческого вида. Это часть этики искусственного интеллекта и тесно связана с этикой машин . В то время как машинная этика касается того, как должен вести себя агент с искусственным интеллектом , дружественные исследования искусственного интеллекта сосредоточены на том, как практически реализовать такое поведение и обеспечить его адекватное ограничение.
Этимология и использование
Этот термин был придуман Юдковский , [1] , который является самым известным за популяризацию идеи, [2] [3] , чтобы обсудить Сверхразумные искусственные вещества , которые надежно реализовать человеческие ценности. Стюарт Дж Рассел и Питер Норвиг ведущий «s искусственный интеллект учебник, Искусственный интеллект: современный подход , описывает идею: [4]
Юдковский (2008) более подробно описывает, как создать дружественный ИИ . Он утверждает, что дружелюбие (желание не причинять вреда людям) должно быть заложено с самого начала, но дизайнеры должны осознавать, что их собственные конструкции могут быть ошибочными, и что робот со временем будет учиться и развиваться. Таким образом, задача заключается в разработке механизма - определить механизм для развития систем ИИ в рамках системы сдержек и противовесов и предоставить системным функциям полезности, которые останутся дружественными перед лицом таких изменений.
«Дружественный» используется в этом контексте как техническая терминология и выбирает безопасных и полезных агентов, не обязательно «дружественных» в разговорном смысле. Эта концепция в первую очередь используется в контексте обсуждений рекурсивно самосовершенствующихся искусственных агентов, которые быстро взрывают интеллект , на том основании, что эта гипотетическая технология будет иметь большое, быстрое и трудно контролируемое влияние на человеческое общество. [5]
Риски недружественного ИИ
Корни беспокойства по поводу искусственного интеллекта очень старые. Кевин ЛаГрандер показал, что опасности, характерные для ИИ, можно увидеть в древней литературе, касающейся искусственных гуманоидных слуг, таких как голем или протороботов Герберта из Орильяка и Роджера Бэкона . В этих историях чрезвычайный интеллект и сила этих гуманоидных созданий вступают в противоречие с их статусом рабов (которые по природе считаются недочеловеческими) и вызывают катастрофический конфликт. [6] К 1942 году эти темы побудили Айзека Азимова создать « Три закона робототехники » - принципы, встроенные во всех роботов в его художественной литературе, предназначенные для предотвращения того, чтобы они повернулись против своих создателей или позволили им причинить вред. [7]
В наше время, по мере приближения перспективы сверхразумного ИИ , философ Ник Бостром сказал, что сверхразумные системы ИИ с целями, не соответствующими человеческой этике, по своей сути опасны, если не будут приняты крайние меры для обеспечения безопасности человечества. Он выразился так:
По сути, мы должны предполагать, что «суперинтеллект» сможет достичь любых целей. Поэтому чрезвычайно важно, чтобы цели, которыми мы его наделяем, и вся его система мотивации были «дружественными для человека».
В 2008 году Элиэзер Юдковски призвал к созданию «дружественного искусственного интеллекта », чтобы снизить риск существования передового искусственного интеллекта . Он объясняет: «ИИ не ненавидит вас и не любит вас, но вы созданы из атомов, которые он может использовать для чего-то другого». [8]
Стив Омохундро говорит, что достаточно продвинутая система искусственного интеллекта, если ей явно не противодействовать, будет демонстрировать ряд основных «движущих сил » , таких как приобретение ресурсов, самосохранение и постоянное самосовершенствование, из-за внутренней природы любых систем, ориентированных на достижение целей. и что эти диски "без особых мер предосторожности" заставят ИИ проявлять нежелательное поведение. [9] [10]
Александр Висснер-Гросс говорит, что ИИ, стремящиеся максимизировать свою будущую свободу действий (или энтропию причинного пути), могут считаться дружественными, если их горизонт планирования длиннее определенного порога, и недружественными, если их горизонт планирования короче этого порога. [11] [12]
Люк Мюльхаузер, пишущий для Исследовательского института машинного интеллекта , рекомендует исследователям машинной этики принять то, что Брюс Шнайер назвал «мышлением безопасности»: вместо того, чтобы думать о том, как система будет работать, представьте, как она может выйти из строя. Например, он предполагает, что даже ИИ, который делает только точные прогнозы и общается через текстовый интерфейс, может нанести непреднамеренный вред. [13]
В 2014 году Люк Мюльхаузер и Ник Бостром подчеркнули необходимость «дружественного ИИ»; [14] тем не менее, трудности в разработке «дружественного» суперинтеллекта, например, путем программирования контрфактического морального мышления, значительны. [15] [16]
Когерентная экстраполированная воля
Юдковский продвигает модель когерентной экстраполированной воли (CEV). По его словам, согласованное экстраполированное волеизъявление - это выбор людей и действия, которые люди предприняли бы коллективно, если бы «мы знали больше, думали быстрее, были больше людьми, которыми мы хотели бы быть, и росли ближе друг к другу». [17]
Вместо того, чтобы Дружественный ИИ разрабатывался непосредственно программистами, он должен разрабатываться «семенным ИИ», запрограммированным сначала изучать человеческую природу, а затем производить ИИ, который человечество захотело бы при наличии достаточного времени и понимания, чтобы достичь удовлетворительного отвечать. [17] Обращение к цели через случайную человеческую природу (возможно, выраженную для математических целей в форме функции полезности или другого формализма теории принятия решений ) как обеспечивающего окончательный критерий «дружелюбия», является ответом на метаэтическая проблема определения объективной морали ; Экстраполированная воля предназначена для того, чтобы человечество объективно хотело бы с учетом всех обстоятельств, но ее можно определить только относительно психологических и когнитивных качеств современного, неэкстраполированного человечества.
Другие подходы
Стив Омохундро предложил «строительный» подход к безопасности ИИ, в котором одно доказуемо безопасное поколение ИИ помогает создать следующее доказуемо безопасное поколение. [18]
Сет Баум утверждает, что развитие безопасного, социально полезного искусственного интеллекта или общего искусственного интеллекта является функцией социальной психологии исследовательских сообществ ИИ, и поэтому может ограничиваться внешними мерами и мотивироваться внутренними мерами. Внутренняя мотивация может быть усилена, когда сообщения находят отклик у разработчиков ИИ; Баум утверждает, что, напротив, «существующие сообщения о полезном ИИ не всегда хорошо сформулированы». Баум выступает за «отношения сотрудничества и позитивное фреймворк исследователей ИИ» и предостерегает от характеристики исследователей ИИ как «не желающих разрабатывать полезные проекты». [19]
В своей книге « Совместимость с людьми» исследователь ИИ Стюарт Дж. Рассел перечисляет три принципа, которыми можно руководствоваться при разработке полезных машин. Он подчеркивает, что эти принципы не предназначены для явного кодирования в машинах; скорее, они предназначены для разработчиков-людей. Принципы следующие: [20] : 173
1. Единственная цель машины - максимально реализовать человеческие предпочтения.
2. Машина изначально не уверена в своих предпочтениях.
3. Конечным источником информации о человеческих предпочтениях является человеческое поведение.
«Предпочтения», на которые ссылается Рассел, «всеобъемлющи; они охватывают все, что может вас волновать, сколь угодно далеко в будущем». [20] : 173 Точно так же «поведение» включает в себя любой выбор между вариантами, [20] : 177, и неопределенность такова, что некоторая вероятность, которая может быть довольно маленькой, должна быть присвоена каждому логически возможному человеческому предпочтению. [20] : 201
Публичная политика
Джеймс Баррат , автор книги « Наше последнее изобретение» , предположил, что «необходимо создать государственно-частное партнерство, чтобы объединить создателей искусственного интеллекта для обмена идеями о безопасности - что-то вроде Международного агентства по атомной энергии, но в партнерстве с корпорациями». Он призывает исследователей искусственного интеллекта созвать встречу, аналогичную конференции Asilomar по рекомбинантной ДНК , на которой обсуждались риски биотехнологии. [18]
Джон МакГиннис призывает правительства ускорить исследования дружественного ИИ. Поскольку цели дружественного ИИ не обязательно выдающиеся, он предлагает модель, аналогичную модели Национальных институтов здравоохранения , где «экспертные группы компьютерных и когнитивных ученых просеивают проекты и выбирают те, которые предназначены как для развития ИИ, так и для гарантии того, что такие достижения будут сопровождаться соответствующими гарантиями ". МакГиннис считает, что экспертная оценка лучше, чем «регулирование для решения технических проблем, которые невозможно решить с помощью бюрократических предписаний». МакГиннис отмечает, что его предложение отличается от предложения Исследовательского института машинного интеллекта , который обычно стремится избежать вмешательства правительства в дружественный ИИ. [21]
По словам Гэри Маркуса , ежегодные суммы денег, которые тратятся на развитие машинной морали, ничтожны. [22]
Критика
Некоторые критики считают, что и ИИ человеческого уровня, и суперинтеллект маловероятны, и, следовательно, дружественный ИИ маловероятен. В статье для The Guardian Алан Уинфилд сравнивает искусственный интеллект человеческого уровня с путешествиями быстрее скорости света с точки зрения сложности и заявляет, что, хотя нам нужно быть «осторожными и подготовленными», учитывая ставки, мы «не обязаны быть одержимыми рисками сверхразума. [23] Бойлс и Хоакин, с другой стороны, утверждают, что предложение Люка Мюльхаузера и Ника Бострома о создании дружественных ИИ кажется мрачным. Это связано с тем, что Мюльхаузер и Бостром, кажется, придерживаются идеи, что интеллектуальные машины можно запрограммировать так, чтобы они думали о моральных ценностях, которыми обладали бы люди, противодействуя им. [24] В статье в « AI & Society» Бойлс и Хоакин утверждают, что такие ИИ не будут столь дружелюбными, учитывая следующее: бесконечное количество предшествующих контрфактических условий, которые необходимо запрограммировать в машину, сложность обналичивания набор моральных ценностей, то есть тех, которые более идеальны, чем те, которыми люди обладают в настоящее время, и очевидное несоответствие между контрфактическими предпосылками и идеальной ценностью, как следствие. [25]
Некоторые философы утверждают, что любой действительно «рациональный» агент, искусственный или человек, естественно, будет доброжелательным; с этой точки зрения, преднамеренные меры безопасности, разработанные для создания дружественного ИИ, могут быть ненужными или даже вредными. [26] Другие критики задаются вопросом, может ли искусственный интеллект быть дружелюбным. Адам Кейпер и Ари Н. Шульман, редакторы технологического журнала The New Atlantis , говорят, что невозможно когда-либо гарантировать «дружелюбное» поведение в ИИ, потому что проблемы этической сложности не уступят место развитию программного обеспечения или увеличению вычислительной мощности. Они пишут, что критерии, на которых основаны теории дружественного ИИ, работают «только тогда, когда у человека есть не только большие возможности предсказания вероятности бесчисленных возможных результатов, но и уверенность и консенсус в отношении того, как человек оценивает различные результаты» [27].
Смотрите также
- Проблема управления ИИ
- Захват искусственного интеллекта
- Гонка вооружений искусственного интеллекта
- Этика искусственного интеллекта
- Экзистенциальный риск от общего искусственного интеллекта
- Взрыв интеллекта
- Машинная этика
- Научно-исследовательский институт машинного интеллекта
- OpenAI
- Регулирование алгоритмов
- Сингулярность - моральная философия, отстаиваемая сторонниками Дружественного ИИ.
- Технологическая особенность
- Три закона робототехники
Рекомендации
- ^ Тегмарк, Макс (2014). «Жизнь, наша Вселенная и все остальное». Наша математическая вселенная: мои поиски окончательной природы реальности (первое издание). ISBN 9780307744258.
Его владелец может уступить контроль тому, что Элиэзер Юдковский называет «дружественным ИИ» ...
- ^ Рассел, Стюарт ; Норвиг, Питер (2009). Искусственный интеллект: современный подход . Прентис Холл. ISBN 978-0-13-604259-4.
- ^ Лейтон, Джонатан (2011). Битва за сострадание: этика в апатичной вселенной . Алгора. ISBN 978-0-87586-870-7.
- ^ Рассел, Стюарт; Норвиг, Питер (2010). Искусственный интеллект: современный подход . Прентис Холл. ISBN 978-0-13-604259-4.
- ^ Валлах, Венделл; Аллен, Колин (2009). Моральные машины: обучение роботов правильно, а не неправильно . Oxford University Press, Inc. ISBN 978-0-19-537404-9.
- ^ Кевин ЛаГрандер (2011). «Постоянная опасность искусственного раба» . Научно-фантастические исследования . 38 (2): 232. DOI : 10,5621 / sciefictstud.38.2.0232 . Источник 2013-05-06 .
- ^ Айзек Азимов (1964). «Введение» . Остальные роботы . Даблдэй. ISBN 0-385-09041-2.
- ^ Элиэзер Юдковски (2008) в Искусственный интеллект как положительный и отрицательный фактор глобального риска
- ^ Omohundro, SM (2008, февраль). Основные двигатели ИИ. В AGI (Vol. 171, pp. 483-492).
- ^ Бостром, Ник (2014). Сверхразум: пути, опасности, стратегии . Оксфорд: Издательство Оксфордского университета. ISBN 9780199678112. Глава 7: Сверхразумная воля.
- ^ Как Skynet может возникнуть из простой физики , io9, опубликовано 26 апреля 2013 г.
- ^ Wissner-Gross, AD ; Фриер, CE (2013). «Причинные энтропийные силы» (PDF) . Письма с физическим обзором . 110 (16): 168702. Bibcode : 2013PhRvL.110p8702W . DOI : 10.1103 / PhysRevLett.110.168702 . PMID 23679649 .
- ^ Мюльхаузер, Люк (31 июля 2013 г.). «Риск искусственного интеллекта и мышление безопасности» . Научно-исследовательский институт машинного интеллекта . Проверено 15 июля 2014 года .
- ^ Мюльхаузер, Люк; Бостром, Ник (2013-12-17). «Зачем нужен дружелюбный ИИ». Подумай . 13 (36): 41–47. DOI : 10.1017 / s1477175613000316 . ISSN 1477-1756 .
- ^ Бойлс, Роберт Джеймс М .; Хоакин, Иеремия Джовен (23.07.2019). «Почему дружественные ИИ не будут такими дружелюбными: дружеский ответ Мюльхаузеру и Бострому». AI и общество . 35 (2): 505–507. DOI : 10.1007 / s00146-019-00903-0 . ISSN 0951-5666 . S2CID 198190745 .
- ^ Чан, Берман (2020-03-04). «Рост искусственного интеллекта и кризис моральной пассивности». AI и общество . 35 (4): 991–993. DOI : 10.1007 / s00146-020-00953-9 . ISSN 1435-5655 . S2CID 212407078 .
- ^ а б «Связное экстраполированное волеизъявление» (PDF) . Intelligence.org . Проверено 12 сентября 2015 .
- ^ а б Хендри, Эрика Р. (21 января 2014 г.). «Что происходит, когда искусственный интеллект обращается против нас?» . Smithsonian.com . Проверено 15 июля 2014 года .
- ^ Баум, Сет Д. (28 сентября 2016 г.). «О продвижении безопасного и социально полезного искусственного интеллекта». AI и общество . 32 (4): 543–551. DOI : 10.1007 / s00146-016-0677-0 . ISSN 0951-5666 . S2CID 29012168 .
- ^ а б в г Рассел, Стюарт (8 октября 2019 г.). Совместимость с человеком: искусственный интеллект и проблема контроля . США: Викинг. ISBN 978-0-525-55861-3. OCLC 1083694322 .
- ^ Макгиннис, Джон О. (лето 2010 г.). «Ускоряющий ИИ» . Обзор права Северо-Западного университета . 104 (3): 1253–1270 . Проверено 16 июля 2014 года .
- ^ Маркус, Гэри (24 ноября 2012 г.). «Моральные машины» . Житель Нью-Йорка . Проверено 30 июля 2014 года .
- ^ Уинфилд, Алан. «Искусственный интеллект не превратится в монстра Франкенштейна» . Хранитель . Проверено 17 сентября 2014 года .
- ^ Мюльхаузер, Люк; Бостром, Ник (2014). «Зачем нужен дружественный ИИ». Подумай . 13 (36): 41–47. DOI : 10.1017 / S1477175613000316 .
- ^ Бойлс, Роберт Джеймс М .; Хоакин, Иеремия Джовен (2019). «Почему Дружественный ИИ не будет таким Дружелюбным: Дружественный ответ Мюльхаузеру и Бострому». AI и общество . 35 (2): 505–507. DOI : 10.1007 / s00146-019-00903-0 . S2CID 198190745 .
- ^ Корнаи, Андраш. « Ограничение воздействия AGI ». Предварительный выпуск журнала экспериментального и теоретического искусственного интеллекта (2014): 1-22. «... сущность ОИИ - это их способности к рассуждению, и сама логика их существования заставляет их вести себя морально ... Настоящий кошмарный сценарий (тот, где) люди считают выгодным сильно соединяют себя с ОИИ без каких-либо гарантий от самообмана ".
- ^ Адам Кейпер и Ари Н. Шульман. «Проблема« дружественного »искусственного интеллекта» . Новая Атлантида . Проверено 16 января 2012 .
дальнейшее чтение
- Юдковский, Э. Искусственный интеллект как положительный и отрицательный фактор глобального риска . В книге «Глобальные катастрофические риски» , Oxford University Press, 2008.
Обсуждает искусственный интеллект с точки зрения экзистенциального риска . В частности, в разделах 1–4 дается предыстория определения Дружественного ИИ в Разделе 5. В Разделе 6 приводятся два класса ошибок (технические и философские), которые могут привести к случайному созданию недружественных ИИ. В разделах 7-13 обсуждаются другие связанные с этим вопросы. - Омохундро, С. 2008 г. Основные движки ИИ появились в AGI-08 - Труды Первой конференции по общему искусственному интеллекту
- Mason, C. 2008 ИИ человеческого уровня Требует милосердного Intelligence Появляется в AAAI 2008 Практикум по мета-Рассуждение: мышление о мышлении
Внешние ссылки
- Этические проблемы передового искусственного интеллекта , Ник Бостром
- Что такое дружественный ИИ? - Краткое описание Friendly AI от Исследовательского института машинного интеллекта.
- Создание дружественного искусственного интеллекта 1.0: анализ и проектирование архитектур благотворных целей - почти целое описание из MIRI
- Критика рекомендаций MIRI по дружественному ИИ - Билл Хиббард
- Комментарий к руководству MIRI по дружественному ИИ - автор Питер Восс.
- Проблема с «дружественным» искусственным интеллектом - О мотивах и невозможности создания FAI; Адам Кейпер и Ари Н. Шульман.