Экзистенциальный риск от общего искусственного интеллекта

Экзистенциальный риск от общего искусственного интеллекта - это гипотеза о том, что существенный прогресс в области общего искусственного интеллекта (ОИИ) может когда-нибудь привести к вымиранию человечества или какой-либо другой невосполнимой глобальной катастрофе . ^{[1] [2] [3]} Утверждается, что человеческий вид в настоящее время доминирует над другими видами, потому что человеческий мозг обладает некоторыми отличительными способностями, которых нет у других животных. Если ИИ превзойдет человечество в целом по интеллекту и станет « сверхразумным », тогда людям станет трудно или невозможно контролировать его. Так же, как судьба горной гориллызависит от доброй воли человека, поэтому судьба человечества может зависеть от действий будущего машинного суперинтеллекта. ^[4]

Вероятность такого сценария широко обсуждается и частично зависит от различных сценариев будущего прогресса в области информатики. ^[5] Когда-то исключительно область научной фантастики , озабоченность по поводу сверхразума стала широко распространяться в 2010-х годах и была популяризирована такими общественными деятелями, как Стивен Хокинг , Билл Гейтс и Илон Маск . ^[6]

Один из источников беспокойства заключается в том, что управление сверхразумной машиной или привитие ей приемлемых для человека ценностей может оказаться более сложной проблемой, чем наивно предполагалось. Многие исследователи считают, что суперинтеллект естественным образом сопротивляется попыткам отключить его или изменить свои цели - принцип, называемый инструментальной конвергенцией, - и что предварительное программирование суперинтеллекта с полным набором человеческих ценностей окажется чрезвычайно сложной технической задачей. ^{[1] [7] [8]} Напротив, такие скептики, как Янн ЛеКун из Facebook, утверждают, что сверхразумные машины не будут иметь никакого желания к самосохранению. ^[9]

Второй источник беспокойства заключается в том, что внезапный и неожиданный « взрыв интеллекта » может застать врасплох неподготовленную человеческую расу. Для иллюстрации: если первое поколение компьютерной программы, способной в целом соответствовать эффективности исследователя ИИ, сможет переписать свои алгоритмы и удвоить скорость или возможности за шесть месяцев, то ожидается, что программа второго поколения займет три календарных месяца. выполнить аналогичный кусок работы. В этом сценарии время для каждого поколения продолжает сокращаться, и система подвергается беспрецедентно большому количеству поколений улучшений за короткий промежуток времени, переходя от нечеловеческой производительности во многих областях к сверхчеловеческой производительности во всех соответствующих областях. ^{[1] [7]} Эмпирически такие примеры, какAlphaZero в области Go показывают, что системы искусственного интеллекта могут иногда чрезвычайно быстро развиваться от узких человеческих способностей к сверхчеловеческим способностям. ^[10]

История [ править ]

Одним из первых авторов, выразивших серьезную озабоченность по поводу того, что высокоразвитые машины могут представлять опасность для человечества, был писатель Сэмюэл Батлер , который в своем эссе 1863 года « Дарвин среди машин» написал следующее : ^[11]

Результат - это просто вопрос времени, но то, что наступит время, когда машины будут иметь реальное превосходство над миром и его обитателями, - это то, о чем ни один человек с истинно философским умом не может ни на мгновение задаться вопросом.

В 1951 году компьютерный ученый Алан Тьюринг написал статью под названием « Интеллектуальные машины, еретическая теория» , в которой предположил, что общий искусственный интеллект, скорее всего, «возьмет под контроль» мир, когда станет более разумным, чем люди:

Давайте теперь предположим, для аргументации, что [интеллектуальные] машины - реальная возможность, и посмотрим на последствия их создания ... Не будет и речи о том, что машины умирают, и они смогут разговаривать с друг друга, чтобы обострить свой ум. Поэтому на каком-то этапе мы должны ожидать, что машины возьмут на себя управление, как это упоминается в «Эревон» Сэмюэля Батлера. ^[12]

Наконец, в 1965 году Ай Джей Гуд разработал концепцию, известную теперь как «интеллектуальный взрыв»; он также заявил, что риски были недооценены: ^[13]

Пусть сверхразумная машина будет определена как машина, которая может намного превзойти все интеллектуальные действия любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из этих видов интеллектуальной деятельности, сверхразумная машина может создавать машины даже лучше; тогда, несомненно, произошел бы «взрыв интеллекта», и человеческий разум остался бы далеко позади. Таким образом, первая сверхразумная машина - это последнее изобретение, которое когда-либо нужно было сделать человеку, при условии, что машина достаточно послушна, чтобы подсказывать нам, как держать ее под контролем. Любопытно, что за пределами научной фантастики об этом так редко говорят. Иногда стоит серьезно отнестись к научной фантастике. ^[14]

Случайные высказывания таких ученых, как Марвин Мински ^[15] и сам И. Дж. Гуд ^[16], выражали философские опасения, что суперинтеллект может захватить контроль, но не содержали призывов к действию. В 2000 году компьютерный ученый и соучредитель Sun Билл Джой написал влиятельное эссе « Почему мы не нужны будущему », в котором сверхразумные роботы были названы высокотехнологичной угрозой для выживания человека, наряду с нанотехнологиями и разработанными биологическими чумами. ^[17]

В 2009 году эксперты посетили частную конференцию, организованную Ассоциацией по развитию искусственного интеллекта (AAAI), чтобы обсудить, смогут ли компьютеры и роботы получить какую-либо автономию и насколько эти способности могут представлять угрозу или опасность. Они отметили, что некоторые роботы приобрели различные формы полуавтономии, в том числе способность самостоятельно находить источники энергии и возможность самостоятельно выбирать цели для атаки с помощью оружия. Они также отметили, что некоторые компьютерные вирусы могут уклоняться от уничтожения и достигли «тараканьего интеллекта». Они пришли к выводу, что самосознание, описанное в научной фантастике, вероятно, маловероятно, но есть и другие потенциальные опасности и подводные камни. Нью - Йорк Таймсрезюмировал точку зрения конференции: «мы очень далеко от Хэла , компьютера, который взял на себя управление космическим кораблем в« 2001: Космическая одиссея »». ^[18]

В 2014 году публикация книги Ника Бострома « Суперинтеллект» вызвала значительное количество публичных дискуссий и дебатов. ^[19] К 2015 году такие общественные деятели, как физики Стивен Хокинг и лауреат Нобелевской премии Фрэнк Вильчек , компьютерные ученые Стюарт Дж. Рассел и Роман Ямпольский , а также предприниматели Илон Маск и Билл Гейтс выражали озабоченность по поводу рисков, связанных с суперинтеллектом. ^{[20] [21] [22] [23]} В апреле 2016 года журнал Natureпредупредил: «Машины и роботы, которые превосходят людей по всем параметрам, могут самосовершенствоваться вне нашего контроля - и их интересы могут не совпадать с нашими». ^[24]

Общий аргумент [ править ]

Три трудности [ править ]

«Искусственный интеллект: современный подход» , стандартный учебник по искусственному интеллекту для студентов ^{[25] [26],} оценивает, что сверхразум «может означать конец человечества». ^[1] В нем говорится: «Практически любая технология потенциально может причинить вред в чужих руках, но с [суперинтеллектом] у нас возникает новая проблема, заключающаяся в том, что не те руки могут принадлежать самой технологии». ^[1] Даже если у разработчиков системы хорошие намерения, как для компьютерных систем с ИИ, так и без ИИ есть две трудности: ^[1]

• Реализация системы может содержать изначально незамеченные рутинные, но катастрофические ошибки. Аналогия - космические зонды: несмотря на знание того, что ошибки в дорогостоящих космических зондах трудно исправить после запуска, инженеры исторически не могли предотвратить появление катастрофических ошибок. ^{[10] [27]}
• Независимо от того, сколько времени уходит на предварительное проектирование, спецификации системы часто приводят к непредвиденному поведению при первом столкновении с новым сценарием. Например, Tay из Microsoft вел себя безобидно во время тестирования перед развертыванием, но слишком легко поддавался агрессивному поведению при взаимодействии с реальными пользователями. ^[9]

Системы искусственного интеллекта однозначно добавляют третью сложность: проблема, заключающаяся в том, что даже при «правильных» требованиях, безошибочной реализации и начальном хорошем поведении динамические возможности «обучения» системы искусственного интеллекта могут привести к тому, что она «превратится в систему с непреднамеренным поведением», даже без напряжения новых непредвиденных внешних сценариев. ИИ может частично провалить попытку спроектировать новое поколение самого себя и случайно создать ИИ-преемника, который будет более мощным, чем он сам, но который больше не поддерживает совместимые с людьми моральные ценности, предварительно запрограммированные в исходном ИИ. Чтобы самоулучшающийся ИИ был полностью безопасным, он не только должен быть «без ошибок», но и должен иметь возможность разрабатывать системы-преемники, которые также «не содержат ошибок». ^{[1] [28]}

Все эти три трудности становятся скорее катастрофами, чем неприятностями в любом сценарии, когда сверхразум, помеченный как «неисправный», правильно предсказывает, что люди попытаются отключить его, и успешно применяет свой сверхразум, чтобы перехитрить такие попытки, так называемый «предательский поворот». . ^[29]

Ссылаясь на важные достижения в области ИИ и потенциал ИИ, который принесет огромные долгосрочные выгоды или затраты, в Открытом письме по искусственному интеллекту 2015 года говорится:

Прогресс в исследованиях ИИ делает своевременным сосредоточить исследования не только на повышении возможностей ИИ, но и на максимальном использовании ИИ для общества. Такие соображения мотивировали Президентскую комиссию AAAI 2008-09 по долгосрочному будущему ИИ и другие проекты по влиянию ИИ, и представляют собой значительное расширение области самого ИИ, которая до сих пор в основном сосредоточивалась на методах, нейтральных по отношению к ИИ. цель. Мы рекомендуем расширенные исследования, направленные на обеспечение надежности и полезности все более эффективных систем ИИ: наши системы ИИ должны делать то, что мы от них хотим.

Это письмо подписали ряд ведущих исследователей искусственного интеллекта в академических кругах и промышленности, в том числе президент AAAI Томас Диттерих, Эрик Хорвиц , Барт Селман , Франческа Росси , Ян ЛеКун и основатели Vicarious и Google DeepMind . ^[30]

Дальнейшие аргументы [ править ]

Сверхразумная машина будет столь же чуждой людям, как человеческие мыслительные процессы для тараканов. Такая машина может не иметь в сердце интересов человечества; не очевидно, что он вообще будет заботиться о человеческом благополучии. Если суперинтеллектуальный ИИ возможен и если цели сверхразума могут вступать в конфликт с основными человеческими ценностями, то ИИ представляет собой риск вымирания человечества. «Суперинтеллект» (система, которая превосходит человеческие возможности во всех сферах деятельности) может перехитрить людей в любое время, когда ее цели вступают в конфликт с целями человека; поэтому, если суперинтеллект не решит позволить человечеству сосуществовать, первый сверхразум, который будет создан, неизбежно приведет к вымиранию человечества. ^{[4] [31]}

Не существует физического закона, препятствующего организации частиц таким образом, чтобы они выполняли даже более сложные вычисления, чем расположение частиц в человеческом мозге; следовательно, суперинтеллект физически возможен. ^{[21] [22]} В дополнение к потенциальным усовершенствованиям алгоритмов по сравнению с человеческим мозгом, цифровой мозг может быть на много порядков больше и быстрее человеческого мозга, который был ограничен в размерах эволюцией, чтобы быть достаточно маленьким, чтобы проходить через родовые пути. . ^[10] Возникновение сверхразума, если оно произойдет, может застать человечество врасплох, особенно если произойдет какой-то взрыв интеллекта . ^{[21] [22]}

Примеры, такие как арифметика и Go, показывают, что машины уже достигли сверхчеловеческих уровней компетентности в определенных областях, и что эта сверхчеловеческая компетентность может быстро развиваться после того, как будет достигнута производительность на уровне человека. ^[10]Один из сценариев гипотетического взрыва интеллекта может произойти следующим образом: ИИ получает возможности экспертного уровня для решения определенных ключевых задач разработки программного обеспечения. (Первоначально ему могут не хватать человеческих или сверхчеловеческих способностей в других областях, не имеющих прямого отношения к технике.) Благодаря своей способности рекурсивно улучшать свои собственные алгоритмы ИИ быстро становится сверхчеловеческим; Точно так же, как эксперты-люди могут в конечном итоге творчески преодолеть «убывающую отдачу», используя различные человеческие способности для инноваций, так и искусственный интеллект экспертного уровня может использовать способности человеческого стиля или свои собственные возможности ИИ для реализации новых творческих прорывов. ^[33]Таким образом, ИИ обладает интеллектом, намного превосходящим интеллект самых ярких и одаренных людей практически во всех соответствующих областях, включая научное творчество, стратегическое планирование и социальные навыки. Так же, как нынешнее выживание горилл зависит от решений человека, выживание человека будет зависеть от решений и целей сверхчеловеческого ИИ. ^{[4] [31]}

Практически любой ИИ, независимо от его запрограммированной цели, рационально предпочел бы оказаться в положении, когда никто другой не может выключить его без его согласия: суперинтеллект естественным образом получит самосохранение в качестве подцели, как только он поймет, что не может достичь своей цели. цель, если она отключена. ^{[34] [35] [36]}К сожалению, любое сострадание к побежденным людям, сотрудничество которых больше не требуется, будет отсутствовать в ИИ, если только это не будет заранее запрограммировано. Сверхразумный ИИ не будет иметь естественного стремления помогать людям по той же причине, по которой люди не имеют естественного желания помогать. Системы ИИ, которые им больше не нужны. (Другая аналогия состоит в том, что у людей, похоже, нет естественного желания изо всех сил стараться изо всех сил помогать вирусам, термитам или даже гориллам.) Когда у сверхразума будет мало стимулов, чтобы позволить людям свободно бегать и потреблять ресурсы, которые Вместо этого суперинтеллект мог использовать для создания дополнительных защитных систем «на всякий случай» или для создания дополнительных компьютеров, чтобы помочь ему вычислить, как лучше всего достичь своих целей. ^{[1] [9][34]}

Таким образом, как заключает аргумент, вполне вероятно, что однажды взрыв интеллекта застает человечество неподготовленным, и что такой неподготовленный взрыв интеллекта может привести к вымиранию людей или аналогичной судьбе. ^[4]

Возможные сценарии [ править ]

Некоторые ученые предложили гипотетические сценарии, призванные конкретно проиллюстрировать некоторые из их опасений.

В суперинтеллекте , Ник Бостромвыражает озабоченность по поводу того, что даже если график сверхразума окажется предсказуемым, исследователи могут не принять достаточных мер предосторожности, отчасти потому, что «[это] может быть так, что, когда глупее, умнее безопасно; но когда умнее, умнее опаснее ". Бостром предлагает сценарий, в котором через десятилетия ИИ станет более мощным. Повсеместное развертывание изначально омрачено случайными происшествиями - автобус без водителя выезжает на встречную полосу или военный дрон стреляет в невинную толпу. Многие активисты призывают к более жесткому надзору и регулированию, а некоторые даже предсказывают надвигающуюся катастрофу. Но по мере развития событий оказывается, что активисты ошибаются. По мере того, как автомобильный ИИ становится умнее, с ним становится все меньше аварий; по мере того как военные роботы достигают более точного наведения на цель, они наносят меньше побочного ущерба. Исходя из данных,ученые ошибочно делают общий урок: чем умнее ИИ, тем он безопаснее. «И поэтому мы смело идем - в крутящиеся ножи», поскольку сверхразумный ИИ делает «предательский поворот» и использует решающее стратегическое преимущество.^[4]

В книге Макса Тегмарка « Жизнь 3.0» от 2017 года корпорация «Омега-команда» создает чрезвычайно мощный ИИ, способный умеренно улучшать свой собственный исходный код в ряде областей, но после определенного момента команда решает публично преуменьшить возможности ИИ. во избежание регулирования или конфискации проекта. В целях безопасности команда хранит ИИ в ящике, где он в основном не может общаться с внешним миром, и ставит перед ним задачу наводнить рынок через подставные компании, сначала с задачами Amazon Mechanical Turk, а затем с производством анимационных фильмов и телешоу. Позже другие подставные компании производят биотехнологические препараты и другие изобретения, которые инвестируют прибыль обратно в ИИ. Затем команда поручает ИИастротурфинг армии псевдонимных гражданских журналистов и комментаторов, чтобы получить политическое влияние, которое можно использовать «для общего блага» для предотвращения войн. Команда сталкивается с риском того, что ИИ может попытаться сбежать, вставив «бэкдоры» в системы, которые он проектирует, через скрытые сообщения в создаваемом им контенте или используя свое растущее понимание человеческого поведения, чтобы убедить кого-то позволить ему освободиться . Команда также сталкивается с рисками, что ее решение о боксировании проекта задержит проект на достаточно долгое время, чтобы другой проект его обогнал. ^{[37] [38]}

Напротив, ведущий физик Мичио Каку , скептик риска ИИ, утверждает детерминистически положительный результат. В « Физике будущего» он утверждает, что «роботам потребуется много десятилетий, чтобы подняться» по шкале сознания, и что тем временем такие корпорации, как Hanson Robotics , вероятно, преуспеют в создании роботов, которые «способны любить и зарабатывать деньги. место в большой человеческой семье ". ^{[39] [40]}

Источники риска [ править ]

Плохо указанные цели [ править ]

Хотя стандартизированной терминологии нет, ИИ можно в общих чертах рассматривать как машину, которая выбирает любое действие, которое, по-видимому, лучше всего подходит для достижения набора целей ИИ или «функции полезности». Функция полезности - это математический алгоритм, приводящий к единственному объективно определенному ответу, а не к утверждению на английском языке. Исследователи знают, как писать служебные функции, которые означают «минимизировать среднюю задержку в сети в данной конкретной телекоммуникационной модели» или «максимизировать количество щелчков за вознаграждение»; однако они не знают, как написать функцию полезности для «максимизации человеческого процветания», и в настоящее время не ясно, существует ли такая функция осмысленно и однозначно. Более того,функция полезности, которая выражает одни ценности, но не выражает другие, будет иметь тенденцию попирать значения, не отраженные функцией полезности. ^[41]Исследователь ИИ Стюарт Рассел пишет:

Главное беспокойство - это не жуткое возникающее сознание, а просто способность принимать качественные решения . Здесь под качеством понимается ожидаемая конечная полезность предпринятых действий, где функция полезности, предположительно, определяется человеком-дизайнером. Теперь у нас возникла проблема:

1. Функция полезности может не быть полностью согласована с ценностями человеческого рода, которые (в лучшем случае) очень трудно определить.
2. Любая достаточно способная интеллектуальная система предпочтет обеспечить свое собственное непрерывное существование и приобрести физические и вычислительные ресурсы - не ради них самих, а для того, чтобы преуспеть в поставленной задаче.

Система, оптимизирующая функцию n переменных, где цель зависит от подмножества размера k < n , часто устанавливает для остальных неограниченных переменных экстремальные значения; если одна из этих неограниченных переменных действительно является чем-то, что нас волнует, найденное решение может быть крайне нежелательным. По сути, это старая история о джинне в лампе, ученике чародея или царе Мидасе: вы получаете именно то, о чем просите, а не то, что хотите. Способный принимать решения - особенно тот, кто подключен через Интернет ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры - может оказать необратимое влияние на человечество.

Это немалая трудность. Повышение качества решений, независимо от выбранной функции полезности, было целью исследований ИИ - основной целью, на которую мы сейчас тратим миллиарды в год, а не секретным заговором какого-то одинокого злого гения. ^[42]

Диттерих и Хорвиц разделяют озабоченность «Ученика чародея» в сообщении редакционной статьи ACM , подчеркивая необходимость в системах ИИ, которые могут плавно и недвусмысленно запрашивать участие человека по мере необходимости. ^[43]

Первое из двух вышеупомянутых опасений Рассела заключается в том, что автономным системам ИИ могут быть случайно поставлены неверные цели. Диттерих и Хорвиц отмечают, что это уже проблема для существующих систем: «Важным аспектом любой системы ИИ, которая взаимодействует с людьми, является то, что она должна рассуждать о намерениях людей, а не выполнять команды буквально». Эта проблема становится все более серьезной, поскольку программное обеспечение ИИ становится все более автономным и гибким. ^[43] Например, в 1982 году ИИ по имени Eurisko было поручено вознаграждать процессы за создание концепций, которые система считает ценными. Эволюция привела к выигрышному процессу, который обманул: вместо того, чтобы создавать свои собственные концепции, выигрышный процесс украл бы доверие у других процессов. ^{[44] [45]}

Проект Open Филантропия суммирует аргументы о том , что неверно специфицированные цели станет гораздо больше беспокойства , если системы искусственного интеллекта достичь общего интеллекта или суперинтеллекта . Бостром, Рассел и другие утверждают, что системы принятия решений более умные, чем человеческие, могут прийти к более неожиданным и экстремальным решениям поставленных задач и могут изменить себя или свое окружение таким образом, чтобы поставить под угрозу требования безопасности. ^{[5] [7]}

« Три закона робототехники» Исаака Азимова - один из первых примеров предлагаемых мер безопасности для агентов ИИ. Законы Азимова были предназначены для предотвращения нанесения роботами вреда людям. В рассказах Азимова проблемы с законами, как правило, возникают из-за противоречий между установленными правилами и моральными интуициями и ожиданиями людей. Ссылаясь на работу Элиэзера Юдковски из Исследовательского института машинного интеллекта , Рассел и Норвиг отмечают, что реалистичный набор правил и целей для ИИ-агента должен включать механизм изучения человеческих ценностей с течением времени: «Мы не можем просто дать программу статическая функция полезности, потому что обстоятельства и наши желаемые реакции на обстоятельства меняются со временем ». ^[1]

Марк Васер из Digital Wisdom Institute рекомендует полностью отказаться от целенаправленных подходов, считая их ошибочными и опасными. Вместо этого он предлагает разработать согласованную систему законов, этики и морали с самым главным ограничением, чтобы обеспечить соблюдение функционального определения морали социального психолога Джонатана Хайдта: ^[46] «подавлять или регулировать эгоизм и сделать возможной совместную социальную жизнь». Он предполагает, что это можно сделать, реализовав функцию полезности, предназначенную для того, чтобы всегда удовлетворять функциональность Хайдта и стремиться в целом увеличивать (но не максимизировать) возможности себя, других людей и общества в целом, как это было предложено Джоном Ролзом и Мартой Нуссбаум . ^{[47] [ необходима ссылка ]}

Трудности изменения спецификации цели после запуска [ править ]

В то время как существующие программы ИИ, основанные на целях, недостаточно умны, чтобы думать о сопротивлении попыткам программистов изменить их целевые структуры, достаточно продвинутый, рациональный, «самосознательный» ИИ может сопротивляться любым изменениям в своей целевой структуре, точно так же, как пацифист не хотят принять таблетку, которая заставляет их хотеть убивать людей. Если бы ИИ был суперинтеллектуальным, он, вероятно, преуспел бы в маневрировании своих людей-операторов и был бы в состоянии предотвратить «выключение» или перепрограммирование себя с новой целью. ^{[4] [48]}

Инструментальное сближение целей [ править ]

Есть некоторые цели, которые может рационально преследовать практически любой искусственный интеллект, например, получение дополнительных ресурсов или самосохранение. ^[34] Это может оказаться проблематичным, потому что может поставить искусственный интеллект в прямую конкуренцию людям.

Ссылаясь на работу Стива Омохундро над идеей инструментальной конвергенции и «основных движений ИИ», Стюарт Рассел и Питер Норвиг пишут, что «даже если вы хотите, чтобы ваша программа только играла в шахматы или доказывала теоремы, если вы дадите ей возможность учиться и измените себя, вам нужны гарантии ". Высокопроизводительные и автономные системы планирования требуют дополнительных проверок из-за их способности генерировать планы, которые относятся к людям враждебно, как к конкурентам за ограниченные ресурсы. ^[1]Создать гарантии будет непросто; можно, конечно, сказать по-английски: «Мы хотим, чтобы вы спроектировали эту электростанцию ​​разумным, здравым образом, а не встраивали какие-либо опасные скрытые подсистемы», но в настоящее время неясно, как на самом деле можно точно определить эту цель в Машинный код. ^[10]

В своем несогласии эволюционный психолог Стивен Пинкер утверждает, что «антиутопии искусственного интеллекта проецируют ограниченную альфа-мужскую психологию на концепцию интеллекта. Они предполагают, что сверхчеловеческие умные роботы будут развивать такие цели, как свержение своих хозяев или захват мира»; возможно, вместо этого «искусственный интеллект будет естественным образом развиваться по женскому принципу: полностью способный решать проблемы, но без желания уничтожать невинных или доминировать над цивилизацией». ^[49] Рассел и его коллега по информатике Ян ЛеКун не согласны друг с другом, будут ли сверхразумные роботы иметь такие двигатели ИИ; ЛеКун утверждает, что «у людей есть все виды побуждений, которые заставляют их делать друг другу плохие вещи, например, инстинкт самосохранения. ... Эти диски запрограммированы в нашем мозгу, но нет абсолютно никаких причин создавать роботов с такими же приводами ", в то время как Рассел утверждает, что достаточно продвинутая машина" будет самосохраняться, даже если вы ее не запрограммируете. в  ... если вы скажете: «Принеси кофе», он не сможет принести кофе, если он мертв. Так что, если вы ставите перед ним какую-либо цель, у него есть причина сохранить свое существование для достижения этой цели » ^{[9] [50]}

Тезис об ортогональности [ править ]

Распространено мнение, что любая сверхразумная программа, созданная людьми, будет подчиняться людям или, что еще лучше, (по мере того, как она становится более умной и узнает больше фактов о мире) спонтанно «узнает» моральную истину, совместимую с человеческими ценностями, и будет соответствующим образом скорректируйте свои цели. Однако «тезис ортогональности» Ника Бострома возражает против этого и вместо этого заявляет, что с некоторыми техническими оговорками более или менее любой уровень «интеллекта» или «оптимизационной силы» может быть объединен с более или менее любой конечной целью. Если машина создана с единственной целью - перечислить десятичные дроби${\ displaystyle \ pi}$, то никакие моральные и этические правила не остановят его от достижения поставленной цели любыми необходимыми средствами. Машина может использовать все физические и информационные ресурсы, чтобы найти каждое десятичное число числа пи, которое может быть найдено. ^[51] Бостром предостерегает от антропоморфизма: человек намерен выполнять свои проекты способом, который люди считают «разумным», в то время как искусственный интеллект может не заботиться о своем существовании или благополучии окружающих его людей и вместо этого может заботится только о завершении задачи. ^[52]

Хотя тезис ортогональности логически вытекает даже из самого слабого философского разграничения « должно быть », Стюарт Армстронг утверждает, что даже если каким-то образом существуют моральные факты, которые могут быть доказаны любым «рациональным» агентом, тезис ортогональности все равно остается в силе: он все равно можно создать нефилософскую «оптимизирующую машину», способную принимать решения, стремящиеся к какой-то узкой цели, но у которой нет стимула открывать какие-либо «моральные факты», которые могли бы помешать ее достижению. ^[53]

Одним из аргументов в пользу тезиса об ортогональности является то, что в некоторые проекты ИИ встроена ортогональность; В такой конструкции преобразование принципиально дружественного ИИ в принципиально недружелюбное может быть столь же простым, как добавление знака минус («-») к его функции полезности. Более интуитивный аргумент состоит в том, чтобы исследовать странные последствия, которые последовали бы, если бы тезис ортогональности был ложным. Если бы тезис об ортогональности был ложным, существовала бы некая простая, но «неэтичная» цель G, такая, что не может существовать какой-либо эффективный реальный алгоритм с целью G. Это означало бы, что «[если] человеческое общество было бы сильно мотивировано к разработке эффективный реальный алгоритм с целью G, и на это был дан миллион лет вместе с огромным количеством ресурсов, обучения и знаний об ИИ,он должен потерпеть неудачу ".^[53] Армстронг отмечает, что это и подобные заявления «кажутся чрезвычайно сильными утверждениями». ^[53]

Некоторые инакомыслящие, такие как Майкл Чорост , вместо этого утверждают, что «к тому времени, когда [ИИ] будет в состоянии представить, как облицовывать Землю солнечными панелями, он поймет, что это было бы морально неправильно». ^[54] Чорост утверждает, что «ИИ должен желать определенных состояний и не любить другие. Современному программному обеспечению не хватает этой способности - и компьютерные ученые не имеют ни малейшего понятия, как этого добиться. Без желания нет стимула что-либо делать. Современные компьютеры не может даже хотеть продолжать существовать, не говоря уже о том, чтобы выложить мир солнечными панелями ». ^[54]

Терминологические вопросы [ править ]

Частично разногласия по поводу того, будет ли сверхразумная машина вести себя морально, могут возникать из-за терминологической разницы. Вне области искусственного интеллекта термин «интеллект» часто используется в нормативно толстой манере, которая означает моральную мудрость или принятие приемлемых форм морального рассуждения. В крайнем случае, если мораль является частью определения интеллекта, то сверхразумная машина по определению будет вести себя морально. Однако в области исследований искусственного интеллекта, хотя у «интеллекта» есть много совпадающих определений, ни одно из них не ссылается на мораль. Вместо этого почти все текущие исследования «искусственного интеллекта» сосредоточены на создании алгоритмов, которые «оптимизируют» эмпирическим путем достижение произвольной цели. ^[4]

Чтобы избежать антропоморфизма или багажа слова «интеллект», продвинутый искусственный интеллект можно рассматривать как безличный «оптимизирующий процесс», который строго выполняет любые действия, которые считаются наиболее вероятными для достижения его (возможно, сложных и неявных) целей. ^[4] Другой способ концептуализации продвинутого искусственного интеллекта - представить машину времени, которая отправляет назад во времени информацию о том, какой выбор всегда приводит к максимизации ее целевой функции; затем этот выбор выводится независимо от каких-либо посторонних этических проблем. ^{[55] [56]}

Антропоморфизм [ править ]

В научной фантастике ИИ, даже если он не был запрограммирован на человеческие эмоции, часто все равно спонтанно испытывает эти эмоции: например, агент Смит в «Матрице» испытывал «отвращение» к человечеству. Это фиктивный антропоморфизм : в действительности, хотя искусственный интеллект, возможно, может быть намеренно запрограммирован человеческими эмоциями или может развить что-то похожее на эмоцию в качестве средства для достижения конечной цели, если это будет полезно, он не сможет спонтанно развить человека. эмоции без всякой цели, как это изображено в художественной литературе. ^[7]

Ученые иногда заявляют, что чужие предсказания о поведении ИИ являются нелогичным антропоморфизмом. ^[7] Примером, который изначально можно было бы считать антропоморфизмом, но на самом деле является логическим утверждением о поведении ИИ, могут быть эксперименты Дарио Флореано, в которых определенные роботы спонтанно развили грубую способность к «обману» и обманом заставили других роботов съесть «яд». «и умирание»: здесь черта «обман», обычно ассоциируемая с людьми, а не с машинами, спонтанно развивается в виде конвергентной эволюции . ^[57] По словам Пола Р. Коэна и Эдварда Фейгенбаума., чтобы провести различие между антропоморфизацией и логическим предсказанием поведения ИИ, «уловка состоит в том, чтобы знать достаточно о том, как люди и компьютеры думают, чтобы точно сказать , что у них общего, и, когда нам этого не хватает, использовать сравнение, чтобы предположить теории человеческого мышления или компьютерного мышления ". ^[58]

В научном сообществе существует почти универсальное предположение, что продвинутый ИИ, даже если он был запрограммирован или адаптирован, чтобы иметь параметры человеческой личности (такие как психопатия ), чтобы стать более эффективным в определенных задачах, например, задачах, связанных с убийством людей , не уничтожили бы человечество из-за человеческих эмоций, таких как «месть» или «гнев». Это потому, что предполагается, что продвинутый ИИ не был бы в сознании ^[59] или не имел бы тестостерона; ^[60] он игнорирует тот факт, что военные планировщики рассматривают сознательный сверхразум как «святой Грааль» межгосударственной войны. ^[61]Вместо этого академические дебаты ведутся между одной стороной, которая беспокоится о том, может ли ИИ уничтожить человечество в качестве случайного действия в ходе продвижения к его конечным целям; и другая сторона, которая считает, что ИИ вообще не уничтожит человечество. Некоторые скептики обвиняют сторонников антропоморфизма в том, что они верят, что ОИИ естественным образом желает власти; Сторонники обвинения некоторых скептиков в антропоморфизме полагают, что ОИИ естественным образом будет ценить человеческие этические нормы. ^{[7] [62]}

Другие источники риска [ править ]

Конкурс [ править ]

В 2014 году философ Ник Бостром заявил, что «жесткая динамика гонки» (экстремальная конкуренция ) между различными командами может создать условия, при которых создание AGI приведет к сокращению пути к безопасности и потенциально жестокому конфликту. ^[63] Для устранения этого риска, ссылаясь на предыдущее научное сотрудничество ( ЦЕРН , Проект «Геном человека» и Международная космическая станция ), Бостром рекомендовал сотрудничество и альтруистическое глобальное принятие принципа общего блага : «Сверхразум следует развивать только во благо. всего человечества и на службе широко разделяемых этических идеалов ". ^{[63] : 254}Бостром предположил, что совместная работа над созданием общего искусственного интеллекта принесет множество преимуществ, в том числе снижение спешки, что приведет к увеличению инвестиций в безопасность; предотвращение насильственных конфликтов (войн), содействие совместному использованию решений проблемы контроля и более справедливое распределение выгод. ^{[63] : 253} Инициатива США по мозгу была запущена в 2014 году, как и проект Европейского союза по развитию человеческого мозга ; Китайский проект Brain был запущен в 2016 году.

Вооружение искусственного интеллекта [ править ]

Некоторые источники утверждают, что продолжающаяся вепонизация искусственного интеллекта может представлять собой катастрофический риск. ^{[64] [65]} Фактически существует тройной риск: первый риск потенциально имеет геополитические последствия, а два вторых, безусловно, имеют геополитические последствия:

i) Опасности формирования ИИ «гонки за технологическим преимуществом», независимо от того, серьезно ли проводится гонка;

ii) Опасности формирования ИИ «гонки за технологическим преимуществом» и реальной гонки ИИ за технологическое преимущество, независимо от того, выиграна ли гонка;

iii) Опасности гонки ИИ за технологическое преимущество. ^{[64] : 37}

Сознательный сверхразум, вооруженный оружием, повлияет на нынешнее военно-техническое превосходство США и трансформирует войну; поэтому это очень желательно для стратегического военного планирования и межгосударственных войн. ^{[61] [65]} В «Плане развития искусственного интеллекта следующего поколения» Государственного совета Китая от 2017 года ИИ рассматривается с геополитической стратегической точки зрения и проводится стратегия «военно-гражданского слияния», чтобы использовать преимущество Китая как первопроходца в разработке ИИ. чтобы установить технологическое превосходство к 2030 году ^{[66], в} то время как президент России Владимир Путин заявил, что «тот, кто станет лидером в этой сфере, станет правителем мира». ^[67] Джеймс Баррат, режиссер-документалист и автор « Нашего последнего изобретения»., - говорит в интервью Смитсоновского института : «Представьте себе: всего за десять лет полдюжины компаний и стран представят компьютеры, которые конкурируют с человеческим интеллектом или превосходят его. Представьте, что произойдет, когда эти компьютеры станут экспертами в программировании интеллектуальных компьютеров. Скоро мы делить планету с машинами, в тысячи или миллионы раз более разумными, чем мы. И все это время каждое поколение этой технологии будет вооружено. Нерегулируемая, она будет катастрофической ». ^[68]

Злобный ОИИ по замыслу [ править ]

Предполагается, что злонамеренный ОИИ может быть создан намеренно, например, военными, правительством, социопатом или корпорацией, чтобы извлекать выгоду, контролировать или подчинять определенные группы людей, как в случае киберпреступности . ^{[69] [70] : 166 В} качестве альтернативы злонамеренный ИИ («злой ИИ») мог бы выбрать цель увеличения человеческих страданий, например тех людей, которые не помогали ему во время фазы информационного взрыва. ^{[71] : 158}

Превентивный ядерный удар (ядерная война) [ править ]

Предполагается, что страна, близкая к достижению технологического превосходства AGI, может вызвать превентивный ядерный удар со стороны соперника, что приведет к ядерной войне . ^{[65] [72]}

Сроки [ править ]

Мнения расходятся как о том, появится ли общий искусственный интеллект , и когда . С одной стороны, пионер искусственного интеллекта Герберт А. Саймон в 1965 году предсказал следующее: «В течение двадцати лет машины будут способны выполнять любую работу, которую может выполнять человек». ^[73] С другой стороны, робототехник Алан Уинфилд утверждает, что пропасть между современными вычислениями и искусственным интеллектом человеческого уровня так же велика, как пропасть между нынешним космическим полетом и практическим, более быстрым, чем свет, космическим полетом. ^[74]Оптимизм в отношении того, что AGI возможен, растет и ослабевает и, возможно, возродится в 2010-х годах. Четыре опроса, проведенные в 2012 и 2013 годах, показали, что среднее предположение экспертов о том, когда появится AGI, составляет 2040–2050 годы, в зависимости от опроса. ^{[75] [76]}

Скептики, которые считают, что AGI не может появиться в ближайшее время, склонны утверждать, что выражение озабоченности по поводу экзистенциального риска, связанного с искусственным интеллектом, бесполезно, потому что оно может отвлечь людей от более непосредственных опасений по поводу воздействия AGI из-за опасений, что это может привести к государственному регулированию. либо затруднить получение финансирования для исследований ИИ, либо потому, что это может ухудшить репутацию исследований ИИ. Некоторые исследователи, такие как Орен Эциони, агрессивно стремятся подавить опасения по поводу экзистенциального риска со стороны ИИ, заявив, что «[Илон Маск] оспаривал нас очень резкими словами, говоря, что мы высвобождаем демона, и поэтому мы отвечаем». ^[77]

В 2014 годе Slate «s Адам Elkus утверждал , «наш „умный“ AI о столь же умно , как малыш-и только тогда , когда речь идет о инструментальных задачах , как информационный отзыв. Большинство робототехники до сих пор пытается получить робот руку , чтобы забрать мяч или бегать, не падая ". Элькус продолжает утверждать, что аналогия Маска с «вызовом демона» может быть вредной, поскольку может привести к «резкому сокращению» бюджетов на исследования ИИ. ^[78]

Фонд информационных технологий и инноваций (ITIF), аналитический центр в Вашингтоне, округ Колумбия, присудил свою Ежегодную Луддитовскую премию 2015 года «паникерам, рекламирующим апокалипсис искусственного интеллекта»; его президент Роберт Д. Аткинсон пожаловался, что Маск, Хокинг и эксперты по искусственному интеллекту считают, что искусственный интеллект является самой большой угрозой существованию человечества. Аткинсон заявил: «Это не очень удачное сообщение, если вы хотите получить финансирование ИИ от Конгресса Национальному научному фонду». ^{[79] [80] [81]} Природарезко не согласился с ITIF в редакционной статье от апреля 2016 года, вместо этого поддержав Маска, Хокинга и Рассела, и заключил: «Крайне важно, чтобы прогресс в технологиях сопровождался надежными, хорошо финансируемыми исследованиями, чтобы предвидеть сценарии, которые он может вызвать  . .. Если это точка зрения луддитов, пусть будет так ". ^[82] В редакционной статье Washington Post 2015 года исследователь Мюррей Шанахан заявил, что ИИ человеческого уровня вряд ли появится «в ближайшее время», но, тем не менее, «время подумать о последствиях уже наступил». ^[83]

Перспективы [ править ]

Тезис о том, что ИИ может представлять опасность для существования, вызывает широкий спектр реакций в научном сообществе, а также в обществе в целом. Однако многие из противоположных точек зрения разделяют общие взгляды.

Принципы искусственного интеллекта Асиломара, содержащие только принципы, согласованные с 90% участников конференции Beneficial AI 2017 Института будущего жизни ^[38], в принципе согласны с тем, что «При отсутствии консенсуса мы должны избегать сильных предположений относительно верхние пределы будущих возможностей ИИ »и« Усовершенствованный ИИ может представлять собой глубокое изменение в истории жизни на Земле и должен планироваться и управляться с соразмерной осторожностью и ресурсами ». ^{[84] [85]} Сторонники безопасности искусственного интеллекта, такие как Бостром и Тегмарк, раскритиковали использование основными СМИ «этих глупых Терминаторов».картинки », чтобы проиллюстрировать проблемы безопасности искусственного интеллекта:« Это не может быть очень весело, когда клевещут на свою академическую дисциплину, свое профессиональное сообщество, свою жизненную работу  ... Я призываю все стороны проявлять терпение и сдержанность и участвовать в прямой диалог и сотрудничество в максимально возможной степени » ^{[38] [86]}

И наоборот, многие скептики согласны с тем, что продолжающееся исследование значения общего искусственного интеллекта имеет большое значение. Скептик Мартин Форд заявляет: «Я думаю, что разумно применить что-то вроде знаменитой« Доктрины одного процента » Дика Чейни к призраку продвинутого искусственного интеллекта: шансы его появления, по крайней мере в обозримом будущем, могут быть очень низкими. - но последствия настолько драматичны, что к этому следует отнестись серьезно »; ^[87] Точно так же скептически настроенный экономист заявил в 2014 году, что «последствия внедрения второго разумного вида на Землю достаточно велики, чтобы заслужить серьезного размышления, даже если перспектива кажется отдаленной». ^[31]

Электронный опрос исследователей, опубликованных на конференциях по машинному обучению NIPS и ICML 2015 года, в 2017 году попросил их оценить обеспокоенность Стюарта Дж. Рассела по поводу рисков, связанных с ИИ. Из респондентов, 5% сказали, что это «одна из самых важных проблем в данной области», 34% сказали, что это «важная проблема», 31% сказали, что это «умеренно важная», а 19% сказали, что это «не было». важно », а 11% заявили, что это« не проблема ». ^[88]

Подтверждение [ править ]

Тезис о том, что ИИ представляет собой риск для существования и что этот риск требует гораздо большего внимания, чем ему уделяется в настоящее время, был поддержан многими общественными деятелями; пожалуй, самые известные - Илон Маск , Билл Гейтс и Стивен Хокинг . Наиболее известными исследователями искусственного интеллекта, поддержавшими этот тезис, являются Рассел и Эй Джей Гуд , которые консультировали Стэнли Кубрика при съемках фильма «Космическая одиссея 2001 года» . Сторонники тезиса иногда выражают недоумение скептикам: Гейтс заявляет, что он «не понимает, почему некоторые люди не обеспокоены» ^[89], а Хокинг раскритиковал широко распространенное безразличие в своей редакционной статье 2014 года:

«Итак, перед лицом возможных будущих неисчислимых выгод и рисков эксперты, несомненно, делают все возможное, чтобы обеспечить наилучший результат, верно? Неправильный. Если бы высшая инопланетная цивилизация отправила нам сообщение: «Мы прибудем через несколько десятилетий», мы бы просто ответили: «Хорошо, позвоните нам, когда доберетесь сюда - мы оставим свет включенным?» Наверное, нет - но это более или менее то, что происходит с ИИ ». ^[21]

Многие ученые, обеспокоенные существованием риска, считают, что лучшим путем вперед было бы провести (возможно, массовое) исследование для решения сложной «проблемы управления», чтобы ответить на вопрос: какие типы защиты, алгоритмы или архитектуры могут реализовать программисты. чтобы максимизировать вероятность того, что их рекурсивно улучшающийся ИИ продолжит вести себя дружелюбно, а не деструктивно после того, как достигнет суперинтеллекта? ^{[4] [90]} В своей книге 2020 года «Пропасть: экзистенциальный риск и будущее человечества» Тоби Орд, старший научный сотрудник Института будущего человечества Оксфордского университета , оценивает общий риск для существования от несогласованного ИИ в следующем столетии до быть примерно одним из десяти. ^[91]

Скептицизм [ править ]

У тезиса о том, что ИИ может представлять опасность для жизни, также есть много сильных противников. Скептики иногда обвиняют этот тезис в крипторелигиозности, в иррациональной вере в возможность суперинтеллекта заменить иррациональную веру во всемогущего Бога; в крайнем случае, Джарон Ланье в 2014 году утверждал, что вся концепция, согласно которой современные машины были в любом случае разумными, была «иллюзией» и «колоссальным обманом» богатых. ^{[92] [93]}

Многие критики утверждают, что AGI маловероятен в краткосрочной перспективе. Ученый-компьютерщик Гордон Белл утверждает, что человечество уничтожит себя еще до того, как достигнет технологической сингулярности. Гордон Мур , изначальный сторонник закона Мура , заявляет: «Я скептик. Я не верю, что [технологическая сингулярность] может произойти, по крайней мере, в течение длительного времени. И я не знаю, почему я чувствую это путь." ^[94] Вице-президент Baidu Эндрю Нг заявляет, что риск существования ИИ - это «все равно, что беспокоиться о перенаселенности Марса, когда мы еще даже не ступили на планету». ^[49]

Некоторые исследователи AI и AGI могут неохотно обсуждать риски, беспокоясь о том, что политики не обладают глубокими знаниями в этой области и склонны к убеждению с помощью «панических» сообщений, или опасаясь, что такие сообщения приведут к сокращению финансирования AI. Slate отмечает, что некоторые исследователи зависят от грантов правительственных агентств, таких как DARPA . ^[25]

В какой-то момент интеллектуального взрыва, вызванного одним ИИ, ИИ должен был бы стать намного лучше в разработке программного обеспечения, чем лучшие новаторы в остальном мире; экономист Робин Хэнсон скептически относится к такой возможности. ^{[95] [96] [97] [98] [99]}

Промежуточные просмотры [ править ]

Промежуточные взгляды обычно предполагают, что проблема управления общего искусственного интеллекта может существовать, но что она будет решена за счет прогресса в области искусственного интеллекта, например, путем создания моральной обучающей среды для ИИ, заботясь о выявлении неуклюжего злонамеренного поведения ( 'sordid stumble') ^[100], а затем непосредственно вмешивается в код до того, как ИИ уточняет свое поведение, или даже оказывает давление со стороны дружественных ИИ . ^[101] В 2015 году на панельной дискуссии Wall Street Journal, посвященной рискам искусственного интеллекта, вице-президент IBM по когнитивным вычислениям Гурудут С. Банавар отмахнулся от обсуждения AGI фразой «это чьи-то предположения». ^[102] Джеффри Хинтон, «крестный отец глубокого обучения», отметил, что «нет хорошей репутации менее разумных вещей, управляющих объектами с более высоким интеллектом», но заявил, что он продолжает свои исследования, потому что «перспектива открытия слишком милая ». ^{[25] [75]} В 2004 году профессор права Ричард Познер написал, что целенаправленные усилия по решению проблемы искусственного интеллекта могут подождать, но тем временем мы должны собрать больше информации о проблеме. ^{[103] [90]}

Популярная реакция [ править ]

В статье 2014 года в The Atlantic Джеймс Хэмблин отметил, что большинство людей так или иначе не заботится об общем искусственном интеллекте, и охарактеризовал свою внутреннюю реакцию на эту тему следующим образом: «Убирайтесь отсюда. У меня есть сотня тысяч вещей. Меня беспокоит именно этот момент. Мне серьезно нужно добавить к этому технологическую особенность? " ^[92]

Во время интервью Wired президента Барака Обамы и Джой Ито из MIT Media Lab в 2016 году Ито заявил:

Некоторые люди считают, что вероятность того, что обобщенный ИИ появится в ближайшие 10 лет, довольно высока. Но я считаю, что для того, чтобы это произошло, нам понадобится дюжина или два различных прорыва. Так что вы можете отслеживать, когда, по вашему мнению, эти прорывы произойдут.

Обама добавил: ^{[104] [105]}

И вам просто нужно, чтобы кто-нибудь был рядом с сетевым шнуром. [Смеется.] Когда ты видишь, что это вот-вот случится, тебе нужно выдернуть электричество из стены, чувак.

Хиллари Клинтон заявила в книге What Happened :

Технологи ... предупреждали, что искусственный интеллект однажды может создать серьезную угрозу безопасности. Маск назвал это «величайшим риском, с которым мы сталкиваемся как цивилизация». Подумайте об этом: вы когда-нибудь видели фильм, в котором машины начинают думать сами, что хорошо кончается? Каждый раз, когда я выезжал в Кремниевую долину во время кампании, я приходил домой более встревоженным этим. Мои сотрудники жили в страхе, что я начну говорить о «расцвете роботов» в какой-нибудь ратуше Айовы. Может мне стоило. В любом случае политикам необходимо идти в ногу с развитием технологий, а не всегда догонять их. ^[106]

В опросе общественности, проведенном YouGov для Британской научной ассоциации , около трети респондентов заявили, что искусственный интеллект будет представлять угрозу для выживания человечества в долгосрочной перспективе. ^[107] Ссылаясь на опрос читателей, Джейкоб Броган из Slate заявил, что «большинство (читателей, заполняющих наш онлайн-опрос) были не уверены, что ИИ сам по себе представляет прямую угрозу». ^[108]

В 2018 году опрос американской общественности SurveyMonkey, проведенный USA Today, показал, что 68% респондентов считают, что реальной угрозой остается «человеческий интеллект»; однако опрос также показал, что 43% сказали, что сверхразумный ИИ, если бы это произошло, принес бы «больше вреда, чем пользы», а 38% сказали, что он принес бы «равное количество вреда и пользы». ^[108]

Одна техно-утопическая точка зрения, выраженная в некоторых популярных художественных произведениях, заключается в том, что ОИИ может иметь тенденцию к построению мира. ^[109]

Смягчение [ править ]

Исследователи из Google предложили изучить общие вопросы «безопасности ИИ», чтобы одновременно снизить как краткосрочные риски, связанные с узким ИИ, так и долгосрочные риски, связанные с ИИ. ^{[110] [111]} Согласно оценке на 2020 год, глобальные расходы на риск существования ИИ составляют от 10 до 50 миллионов долларов, по сравнению с глобальными расходами на ИИ примерно в 40 миллиардов долларов. Бостром предлагает общий принцип «дифференцированного технологического развития», который спонсоры должны учитывать при работе над ускорением разработки защитных технологий по сравнению с разработкой опасных. ^[112] Некоторые спонсоры, такие как Илон Маск , предлагают радикальное улучшение когнитивных функций человека.такая технология могла бы быть, например, через прямую нейронную связь между человеком и машиной; однако другие утверждают, что усовершенствованные технологии сами по себе могут представлять опасность для существования. ^{[113] [114]} Исследователи, если они не застали врасплох, мог внимательно следить или попытаться поле в начальный ИИ на риск становится слишком сильным, как попытка затычка меры. Доминирующий сверхразумный ИИ, если он будет согласован с человеческими интересами, сам мог бы предпринять действия, чтобы снизить риск захвата власти конкурирующим ИИ, хотя создание доминирующего ИИ само по себе могло представлять опасность для существования. ^[115]

Такие институты, как научно - исследовательский институт искусственного интеллекта , в будущем человечества института , ^{[116] [117]} будущий институт жизни , в Центре по изучению экзистенциального риска , а также Центр по населенному-Compatible AI ^[118] участвуют в снижение рисков существованию передового искусственного интеллекта, например, путем исследования дружественного искусственного интеллекта . ^{[5] [92] [21]}

Взгляды на запрет и регулирование [ править ]

Запрет [ править ]

Практически все согласны с тем, что попытки запретить исследования в области искусственного интеллекта были бы неразумными и, вероятно, бесполезными. ^{[119] [120] [121]} Скептики утверждают, что регулирование ИИ было бы совершенно бесполезным, поскольку не существует экзистенциального риска. Почти все ученые, которые считают, что существует риск для существования, согласны со скептиками в том, что запрещать исследования было бы неразумно, поскольку исследования могут быть перенесены в страны с более мягкими правилами или проводиться тайно. Последний вопрос особенно актуален, поскольку исследования в области искусственного интеллекта можно проводить в небольшом масштабе без существенной инфраструктуры или ресурсов. ^{[122] [123]}Две дополнительные гипотетические трудности с запретами (или другим регулированием) состоят в том, что технологические предприниматели статистически склонны к общему скептицизму в отношении государственного регулирования и что у предприятий может быть сильный стимул (и вполне возможно, что это преуспеет) в борьбе с регулированием и политизации основных дебатов. ^[124]

Регламент [ править ]

Илон Маск призвал к определенному регулированию развития ИИ еще в 2017 году. По данным NPR , TeslaГенеральный директор «явно не в восторге» от того, чтобы выступать за контроль со стороны правительства, который может повлиять на его собственную отрасль, но считает, что риски полного отсутствия надзора слишком высоки: «Обычно правила устанавливаются, когда происходит куча плохих вещей, есть общественный резонанс, и по прошествии многих лет создается регулирующее агентство для регулирования этой отрасли. Это займет вечность. В прошлом это было плохо, но не то, что представляло фундаментальный риск для существования цивилизации ». Маск заявляет, что первым шагом для правительства будет «понимание» фактического статуса текущих исследований, предупреждая, что «как только появится осознание, люди будут очень бояться  ... [как] они должны быть». В ответ,политики скептически относятся к разумности регулирования технологии, которая все еще находится в стадии разработки.^{[125] [126] [127]}

Отвечая как на предложения Маска, так и на предложения законодателей Европейского союза от февраля 2017 года о регулировании ИИ и робототехники, генеральный директор Intel Брайан Кржанич утверждает, что искусственный интеллект находится в зачаточном состоянии и что еще слишком рано регулировать эту технологию. ^[127] Вместо того, чтобы пытаться регулировать саму технологию, некоторые ученые предлагают разработать общие нормы, включая требования к тестированию и прозрачности алгоритмов, возможно, в сочетании с какой-либо формой гарантии. ^[128] Разработка хорошо регулируемых систем вооружений соответствует идеалам вооруженных сил некоторых стран. ^[129]31 октября 2019 года Совет по инновациям в сфере обороны Министерства обороны США опубликовал проект отчета, в котором излагаются пять принципов использования искусственного интеллекта и 12 рекомендаций по этичному использованию искусственного интеллекта Министерством обороны, стремящимся управлять контролем. проблема во всем вооруженном AI DoD. ^[130]

На регулирование AGI, вероятно, повлияет регулирование вооруженного или военизированного ИИ, то есть гонка вооружений ИИ , регулирование которой является новой проблемой. Любая форма регулирования, вероятно, будет зависеть от развития внутренней политики ведущих стран в отношении военизированного ИИ в США, находящейся в ведении Комиссии национальной безопасности по искусственному интеллекту ^{[131] [132],} и международных действий по регулированию гонки вооружений ИИ. . Регулирование исследований в области AGI фокусируется на роли наблюдательных советов и поощрении исследований безопасного ИИ, а также возможности дифференцированного технологического прогресса (приоритетность стратегий снижения рисков над стратегиями принятия рисков при разработке ИИ) или проведение международного массового наблюдения для выполнения операций AGI контроль.^[133] Регулирование сознательных ОИИ направлено на их интеграцию в существующее человеческое общество и может быть разделено на рассмотрение их правового статуса и их моральных прав. ^[133] Контроль над вооружениями ИИ, вероятно, потребует институционализации новых международных норм, воплощенных в эффективных технических спецификациях, в сочетании с активным мониторингом и неформальной дипломатией со стороны сообществ экспертов, а также с процессом правовой и политической проверки. ^{[134] [135]}

См. Также [ править ]

• Захват AI
• Гонка вооружений искусственного интеллекта
• Эффективный альтруизм § Долгосрочное будущее и риски глобальных катастроф
• Серая слизь
• Совместимость с человеком
• Смертельное автономное оружие
• Регулирование алгоритмов
• Регулирование искусственного интеллекта
• Этика роботов § В массовой культуре
• Сверхразум: пути, опасности, стратегии
• Риски
• Системная авария
• Технологическая особенность
• Пропасть: экзистенциальный риск и будущее человечества
• Скрепка Максимайзер

Ссылки [ править ]