Экзистенциальный риск от искусственного общего интеллекта
Экзистенциальный риск от искусственного общего интеллекта — это гипотеза о том, что существенный прогресс в области искусственного общего интеллекта (AGI) может привести к вымиранию человечества или какой-либо другой необратимой глобальной катастрофе . [1] [2] [3] Утверждается, что человеческий вид в настоящее время доминирует над другими видами, потому что человеческий мозг обладает некоторыми отличительными способностями, которых нет у других животных. Если ИИ превзойдет человечество по общему интеллекту и станет « сверхразумным », то людям будет трудно или невозможно его контролировать. Так же, как судьба горной гориллызависит от доброй воли человека, так судьба человечества может зависеть от действий будущего машинного сверхразума. [4]
Вероятность такого сценария широко обсуждается и частично зависит от различных сценариев будущего прогресса в области компьютерных наук. [5] В 2010-х годах опасения по поводу сверхразума, которые когда-то были исключительной областью научной фантастики , стали популярными и популяризировались такими общественными деятелями, как Стивен Хокинг , Билл Гейтс и Илон Маск . [6]
Одним из источников беспокойства является то, что управление сверхразумной машиной или привитие ей ценностей, совместимых с человеком, может оказаться более сложной задачей, чем наивно предполагалось. Многие исследователи считают, что сверхразум естественным образом будет сопротивляться попыткам отключить его или изменить его цели — принцип, называемый инструментальной конвергенцией , — и что предварительное программирование сверхразума с полным набором человеческих ценностей окажется чрезвычайно сложной технической задачей. [1] [7] [8] Напротив, скептики, такие как ученый -компьютерщик Янн ЛеКун , утверждают, что сверхразумные машины не будут стремиться к самосохранению. [9]
Второй источник беспокойства заключается в том, что внезапный и неожиданный « интеллектуальный взрыв » может застать врасплох неподготовленное человечество. Для иллюстрации, если первое поколение компьютерной программы, способное в целом соответствовать эффективности исследователя ИИ, способно переписать свои алгоритмы и удвоить свою скорость или возможности за шесть месяцев, то ожидается, что программа второго поколения займет три календарных месяца. выполнить аналогичный кусок работы. В этом сценарии время для каждого поколения продолжает сокращаться, и система претерпевает беспрецедентно большое количество улучшений за короткий промежуток времени, переходя от нечеловеческих характеристик во многих областях к сверхчеловеческим характеристикам во всех соответствующих областях. [1] [7] Эмпирически такие примеры, какAlphaZero в области Go показывает, что системы искусственного интеллекта иногда могут очень быстро перейти от ограниченных способностей человеческого уровня к ограниченным сверхчеловеческим способностям. [10]
Одним из первых авторов, выразивших серьезную обеспокоенность тем, что высокоразвитые машины могут представлять угрозу существованию человечества, был писатель Сэмюэл Батлер , написавший в своем эссе 1863 года « Дарвин среди машин » следующее : [11]
Исход — это просто вопрос времени, но то, что придет время, когда машины будут владеть реальным господством над миром и его обитателями, — это то, в чем ни на мгновение не может сомневаться ни один человек с истинно философским складом ума.
