Галлюцинация (искусственный интеллект)
В искусственном интеллекте (ИИ) галлюцинация или искусственная галлюцинация (также иногда называемая конфабуляцией [1] или бредом [2] ) — это уверенная реакция ИИ, которая, кажется, не подтверждается данными его обучения . [3] Например, галлюцинирующий чат-бот может, когда его попросят создать финансовый отчет для Tesla , ложно заявить, что доход Tesla составляет 13,6 миллиарда долларов (или какое-то другое случайное число, которое, по-видимому, «взято из воздуха»). [4]
Такие явления называются «галлюцинациями» по общей аналогии с явлением галлюцинаций в человеческой психологии . Однако одно ключевое отличие состоит в том, что человеческая галлюцинация обычно связана с ложными восприятиями , а галлюцинация ИИ связана с категорией необоснованных ответов или убеждений. [3] Некоторые исследователи считают, что конкретный термин «ИИ-галлюцинация» необоснованно антропоморфизирует компьютеры. [1]
Галлюцинации ИИ приобрели известность примерно в 2022 году вместе с внедрением некоторых больших языковых моделей (LLM), таких как ChatGPT . [5] Пользователи жаловались, что такие боты часто ведут себя « социопатически » и бессмысленно встраивают правдоподобно звучащую случайную ложь в свой генерируемый контент. [6] К 2023 году аналитики считали частые галлюцинации серьезной проблемой технологии LLM. [7]
Различные исследователи, цитируемые Wired , классифицировали галлюцинации противника как многомерное статистическое явление или приписывали галлюцинации недостаточным данным обучения. Некоторые исследователи считают, что некоторые «неправильные» ответы ИИ, классифицируемые людьми как «галлюцинации» в случае обнаружения объектов , на самом деле могут быть оправданы данными обучения или даже тем, что ИИ может давать «правильный» ответ, который рецензенты-люди не видят. Например, враждебное изображение, которое для человека выглядит как обычное изображение собаки, на самом деле может быть замечено ИИ как содержащее крошечные узоры, которые (на аутентичных изображениях) появляются только при просмотре кошки. ИИ обнаруживает визуальные образы реального мира, к которым люди нечувствительны. [8]Однако эти выводы были оспорены другими исследователями. [9] Например, возражали, что модели могут быть смещены в сторону поверхностной статистики, что приводит к тому, что противоборствующее обучение не будет надежным в реальных сценариях. [9]
При обработке естественного языка галлюцинация часто определяется как «сгенерированный контент, который не имеет смысла или не соответствует исходному контенту». В зависимости от того, противоречит ли вывод подсказке или нет, их можно разделить на закрытые и открытые соответственно. [10]
Ошибки в кодировании и декодировании между текстом и представлениями могут вызывать галлюцинации. Обучение ИИ производить разнообразные ответы также может привести к галлюцинациям. Галлюцинации также могут возникать, когда ИИ обучается на наборе данных, в котором помеченные сводки, несмотря на то, что они фактически точны, не основаны напрямую на помеченных данных, которые якобы «обобщаются». Большие наборы данных могут создать проблему параметрического знания (знания, которое жестко запрограммировано в изученных системных параметрах), создавая галлюцинации, если система слишком уверена в своих запрограммированных знаниях. В системах типа ГПТ-3, ИИ генерирует каждое следующее слово на основе последовательности предыдущих слов (включая слова, которые он сам ранее сгенерировал во время того же разговора), вызывая каскад возможных галлюцинаций по мере того, как ответ становится длиннее. [3] К 2022 году такие газеты, как New York Times , выразили обеспокоенность тем, что по мере того, как внедрение ботов, основанных на больших языковых моделях, продолжает расти, неоправданное доверие пользователей к выводам ботов может привести к проблемам. [11]
