PaLM ( Pathways Language Model ) — это большая языковая модель на основе преобразователя с 540 миллиардами параметров, разработанная Google AI . [1] Исследователи также обучили уменьшенные версии моделей PaLM с 8 и 62 миллиардами параметров, чтобы проверить влияние масштаба модели. [2]
PaLM способен выполнять широкий спектр задач, включая логические рассуждения , арифметические рассуждения, объяснение шуток , генерацию кода и перевод . [2] [3] [4] [5] В сочетании с подсказками по цепочке мыслей PaLM достигла значительно более высокой производительности на наборах данных, требующих многоэтапного рассуждения, таких как текстовые задачи и логические вопросы . [1] [2]
Впервые об этой модели было объявлено в апреле 2022 года, и она оставалась закрытой до марта 2023 года, когда Google запустил API для PaLM и нескольких других технологий. [6] Сначала API будет доступен для ограниченного числа разработчиков, которые присоединятся к списку ожидания, прежде чем он будет открыт для публики. [7]
Google и DeepMind разработали версию PaLM 540B под названием Med-PaLM , которая точно настроена на медицинские данные и превосходит предыдущие модели в тестах ответов на медицинские вопросы . [8] [9] Med-PaLM был первым, кто получил проходной балл по вопросам медицинского лицензирования в США, и в дополнение к точным ответам как на вопросы с множественным выбором, так и на открытые вопросы, он также предоставляет аргументацию и может оценивать свои собственные ответы. . [10]
Google также расширил PaLM, используя преобразователь зрения , чтобы создать PaLM-E , современную модель языка зрения, которую можно использовать для роботизированных манипуляций . [11] [12] Модель может соревновательно выполнять задачи по робототехнике без необходимости переобучения или доводки . [13]
В мае 2023 года Google анонсировала PaLM 2 на ежегодном основном мероприятии Google I/O . [14] Сообщается, что PaLM 2 представляет собой модель с 340 миллиардами параметров, обученную на 3,6 триллиона токенов. [15]