Chinchilla AI — это семейство больших языковых моделей , разработанное исследовательской группой DeepMind и представленное в марте 2022 года. [1] Он назван « chinchilla », поскольку является дальнейшим развитием предыдущего семейства моделей под названием « Gopher ». Оба модельных семейства были обучены для исследования законов масштабирования больших языковых моделей . [2]
Это значительно упрощает дальнейшее использование, поскольку требует гораздо меньше вычислительной мощности для логического вывода и точной настройки. На основе обучения ранее использовавшихся языковых моделей было определено, что если удвоить размер модели, необходимо также иметь удвоенное количество обучающих токенов. Эта гипотеза была использована DeepMind для обучения ИИ шиншилл . Подобно Gopher с точки зрения стоимости, Chinchilla AI имеет параметры 70B и в четыре раза больше данных. [3]
ИИ Chinchilla имеет среднюю точность 67,5% в тесте MMLU (Измерение понимания языка в многозадачном режиме), что на 7% выше, чем у Gopher. По состоянию на 12 января 2023 г. ИИ шиншиллы все еще находится на стадии тестирования. [4]
ИИ Chinchilla способствует разработке эффективной парадигмы обучения для больших авторегрессивных языковых моделей с ограниченными вычислительными ресурсами. Команда Chinchilla рекомендует удваивать количество обучающих токенов для каждого удвоения размера модели, а это означает, что использование более крупных и качественных наборов обучающих данных может привести к лучшим результатам в последующих задачах. [5] [6]
В частности, они по сути такие же, как ГПТ-2 , с другими размерами и небольшими модификациями. Семейство Gopher использует RMSNorm вместо LayerNorm; относительное позиционное кодирование, а не абсолютное позиционное кодирование. Семейство Chinchilla такое же, как семейство Gopher, но обучено с помощью AdamW вместо оптимизатора Adam .
Семейство Gopher содержит 6 моделей увеличивающегося размера, от 44 миллионов параметров до 280 миллиардов параметров. По умолчанию они называют самого крупного из них «Сусликом». Аналогичные соглашения об именах применяются к семейству шиншилл.