EleutherAI ( / ə ˈ l uː θ ər / [2] ) — массовая некоммерческая исследовательская группа по искусственному интеллекту (ИИ). Группа, считающаяся версией OpenAI с открытым исходным кодом , [3] была сформирована на сервере Discord в июле 2020 года для организации репликации GPT-3 . В январе 2023 года EleutherAI официально зарегистрирован как некоммерческий исследовательский институт. [4]
EleutherAI начал свою деятельность как сервер Discord 7 июля 2020 года под предварительным названием «LibreAI», а позже в том же месяце был переименован в «EleutherAI». [5]
30 декабря 2020 года EleutherAI выпустила Pile — тщательно подобранный набор данных с разнообразным текстом для обучения больших языковых моделей . [6] Хотя в документе упоминается о существовании моделей GPT-Neo, сами модели не были выпущены до 21 марта 2021 года. [7 ] Согласно ретроспективе, написанной несколько месяцев спустя, авторы не ожидали, что «людям будет небезразлично так много о наших «малых моделях» . мир. [8]
После выпуска DALL-E компанией OpenAI в январе 2021 года EleutherAI начала работу над моделями синтеза текста в изображение . Когда OpenAI не выпустил DALL-E публично, Кэтрин Кроусон из EleutherAI и цифровой художник Райан Мердок разработали метод использования CLIP (еще одна модель, разработанная OpenAI) для преобразования обычных моделей генерации изображений в модели синтеза текста в изображение. [9] [10] [11] [12] Основываясь на идеях, восходящих к DeepDream от Google , [13] они добились своего первого крупного успеха, объединив CLIP с другой общедоступной моделью под названием VQGAN. Кроусон представил технологию, опубликовав блокноты в Твиттере.демонстрация техники, по которой люди могли бегать бесплатно без какого-либо специального оборудования. [14] [15] [16] Генеральный директор Stability AI Эмад Мостак считает, что эта работа послужила мотивом для создания Stability AI. [17]
В то время как EleutherAI первоначально отклонял предложения о финансировании, предпочитая использовать Google TPU Research Cloud Program для получения своих вычислений, [18] к началу 2021 года они приняли финансирование от CoreWeave (небольшая компания облачных вычислений) и SpellML (компания облачной инфраструктуры) в форма доступа к мощным кластерам графических процессоров, которые необходимы для крупномасштабных исследований в области машинного обучения. 10 февраля 2022 года они выпустили GPT-NeoX-20B, модель, похожую на их предыдущую работу, но увеличенную благодаря ресурсам, предоставленным CoreWeave. [19] Эта модель стала их третьей моделью, получившей титул «крупнейшей в мире языковой модели в стиле GPT-3 с открытым исходным кодом » .и первой стать крупнейшей языковой моделью с открытым исходным кодом (любого типа), превзойдя модель, обученную Meta AI , которая удерживала титул в течение двух месяцев.
Согласно их веб-сайту, EleutherAI — это «децентрализованный массовый коллектив добровольцев-исследователей, инженеров и разработчиков, занимающихся согласованием , масштабированием и исследованиями ИИ с открытым исходным кодом ». [20] Хотя они не продают какие-либо из своих технологий в качестве продуктов, они публикуют результаты своих исследований в академических кругах, пишут сообщения в блогах с подробным описанием своих идей и методологий и бесплатно предоставляют подготовленные модели для использования всеми желающими. [ нужна ссылка ]