Страница защищена ожидающими изменениями
Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

DeepSpeed
Автор (ы) оригиналаMicrosoft Research
Разработчики)Microsoft
изначальный выпуск18 мая 2020 г . ; 10 месяцев назад (2020-05-18)
Стабильный выпуск
v0.3.10 / 8 января 2021 г . ; 2 месяца назад (2021-01-08)
Репозиторийgithub .com / microsoft / DeepSpeed
Написано вPython , CUDA , C ++
ТипБиблиотека программного обеспечения
ЛицензияЛицензия MIT
Интернет сайтглубокая скорость .ai

DeepSpeed - это библиотека оптимизации глубокого обучения с открытым исходным кодом для PyTorch . [1] Библиотека предназначена для уменьшения вычислительной мощности и использования памяти, а также для обучения больших распределенных моделей с лучшим параллелизмом на существующем компьютерном оборудовании . [2] [3] DeepSpeed ​​оптимизирован для обучения с низкой задержкой и высокой пропускной способностью. Он включает оптимизатор нулевой избыточности (ZeRO) для обучения моделей со 100 миллиардами параметров и более. [4]Возможности включают обучение со смешанной точностью, обучение с одним, несколькими графическими процессорами и несколькими узлами, а также параллелизм пользовательских моделей. Исходный код DeepSpeed ​​под лицензией MIT License и доступен на GitHub . [5]

См. Также [ править ]

  • Глубокое обучение
  • Машинное обучение
  • Сравнение программного обеспечения для глубокого обучения

Ссылки [ править ]

  1. ^ «Microsoft обновляет Windows, инструменты Azure с прицелом на будущее» . PCMag UK . 22 мая 2020.
  2. ^ Yegulalp, Сердар (10 февраля 2020). «Microsoft ускоряет PyTorch с помощью DeepSpeed» . InfoWorld .
  3. ^ Microsoft представляет "пятый по мощности" суперкомпьютер в мире - Neowin
  4. ^ «Microsoft тренирует самую большую в мире языковую модель Transformer» . 10 февраля 2020 г.
  5. ^ "Microsoft / DeepSpeed" . 10 июля 2020 г. - через GitHub.

Дальнейшее чтение [ править ]

  • Раджбхандари, Самьям; Расли, Джефф; Рувасе, Олатунджи; Он, Юйсюн (2019). «ZeRO: Оптимизация памяти для обучения триллиону моделей параметров» (PDF) . Cite journal requires |journal= (help)

Внешние ссылки [ править ]

  • AI в масштабе - Microsoft Research
  • GitHub - Microsoft / DeepSpeed
  • ZeRO и DeepSpeed: новые оптимизации системы позволяют обучать модели с более чем 100 миллиардами параметров - Microsoft Research
  • v
  • t
  • e