DeepSpeed

DeepSpeed - это простой в использовании пакет для оптимизации глубокого обучения. Он позволяет выполнять обучение глубокого обучения и вывод для массивных моделей с миллиардами или триллионами параметров. Он также предлагает высокие системные производительность, масштабируемость до тысячи GPU и низкую задержку и высокую производительность для вывода. Кроме того, DeepSpeed предоставляет экстремальную сжатие для сокращения размера модели и снижения затрат.

DeepSpeed является неотъемлемой частью инициативы Microsoft AI at Scale, намеренной привнести следующее поколение AI-функциональности в первые ряды. Чтобы узнать больше об этом проекте, вы можете посетить их веб-сайт здесь.