BLOOM

Группа экспертов по искусственному интеллекту создала языковую модель, которая больше, чем GPT-3, и предлагает ее бесплатно.

Разработка корпуса и наборов данных началась задолго до начала обучения 11 марта 2022 года. Им потребовалось четыре месяца, чтобы создать эту модель.

Это была довольно сложная задача: используя 384 мощных графических карт, BLOOM имеет 176 миллиардов параметров, 70 слоев, 112 головок внимания на слой, скрытую размерность 14336 и длину последовательности 2048 токенов. Он также использует ALiBi позиционные вставки и функции активации GeLU.

Обучение было открыто для всех и проводилось на различных языках, включая английский, испанский и итальянский, а также программных кодах. Все ресурсы доступны и хорошо документированы.

Большая наука

Big Science - это открытое сотрудничество, организованное HuggingFace, GENCI и IDRIS. Эта научная мастерская собирает исследователей с различными фонами в области искусственного интеллекта, обработки естественного языка, социальных наук, права, этики и общественного управления.