Gopher by DeepMind

DeepMind создал языковую модель под названием Gopher, которая способна превосходить существующие модели с очень большим количеством параметров по многим задачам. Gopher меньше, чем некоторые модели с очень большим количеством параметров, а именно 280 миллиардов параметров. Несмотря на меньший размер, DeepMind утверждает, что его языковая модель в 25 раз эффективнее, чем модели с значительно большим количеством параметров. Кроме того, модель Retro, которая имеет только 7 миллиардов параметров, может соответствовать производительности OpenAI GPT-3. Преимущество Gopher заключается в том, что он проще для обнаружения пристрастий или ложной информации, поскольку исследователи могут видеть, какой текст обучения был использован для получения выходных данных.

Источник: https://fortune.com/2021/12/08/deepmind-gopher-nlp-ultra-large-language-model-beats-gpt-3/