AlexaTM 20B

Модель учителя Alexa (AlexaTM 20B) способна учиться на небольшом объеме данных и превосходить результаты модели декодирования PaLM большего масштаба. Она достигает лучших результатов в задачах однократного краткого изложения. Кроме того, AlexaTM 20B является передовой моделью в задаче однократного машинного перевода для таких языков, как арабский, английский, французский, немецкий, хинди, итальянский, японский, маратхи, португальский, испанский, тамильский и телугу, используя набор данных Flores-101. Компания Amazon Science также показывает, что AlexaTM 20B превосходит GPT3 (175B) по результатам на наборах данных SuperGLUE и SQuADv2 в условиях нулевого обучения. Она также обладает наивысшей производительностью в многоязычных задачах, таких как XNLI, XCOPA, Paws-X и XWinograd. В целом, это говорит о том, что модели seq2seq являются отличным вариантом для обучения языковых моделей большого масштаба.