ctrl by Salesforce

Salesforce разработал масштабную языковую модель под названием CTRL, которая имеет возможность генерировать текст, но с дополнительной возможностью контролировать выходной результат, применяя домен, поддомен, сущности, отношения между сущностями, даты и задачно-ориентированное поведение. Модель была обучена с использованием структуры, которая появляется естественно в сырых текстах, что позволяет пользователям воспользоваться несупервизированным обучением, при этом имея больше контроля над сгенерированным текстом. CTRL - это модель условного трансформера языка с 1,6 миллиардом параметров.

Код в настоящее время поддерживает две функции:

• Генерация с обученной моделью - две модели доступны для загрузки - одна с длиной последовательности 256, а другая с длиной последовательности 512 - они обучены словесными вариантами и с помощью подхода со скользящим окном могут генерировать гораздо лучше, чем их обученные длины последовательности.
• Атрибуция источника - при заданном приглашении выводит перплексию приглашения в зависимости от каждого кода управления доменом (см. Раздел 5 в документе).