Dolly by Databricks

Dolly от Databricks - это большая языковая модель, которая была обучена на платформе машинного обучения Databricks. Эта модель показывает, что двухлетняя модель с открытым исходным кодом (GPT-J) может быть доработана всего за 30 минут на фокусированном корпусе из 50 тысяч записей (Stanford Alpaca), и она может генерировать удивительно точные ответы, которые не были похожи на оригинальную модель.

Databricks считает эту находку крайне значимой, потому что она показывает, что разработка передовых технологий искусственного интеллекта намного проще, чем раньше думалось.

Данные, предвзятость и неприемлемый контент

Как и все языковые модели, Dolly-v1-6b отражает данные и ограничения своих корпусов обучения.

• The Pile: Предварительный корпус обучения GPT-J был собран из общедоступного интернета и, как и большинство масштабных наборов данных, он содержит контент, который многие пользователи могут считать оскорбительным. Таким образом, модель может показывать эти недостатки явно, когда ее специально просят сгенерировать неприемлемый контент, или незаметно, когда она создает предвзятые или вредоносные неявные ассоциации.

• Stanford Alpaca: Корпус настройки инструкций для Dolly-6b, вероятно, имеет аналогичные недостатки. Кроме того, известно, что он содержит ложные факты, семантические и синтаксические несоответствия, бессмысленные ответы и неправильные математические вычисления, а также другие проблемы с данными. Результаты модели будут отражать эти недостатки.