Koala

Университет Калифорнии в Беркли разработал модель диалога под названием Koala, которая предназначена для исследовательских целей. Результаты пользовательского исследования показали, что Koala может эффективно отвечать на различные вопросы, задаваемые пользователями. Кроме того, Koala доказала результаты, которые по крайней мере на уровне с ChatGPT в половине случаев, а обычно лучше, чем модель Alpaca от Stanford. Для общественного пользования доступен веб-демонстрационный вариант.

Koala обучалась с помощью доработки Meta's LLaMA по диалоговым данным, сграбленным с веб-сайтов, особое внимание уделяя ответам на запросы других больших языковых моделей, таких как ChatGPT. Разработчики предпочли качество количеству, и таким образом, изначальный набор данных из 60 000 диалогов был уменьшен до около 30 000 после удаления редундантных и неанглоязычных диалогов. Также были использованы примеры из ChatGPT и ответы людей из английского набора данных HC3 (87 000 пар вопрос-ответ).

Кроме того, в процесс обучения Koala были включены данные из открытого источника OIG-датасета ANthropic HH-датасета, WebGPT от OpenAI и суммаризационного датасета OpenAI.

Источник: https://analyticsindiamag.com/uc-berkeley-releases-koala-for-research-purposes/