InstructGPT

InstructGPT - это улучшенная версия OpenAI API, которая использует модели языка GPT-3. Эти модели используют текстовые предложения для завершения задач на естественном языке. К сожалению, эти же модели могут выдавать неистинную, токсичную или оскорбительную информацию, так как они обучены предсказывать следующее слово на основе большого набора данных онлайн-текста, а не выполнять нужную задачу языка. Модели InstructGPT лучше выполняют инструкции и создают меньше выдуманного контента, а также имеют меньший уровень токсичности. Хотя модели InstructGPT имеют значительно меньшее количество параметров, чем модели GPT-3 (в 100 раз меньше параметров), наши метки предпочитают выводы из меньшей модели.

Источник: https://openai.com/blog/instruction-following/#guide