Falcon LLM

Falcon LLM - это основная языковая модель с двумя версиями: Falcon-40B с 40 миллиардами параметров и обученная на одном триллионе токенов, а также Falcon-7B с 7 миллиардами параметров и обученная на 1,5 миллиарде токенов. Обе модели являются только декодерами-авторегрессивными, что означает, что модель обучается предсказывать следующий токен в последовательности при данных предыдущих токенах. Модель GPT является хорошим примером этого.

Архитектура Falcon доказала свою эффективность по сравнению с GPT-3 по бюджету на компьютерное обучение, а также потребляет меньше компьютерных мощностей при инференсе. Он был создан с использованием специальных инструментов и включает в себя уникальную дата-пайплайн, которая фильтрует и дедуплицирует контент из веб-сайтов.

Кроме того, доступны две готовые к использованию модели чата: Falcon-40B-Instruct и Falcon-7B-Instruct.

Источники:

• https://www.kdnuggets.com/2023/06/falcon-llm-new-king-llms.html
• https://www.packtpub.com/article-hub/falcon-llm-the-dark-horse-in-open-source-llm-race