Chinese LLaMA & Alpaca LLMs

В последнее время возросло внимание к области обработки естественного языка в связи с разработкой больших языковых моделей (LLM), таких как ChatGPT, GPT-4 и т.д. LLM показал свое потенциальное применение в достижении общего искусственного интеллекта (AGI). Однако ресурсоемкость этих моделей предъявила определенные вызовы для открытого академического исследования.

Этот проект сосредоточен на:

• ? Улучшении китайского словаря оригинальной модели LLaMA, улучшении эффективности кодирования и декодирования китайского языка
• ? Сделать китайскую большую модель LLaMA (7B, 13B), обученную с использованием китайских текстовых данных, открытой для использования
• ? Сделать китайскую большую модель Alpaca (7B, 13B), дальнейшее доработка которой производилась с использованием инструкций, открытой для использования
• ? Позволить людям деплоить квантованную версию модели локально и испытывать ее на их ноутбуке (личном ПК)
• ? Ниже представлена иллюстрация реального опыта после локального деплоя версии модели 7B (анимация не ускорена, измерения производились на Apple M1 Max).

Отказ от ответственности: ресурсы, связанные с этим проектом, предназначены исключительно для использования в академических исследованиях.