LangKit

LangKit - это набор инструментов для анализа текста с открытым исходным кодом, разработанный компанией WhyLabs для отслеживания работы языковых моделей. Он включает в себя различные методы получения важных сигналов из входного и выходного текста, которые могут использоваться с библиотекой записи данных с открытым исходным кодом whylogs.

При развертывании языковых моделей, таких как LLM (языковые модели со многими языками), существует потенциальный риск из-за бесконечного количества возможных комбинаций входных данных и соответствующего бесконечного числа выходных данных. Неструктурированная природа текста представляет собой вызов в плане наблюдаемости машинного обучения. LangKit разработан для решения этой проблемы, так как отсутствие видимости поведения модели может привести к серьезным последствиям.

Источник: https://github.com/whylabs/langkit