COG

Cog - это инструмент открытого исходного кода для командной строки, разработанный для упаковки моделей машинного обучения (ML). Он предлагает стандартизированную среду для разработки, обучения и совместной работы над моделями ML. После обучения модели она может быть опубликована или развернута, запечатлев в образ Docker, который запускает стандартный HTTP-апи.

Cog имеет некоторые особенные функции по сравнению с обычным Docker:

• Автоматический образ Docker. Все, что вам нужно - это конфигурационный файл для определения среды, и Cog сгенерирует Dockerfile с правильными конфигурациями и лучшими практиками.
• Автоматический HTTP-сервис. Cog сгенерирует HTTP-сервис из определения модели, что исключает необходимость писать сервер Flask.
• Больше нет ада CUDA. Cog знает, какие комбинации CUDA/cuDNN/PyTorch/Tensorflow/Python совместимы и выберет правильные варианты для вас.

Источник: https://github.com/replicate/cog