CLIPSeg

CLIPSeg - это модель, разработанная для сегментации объектов на изображениях с использованием текста. Она работает путем добавления небольшого декодера к замороженной модели CLIP для выполнения сегментации изображений с нулевым и одношаговым обучением. Эта модель была предложена Тимо Люддеке и Александром Эккером в статье «Сегментация изображений с использованием текстовых и визуальных подсказок».

Источник: https://huggingface.co/docs/transformers/model_doc/clipseg