ControlNet

ControlNet позволяет управлять предварительно обученными большими моделями диффузии для поддержки дополнительных входных условий. ControlNet изучает специфические для задачи условия в энд-ту-энд порядке, и обучение проходит устойчиво даже при малом обучающем наборе данных ( < 50k). Кроме того, обучение ControlNet так же быстро, как и настройка модели диффузии, и модель может быть обучена на персональных устройствах. В качестве альтернативы, если доступны мощные вычислительные кластеры, модель может масштабироваться до больших объемов (миллионов и миллиардов) данных. Мы сообщаем, что большие модели диффузии, такие как Stable Diffusion, могут быть усилены с ControlNet для обеспечения условных входов, таких как карты краев, карты сегментации, ключевые точки и т.д. Это может обогатить методы управления большими моделями диффузии и дальше способствовать связанным приложениям.