VisualClozePipeline-384

VisualClozePipeline-384 —модель для генерации изображений с визуальным контекстом.

Некоторые особенности VisualCloze:

• поддерживает различные задачи в рамках домена и может обобщаться на новые задачи;
• объединяет несколько задач за один шаг и генерирует как целевое изображение, так и промежуточные результаты;
• поддерживает обратную генерацию, то есть восстановление набора условий по целевому изображению.

Модель, обученная с разрешением resolution 384. Параметр resolution означает, что каждое изображение будет изменено до указанного размера перед обработкой, чтобы избежать ошибки нехватки памяти (out-of-memory error). Для генерации изображений с высоким разрешением мы применяем технологию SDEdit, которая увеличивает детализацию (апскейлинг) уже сгенерированных результатов.

---

Модель является составной частью пайплайна генерации изображений, состоящего из:

• CLIP text encoder : ~123M параметров, 
• T5 text encoder: ~5B параметров, 
• Transformer: ~12B параметров, 
• VAE: ~84M параметров.

Всего: ~17B параметров

---

Строка "Потребление памяти" рассчитана на основе размера весов в указанной точности с добавочным коэффициентом +10% на инференс: 
  model_parameters_count * bytes_per_parameter * 1.1 / 1024^3 
где model_parameters_count - количество параметров модели, bytes_per_parameter - количество байтов, используемых для хранения одного параметра. Для 16 bit = 2, 8 bit = 1, 4 bit = 0.5.

Дата анонса: 15.05.2025
Параметров: 12B
Контекст: 77
Потребление памяти: 8.6 ГБ в точности 4 бит, 17.3 ГБ в точности 8 бит, 34.6 ГБ в точности 16 бит
Разработчик: VisualCloze
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с VisualClozePipeline-384. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.