Stable Video Diffusion Image-to-Video (SVD-Image-to-Video)

Это диффузионная модель, разработанная Stability AI для генерации коротких видеоклипов на основе статичного изображения (image-to-video). Модель создает видео длиной до 4 секунд (25 кадров при разрешении 576×1024), используя входное изображение в качестве условного кадра. Она обучена на больших данных и уточнена (finetuned) на основе предыдущей версии SVD Image-to-Video [14 frames], с использованием f8-декодера для улучшения временной согласованности кадров. Обучение потребовало ~200 000 часов вычисления на GPU A100 80GB, с выбросом CO₂ ~19 000 кг и энергопотреблением ~64 000 кВт·ч.

Ограничения:

• Короткие видео (≤25 кадров) без фотореализма,
• Возможны статичные кадры или медленные панорамирования.
• Плохо генерируется текст, тела и лица людей.

Условия использования: Запрещено создавать материалы, нарушающие политику Stability AI (например, незаконное, оскорбительное или вводящее в заблуждение содержание). Модель не предназначена для генерации фактических или исторических представлений.

---

Модель является составной частью пайплайна генерации изображений, состоящего из:

• CLIP image encoder: ~632M параметров, 
• UNET: ~1.5B параметров, 
• VAE: ~98M параметров.

Всего: ~2.3B параметров

---

Строка "Потребление памяти" рассчитана на основе размера весов в указанной точности с добавочным коэффициентом +10% на инференс: 
  model_parameters_count * bytes_per_parameter * 1.1 / 1024^3 
где model_parameters_count - количество параметров модели, bytes_per_parameter - количество байтов, используемых для хранения одного параметра. Для 16 bit = 2, 8 bit = 1, 4 bit = 0.5.

Дата анонса: 20.11.2023
Параметров: 2.3B
Потребление памяти: 1.2 ГБ в точности 4 бит, 2.3 ГБ в точности 8 бит, 4.6 ГБ в точности 16 бит
Разработчик: Stability AI
Лицензия: Stable Video Diffusion Community

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Stable Video Diffusion Image-to-Video (SVD-Image-to-Video). Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.