Krea Realtime 14B

Модель Krea Realtime 14B представляет собой дистилляцию модели Wan 2.1 14B (разработанной Wan-AI) для задач генерации видео на основе текста. Она была преобразована в автокорректирующуюся (autoregressive) модель с помощью метода Self-Forcing, что позволило достичь скорости инференса 11 кадров в секунду при использовании 4 шагов вывода на одном GPU NVIDIA B200. 

Технологии для стабилизации генерации:

• KV Cache Recomputation и KV Cache Attention Bias — методы для снижения накопления ошибок в процессе генерации.
• Оптимизации памяти, специфичные для автокорректирующихся моделей, что упрощает обучение крупных архитектур.

Возможности в реальном времени:

• Генерация видео с временем до первого кадра менее 1 секунды.
• Возможность модификации промптов во время генерации и динамического изменения стиля видео (restyle).
• Поддержка video-to-video:
• обработка входных видео, потоков с вебкамеры или канваса для управляемой синтеза и редактирования.
• Текст-в-видео (text-to-video) в потоковом режиме.

Технические детали:

• Размер модели: превышает размер существующих моделей реального времени более чем в 10 раз.
• Инференс: реализован с помощью библиотеки Diffusers (модуль Modular Diffusers). Для работы требуются компоненты из репозитория Wan-AI/Wan2.1-T2V-1.3B и специфичные настройки (например, использование `torch.bfloat16` для оптимизации памяти).
• Инфраструктура: поддерживает работу с `CUDA` и требует установки зависимостей, включая `ffmpeg` и `flash_attn`.
• Использование: 
  • Запуск через веб-интерфейс (нужно клонировать репозиторий `krea-ai/realtime-video` и выполнить указанные шаги установки).
  • Интеграция с библиотекой **Diffusers** для генерации видео через API, включая настройку параметров (количество блоков, кадров, seed и др.).
  • Модель доступна на платформе Hugging Face, а код инференса и дополнительные инструкции размещены в репозитории GitHub.

---

Модель является составной частью пайплайна генерации видео, состоящего из:

• Transformer: ~14B параметров

*для инференса также требуется модель Wan-AI/Wan2.1-T2V-1.3B

•     UMT5 text encoder: ~6B параметров, 
•     Transformer: ~1.3B параметров, 
•     VAE: ~127M параметров.

    Всего: ~7B параметров

Дата анонса: 20.10.2025
Параметров: 14B
Разработчик: krea
Версия Diffusers: 0.36.0.dev0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Krea Realtime 14B. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.