Kimi-K2

Kimi K2 - представляет собой настоящий прорыв в области масштабирования очень больших языковых моделей. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит 384 эксперта, из которых для обработки каждого токена активируются только 8 экспертов плюс один общий эксперт, что обеспечивает невероятную эффективность при сохранении мощности полномасштабной модели. Эта архитектура позволяет Kimi K2 адаптировать вычислительные ресурсы под конкретные задачи — для простых запросов используется минимум вычислений, а для сложных задач активируются специализированные эксперты.

Модель оснащена 61 слоем с 64 головами внимания и поддерживает контекстное окно в 128,000 токенов, что позволяет обрабатывать целые кодовые базы или объемные документы за один сеанс. Использование механизма внимания MLA (Multi-Layer Attention) и функции активации SwiGLU обеспечивает оптимальную производительность при работе с длинными последовательностями.Одним из знаковых технических достижений Kimi K2 является оптимизатор MuonClip, который решил критическую проблему нестабильности обучения моделей масштаба в триллион параметров. Эта инновация позволила Moonshot AI обучить модель огромную модель на 15.5 триллионах токенов данных с нулевой нестабильностью обучения, что является беспрецедентным достижением в области ИИ.

По словам разработчиков Kimi K2 представляет собой первую в мире модель, специально оптимизированную для агентных сценариев. В отличие от традиционных моделей-чатботов, Kimi K2 обучена автономно использовать инструменты, выполнять код, анализировать данные и оркестрировать сложные рабочие процессы. Модель прошла постобучение на миллионах синтетических диалогов, имитирующих реальные сценарии использования инструментов, что дало ей практическое преимущество в выборе инструментов и многошаговом выполнении задач. Нативная поддержка Model Context Protocol (MCP) позволяет Kimi K2 безупречно интегрироваться с внешними системами, API и инструментами разработки. Модель способна автоматически декомпозировать сложные задачи, выбирать подходящие инструменты и выполнять многоэтапные рабочие процессы с минимальным вмешательством человека — от создания интерактивных веб-приложений до автоматизации процессов разработки программного обеспечения.

Дата анонса: 11.07.2025
Параметров: 1000B
Экспертов: 384
Активно параметров при инференсе: 32B
Контекст: 131K
Тип внимания: Multi-head Latent Attention
Потребление памяти: 474.3 ГБ в точности 4 бит
Разработчик: Moonshot AI
Версия Transformers: 4.48.3
Лицензия: MIT

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Kimi-K2.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.