GigaChat3.1-10B-A1.8B

GigaChat3.1-10B-A1.8B или GigaChat 3.1 Lightning — это компактная инструктивная модель семейства GigaChat 3.1, построенная по архитектуре Mixture-of-Experts (MoE). При общем объеме в 10 млрд параметров в вычислениях на каждый токен активируются лишь 1.8 млрд, что кардинально снижает нагрузку на память и ускоряет инференс без ущерба для качества. В основе архитектуры модели лежит Multi-head Latent Attention (MLA), сжимающее KV-кеш в скрытое представление и тем самым экономящее память при обработке длинных контекстов. Дополнительный прирост производительности дает технология Multi-Token Prediction (MTP) — механизм, позволяющий модели предсказывать несколько токенов за один проход.

Ключевое отличие модели от GigaChat3-10B-A1.8B — этап обучения (DPO), полностью проведенный в нативном FP8 на базе библиотеки DeepGEMM, а не применение сжатия постфактум в виде квантования. Это позволило не только сохранить, но и в ряде случаев превзойти качество BF16-обучения при вдвое меньшем потреблении памяти.

Модель обучалась на корпусе, охватывающем 10 языков и включающем книги, научные материалы, код, математические датасеты и примерно 5.5 трлн синтетических токенов. Для версии 3.1 была проведена масштабная работа по улучшению данных: усилено покрытие сложных доменов (математика, физика, биология, химия, финансы), ужесточена валидация через внутренний пайплайн Revisor и систему LLM-судей, а также добавлены предпочтения, собранные непосредственно с «живого» поведения предыдущих версий модели (on-policy DPO). Такой подход обеспечивает высокую релевантность, точность и устойчивость к повторениям.

Благодаря высокой скорости, компактности и качеству, GigaChat 3.1 Lightning идеально подходит для создания быстрых многозадачных ассистентов, способных работать с длинными документами, объяснять сложные концепции, генерировать и отлаживать код. В число ключевых сценариев входят: автоматизация клиентской поддержки с вызовом функций (function calling), генерация структурированного контента (markdown, LaTeX), персонализированные рекомендации, поисково-цитатные диалоги, исполняемые вызовы инструментов в ассистентах, а также любые задачи, где важна низкая задержка при высокой точности ответов — чат-боты, RAG-системы, локальные AI-помощники на устройствах с ограниченными ресурсами.

Дата анонса: 21.03.2026
Параметров: 12B
Экспертов: 64
Активно параметров при инференсе: 2B
Контекст: 263K
Слоев: 26
Тип внимания: Multi-head Latent Attention
Разработчик: Sber AI
Версия Transformers: 4.53.2
Лицензия: MIT

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с GigaChat3.1-10B-A1.8B. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.