GigaChat3-10B-A1.8B

GigaChat3-10B-A1.8B — это отличный пример эффективных вычислений в LLM. При общем размере в 10 миллиардов параметров, в момент генерации активно всего 1.8 миллиарда. Это ставит её в один ряд по скорости с очень маленькими моделями, но архитектура Mixture-of-Experts позволяет ей хранить гораздо большее знаний. Ускорению генерации способствует и механизм MTP (Multi-Token Prediction) генерирующий сразу несколько выходных токенов за раз. При этом модель реализует Multi-head Latent Attention (MLA), который сжимает Key-Value кэш в латентный вектор, снижая требования к видеопамяти, что позволяет эффективно и экономично работать с длинным контекстом в 256K токенов.

Модель прошла полноценное обучение на 20 триллионах токенов, включая 10 нестандартных языков дополнительно (языки стран бывшего СССР, китайский, арабский) и массивный блок синтетических данных для обеспечения качества ответов в области математики, логики и программирования. Такое обучение выгодно отличает модель от компактных версий Llama или Gemma, которые часто имеют проблемы с грамматикой русского языка или «не знают» российских бытовых и культурных реалий. GigaChat 3 Lightning (как еще называют эту модель) напротив демонстрирует высокую связность и грамотность русской речи и даже понимание разговорных терминов.

Благодаря низкой задержке и высокой пропускной способности, модель идеально подходит для создания быстрых диалоговых агентов и чат-ботов для первой линии поддержки, использования в качестве «Router-модели» в агентных системах (классификация запросов перед отправкой в большую модель), инференса на ограниченных ресурсах (Edge-устройства, слабые сервера). Модель поддерживает простое развертывание через популярные фреймворки: transformers, vLLM и SGLang и представлена в двух версиях FP8 и bfloat16, что позволяет пользователями выбрать между производительностью и качеством.

Дата анонса: 19.11.2025
Параметров: 11B
Экспертов: 64
Активно параметров при инференсе: 2B
Контекст: 263K
Слоев: 26
Тип внимания: Multi-head Latent Attention
Разработчик: Sber AI
Версия Transformers: 4.53.2
Лицензия: MIT

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с GigaChat3-10B-A1.8B. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.