NVIDIA-Nemotron-3-Super-120B-A12B

NVIDIA Nemotron 3 Super 120B-A12B представляет собой флагманскую модель в семействе открытых LLM от NVIDIA, разработанную для решения задач, требующих глубоких рассуждений, сложного инструментального взаимодействия и обработки больших объемов данных. Модель использует инновационную гибридную архитектуру, объединяющую разреженные слои Mixture-of-Experts (MoE), блоки состояний Mamba-2 и ограниченное число классических слоев внимания. Такой подход позволяет ей масштабировать общее количество параметров до 120 миллиардов, сохраняя при этом низкую стоимость инференса за счет активации только 12 миллиардов из них при обработке каждого токена.

Ключевым архитектурным нововведением является использование Latent MoE. Модель состоит из 88 слоёв, организованных в периодическую чередующуюся структуру: большинство слоёв — это Mamba2-блоки с линейной сложностью по длине последовательности. Стратегически размещённые слои глобального внимания (Grouped-Query Attention, 32 query / 2 KV heads) выступают в роли «якорей», обеспечивая сохранение важных зависимостей и обмен информацией между удалёнными частями контекста. Уникальная особенность — наличие MoE-слоёв без механизма внимания: в таких слоях маршрутизация и вычисления экспертов выполняются исключительно в сжатом латентном пространстве (с проекцией с 4096 до 1024), что позволяет активировать 22 из 512 экспертов, минимизируя накладные расходы. Все ресурсоемкие операции — маршрутизация, работа экспертов и all-to-all коммуникация — выполняются в этом сжатом пространстве, что дополнительно снижает потребление памяти и ускоряет инференс при сохранении качества. Такой гибридный дизайн позволяет балансировать между скоростью, памятью, точностью и оптимизирует работу с длинным контекстом, делая модель идеальным решением для задач Retrieval-Augmented Generation (RAG) и анализа объёмной документации.

Уникальность Nemotron 3 Super подчеркивается применением техник, которые довольно редко применялись в открытых моделях. Во-первых, это одна из первых моделей, прошедших полный цикл предварительного обучения в 25 триллионов токенов на данных, в которых большая доля была представлена в 4-битном формате с плавающей точкой NVFP4. Во-вторых — Multi-Token Prediction (MTP). Модель обучается предсказывать несколько будущих токенов одновременно, что не только улучшает качество обучения и предсказывая, но и служит встроенной системой спекулятивного декодирования для ускорения генерации ответов. В-третьих, в процессе пост-тренинга (RLHF) использовалась специально обученная генеративная модель вознаграждения — Qwen3-Nemotron-235B-A22B-GenRM-2603, созданная на базе Qwen3-235B-A22B-Thinking-2507 и специально обученная оценивать качество ответов. Это позволило тонко настроить поведение модели, улучшив ее "полезность" и способность следовать инструкциям.

По результатам тестирования Nemotron-3-Super демонстрирует выдающиеся результаты. Модель занимает лидирующие позиции в бенчмарках на математические рассуждения (AIME25, HMMT), где она обходит более крупные модели. В задачах на программирование (LiveCodeBench) и агентные способности (SWE-Bench) она значительно превосходит аналоги, такие как GPT-OSS-120B, что подтверждает ее превосходство в решении практических задач. При этом ключевое преимущество модели — скорость инференса (до 2.2x быстрее аналогов) при сохранении конкурентоспособного качества. Особо выделяется ее работа с длинным контекстом: в тесте RULER на 1 млн токенов она достигает 91.75%, существенно опережая конкурентов.

Благодаря эффективной архитектуре и поддержке контекста в 1 млн токенов, модель становится идеальным выбором для разработки автономных AI-агентов, автоматизации технической поддержки (IT ticket automation), написания и ревью кода, а также построения сложных RAG-систем, работающих с огромными массивами неструктурированной информации.

Дата анонса: 10.03.2026
Параметров: 124B
Экспертов: 512
Активно параметров при инференсе: 12B
Контекст: 263K
Слоев: 88, с полным вниманием: 8, без внимания: 40
Тип внимания: Hybrid Attention
Тип Mamba: Mamba 2
Разработчик: NVIDIA
Версия Transformers: 4.57.6
Версия vLLM: 0.17.1
Лицензия: NVIDIA Nemotron Open Model License

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с NVIDIA-Nemotron-3-Super-120B-A12B. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.