NVIDIA-Nemotron-3.5-Lightning-30B-A3B

NVIDIA-Nemotron-3.5-Lightning-30B-A3B — это открытая языковая модель от NVIDIA, выпущенная в двух вариантах весов: BF16 (референсные веса для кастомизации и исследований) и оптимизированном NVFP4 (для быстрого инференса и развёртывания). Модель позиционируется как «самый быстрый 30B MoE» для специализированных задач в составе always-on агентов: при 30 млрд общих параметров на каждый токен активируется лишь 3 млрд, что обеспечивает высокую пропускную способность инференса. Нативно поддерживается контекст 262144 с возможностью расширения до 1 млн токенов.

В основе модели лежит гибридная Mixture-of-Experts архитектура, в которой слои Mamba-2 и Latent MoE чередуются, а классические слои внимания (Attention) используются лишь в сочетании примерно 1:3. Такое гибридное внимание решает ключевую проблему длинного контекста: механизм self-attention квадратично растёт по памяти и вычислениям с длиной последовательности, тогда как Mamba-2 (state space model) масштабируется линейно. Сочетание обоих подходов позволяет модели обрабатывать контекст без взрывного роста затрат, сохраняя при этом точность к значимым деталям в запросах. Latent MoE в данной архитектуре означает, что маршрутизация экспертов и их вычисления происходят в скрытом (латентном) пространстве представлений, а не в полной размерности слоев модели. Это снижает накладные расходы на маршрутизацию и вычисления и позволяет ускорить вычисления на инференсе.

По сравнению с предыдущей моделью серии Nemotron-3-Nano-30B-A3B архитектура осталась той же, однако Lightning 3.5 демонстрирует существенно более высокие результаты на агентных и кодовых бенчмарках. Например, на SWE-bench Verified Lightning набирает 51.56 против 34.08 у Nano, на SWE-bench Multilingual — 39.33 против 14.07, на Terminal-Bench 2.1–24.58 против 8.29, а на AA-LCR (длинный контекст) — 52.00 против 32.75. Это достигается за счёт более качественного пост-обучения (SFT и RL на синтетических данных, ориентированных на tool calling, structured outputs и многошаговые сценарии).

Благодаря гибридной архитектуре с длинным контекстом и низкой стоимостью активации, NVFP4-вариант рекомендуется для развёртывания в AI-агентных системах, чат-ботах, RAG-системах и приложениях, где критично строгое следование инструкциям. Модель хорошо подходит для always-on агентов, выполняющих специализированные задачи, а также для локального инференса.

Дата анонса: 01.08.2026
Параметров: 32B
Экспертов: 128
Активно параметров при инференсе: 3B
Контекст: 263K
Слоев: 52, с полным вниманием: 6, без внимания: 23
Тип внимания: Hybrid Attention
Тип Mamba: Mamba 2
Разработчик: NVIDIA
Версия Transformers: 4.57.6
Версия vLLM: >=0.28.0
Лицензия: openmdw-1.1

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с NVIDIA-Nemotron-3.5-Lightning-30B-A3B. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Эндпоинт — это сервер с предустановленным программным обеспечением, с помощью которого автоматически скачиваются веса нейросети и запускается OpenAI-совместимый API для обращений к серверу.

Частный эндпоинт создается в проекте пользователя, принадлежит пользователю монопольно и тарифицируется за каждую конфигурацию сервера в соответствии с нашими инфраструктурными тарифами.

Мы рекомендуем создание частных эндпоинтов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве.

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.