Qwen3-Next-80B-A3B-Thinking

Qwen3‑Next‑80B‑A3B‑Thinking — представитель нового семейства Qwen3‑Next, в котором стандартное внимание заменено на гибрид из Gated DeltaNet (линейное внимание) и Gated Attention (полное внимание) для эффективного моделирования сверхдлинных контекстов. Так же в модели реализована сверхразреженная архитектура Mixture-of-Experts (MoE), которая из 512 экспертов активирует только 10 плюс 1 общий эксперт на каждый токен. Это обеспечивает коэффициент активации параметров всего в 3,7%, что значительно ниже традиционных MoE-моделей. Технические оптимизации для стабильности обучения включают zero-centered и weight-decayed layernorm, решающие проблемы аномального роста весов в нормализации слоев. Модель также использует Multi-Token Prediction (MTP) для ускорения инференса и улучшения производительности предобучения. Контекстная длина составляет 262,144 токена нативно и может быть расширена до 1,010,000 токенов с использованием техники YaRN.

Qwen3-Next-80B-A3B-Thinking демонстрирует выдающиеся результаты на ключевых бенчмарках, превосходя Gemini-2.5-Flash-Thinking и модели qwen предыдущего поколения. На математическом бенчмарке AIME25, проверяющем способности решения сложных математических задач уровня олимпиад, модель достигает 87.8% против 72.0% у Gemini. В HMMT25, тестирующем математическое мышление высокого уровня, результат составляет 73.9% против 64.2%. На бенчмарке LiveCodeBench v6, оценивающем программирование в реальных условиях, модель показывает 68.7% против 61.2% у конкурента, а в комплексном бенчмарке Arena-Hard v2 модель достигается 62.3% против 56.7%.

Специализация на сложном рассуждении делает Thinking-версию идеальной для задач, требующих глубокого анализа. Модель является отличным выбором для задач с пошаговым выводом и детализированных рассуждений, добавим сюда работу с длинными документами и аналитику с кросс‑ссылками, агентские пайплайны и конечно же математические задачи. Разработчики рекомендуют использовать длину вывода до 32,768 токенов для большинства запросов и до 81,920 токенов для особо сложных задач.

Дата анонса: 11.09.2025
Параметров: 82B
Экспертов: 512
Активно параметров при инференсе: 3B
Контекст: 263K
Слоев: 48, с полным вниманием: 12
Тип внимания: Hybrid Attention
Тип Mamba: Gated Delta Net
Разработчик: Qwen
Версия Transformers: 4.57.0.dev0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen3-Next-80B-A3B-Thinking. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.