Qwen3-Next-80B-A3B-Instruct

Qwen3-Next-80B-A3B-Instruct первая модель на базе инновационной архитектуры Qwen3-Next, в рамках которой разработчиками внедрено целый ряд технологических новшеств. В основе модели лежит архитектура с гибридной системой внимания, которая в соотношении 3:1 сочетает два механизма: Gated DeltaNet (75% слоев - линейное внимание) обеспечивает линейную вычислительную сложность и эффективную обработку длинных последовательностей, в то время как Gated Attention (25% слоев - полное внимание) гарантирует высокую точность и способность к информационному поиску. Эта архитектура решает фундаментальную проблему традиционного внимания: линейное внимание быстро, но слабо в задачах поиска, а стандартное внимание дорого и медленно при инференсе. А их гибрид показывает более сильные способности к обучению и пониманию контекста по сравнению с такими методами, как Sliding Window Attention или Mamba2.

Модель также внедряет ультра-разреженную MoE архитектуру с 512 экспертами, из которых активируются только 10 направляемых экспертов плюс 1 общий эксперт — всего лишь 3.7% от общего количества параметров. По сравнению с MoE структурой Qwen3 (128 экспертов, 8 активных). Qwen3-Next внедряет несколько критически важных оптимизаций для обеспечения стабильности обучения и высокой производительности: Zero-Centered RMSNorm вместо традиционной QK-Norm, механизм Attention Output Gating для устранения проблемы Attention Sink и Massive Activation, Multi-Token Prediction (MTP) лучшей связности в контексте, повышения скорости и общей производительности.

Qwen3-Next-80B-A3B-Instruct демонстрирует впечатляющие результаты на ключевых бенчмарках, практически сравнявшись с флагманской моделью Qwen3-235B-A22B-Instruct-2507 при значительно меньших вычислительных затратах. На Arena-Hard v2 модель достигает 82.7 баллов, превосходя многие конкурирующие решения, в программировании модель показывает неплохие результаты на LiveCodeBench v6 с 56.6 баллами, опережая даже некоторые более крупные модели. На математическом бенчмарке AIME25 модель достигает 69.5 баллов, демонстрируя сильные способности к сложным рассуждениям. Благодаря своим уникальным архитектурным особенностям и высокой эффективности, Qwen3-Next-80B-A3B-Instruct идеально подходит для широкого спектра применений: обработка сверхдлинных документов, разработка и программирование, агентские приложения, автоматизации бизнес-процессов, и это далеко не полный список.

Дата анонса: 11.09.2025
Параметров: 82B
Экспертов: 512
Активно параметров при инференсе: 3B
Контекст: 263K
Слоев: 48, с полным вниманием: 12
Тип внимания: Hybrid Attention
Тип Mamba: Gated Delta Net
Разработчик: Qwen
Версия Transformers: 4.57.0.dev0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen3-Next-80B-A3B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.