Эффективная нативно мультимодальная MoE-модель с контекстным окном до 1 млн токенов развивающая линейку M-3 и предназначенная для программирования, агентных рабочих процессов и кибербезопасности. Ключевые архитектурные улучшения по сравнению с предыдущей версией: использование разреженного внимания во всех слоях, использование квантизации mxfp8 вовремя обучение и спекулятивное декодирование DSpark. В совокупности нововведения обеспечивают высокую скорость вывода при сохранении качества и снижении требований к инфраструктуре для инференса.
DeepSeek-V4.1-Flash-1017 представляет собой целенаправленное и высокоэффективное обновление предыдущей версии DeepSeek-V4.1-Flash. Архитектурные блоки не изменились – это мультимодальная MoE модель с 552B параметров и контекстным окном до 1 млн токенов, построенная на сочетании Causal Encoder-Decoder и механизма внимания Compressed Sparse Attention 2. Центральная идея этого релиза заключается в существенном улучшении показателей в задачах логического рассуждения, программирования и агентного взаимодействия при одновременном сокращении времени выполнения задач и длины генерируемого ответа. Модель ориентирована на длинные агентные циклы, разработку ПО, офисную автоматизацию и мультимодальные визуальные сценарии.
DeepSeek-V4.1-Flash — 552B (+196.6B параметров Engram и 14.2B параметров DSpark MTP) мультимодальная MoE-модель с контекстом до 1M токенов, построенная на асимметричной архитектуре Causal Encoder-Decoder и CSA2. Она снижает глобальный KV-кэш до 890 байт на токен и активирует 8B/16B параметров на prefill/decode, обеспечивая сильное качество в агентных и мультимодальных задачах при существенно меньших затратах памяти на длинном контексте.
Первая открытая мультимодальная модель от DeepSeek.Ai на архитектуре MoE (305B параметров, 13B активных), оснащённая визуальным кодировщиком ViT, механизмами внимания CSA+HCA для эффективной обработки контекста в 1М токенов и DSpark для ускорения генерации. Модель предназначена для работы в агентных сценариях и автоматизации рабочих процессов, где важен анализ изображений и возможность работы со сверхдлинным контекстом без дополнительных интеграций.
Первая нативная мультимодальная модель в серии GLM-5 ранее известная как ox-alpha. Модель также впервые использует гибридную архитектуру (разреженное + линейное внимание), 320B общих / 18B активных параметров. При таких относительно средних габаритах она обеспечивает уровень флагманских моделей, по качеству вплотную приближаясь к Claude Opus 4.8 и при этом распространяется под лицензией MIT. Модель поддерживает контекст до 1M токенов, работу с изображениями и видео, а также управляемый бюджет рассуждений через параметр `reasoning_effort`.
Флагманская модель от Z.ai на 744 млрд параметров (40 млрд активных) с контекстом 1 млн токенов, построенная на архитектуре MoE + DeepSeek Sparse Attention с технологией IndexShare. Модель сохраняет конструкцию GLM-5.2, но получает существенный прирост к качеству за счёт масштабирования пост-тренировки, достигая SOTA среди open-source моделей в программировании и демонстрируя лучшие способности в сфере кибербезопасности как среди открытых, так и закрытых моделей, занимая первое место на CyberGym с результатом 84,5%.
Экспериментальная мультимодальная MoE-модель с 125 млрд параметров (6 млрд активируется на токен), архитектурный предвестник Qwen4. Ключевые инновации: гибрид Gated DeltaNet и Qwen Sparse Attention (QSA) для эффективной работы с длинными контекстами, Gated Residual с 4 параллельными ветвями, 51-млрд N-граммное встраивание на хосте и оптимизатор Muon. Модель лидирует на бенчмарках среди открытых моделей в своем классе.
Официальный релиз флагманской MoE-модели DeepSeek-V4-Pro с 1,6 трлн параметров (49 млрд активируемых), поддерживающей контекст в 1 миллион токенов. Благодаря гибридной архитектуре внимания CSA + HCA модель достигает рекордной эффективности на длинных контекстах и показывает результаты уровня топовых проприетарных моделей в агентных задачах и программировании. По сравнению с preview-версией отличается улучшенными агентными возможностями и оптимизирована для продакшн-сред.
Первая открытая модель уровня Max от Qwen с 2,4 трлн параметров (активируется 95 млрд), использующая гибридную архитектуру Gated DeltaNet и Gated Attention, а также MoE из 512 экспертов. Модель уверенно лидирует или конкурирует с закрытыми моделями по целому ряду ключевых бенчмарков, поддерживает контекст до 262 тыс. токенов и является одной из самых крупных и мощных открытых LLM.
Флагманская плотная 30B-модель семейства Granite-4.2 с нативным режимом рассуждения и тремя режимами работы — полным мышлением, без мышления и low-effort. Архитектура сочетает Grouped Query Attention с полным вниманием и контекст до 128K токенов. Модель прошла полный агентный RL для software engineering, работы в терминале и веб-поиска, поэтому подходит для автономных агентных workflow и задач, связанных с программированием. Рекомендуется для наиболее требовательных систем, где качество важнее задержки и стоимости инференса.
Универсальная плотная 8B-модель с нативным рассуждением, тремя режимами мышления и нативным вызовом инструментов. Благодаря GQA с полным вниманием и контексту до 128K она способна работать с достаточно длинными документами и многошаговыми агентными сценариями, оставаясь практичной в плане развёртывания. Модель прошла агентный RL для SWE, терминала и поиска, поэтому способна не только следовать инструкциям, но и действовать в реальных средах. Это оптимальный выбор для несложных агентных систем среднего масштаба, где важны и качество, и стоимость инференса.
Компактная плотная 3B-модель с нативным рассуждением и тремя режимами мышления, ориентированная на эффективное развёртывание в средах с ограниченными вычислительными ресурсами. Она использует ту же архитектурную схему с GQA и полным вниманием в контексте до 128K. В отличие от 8B и 30B, модель не проходит агентный RL для SWE, терминала и поиска, поэтому у нее другие сильные стороны и направления использования — диалоги, дополнение кода, извлечение информации и суммаризация документов.
Компактная мультимодальная модель нового поколения с 27B параметров, построенная на архитектуре Qwen3.5 и усиленная продвинутым пост-обучением. Модель демонстрирует значительный прогресс в программировании, агентных задачах и профессиональных сценариях, превосходя предшественницу Qwen3.6-27B на ключевых бенчмарках, а встроенный vision-энкодер и контекст увеличиваемый до 1M токенов делают её универсальным решением для широкого спектра задач — от разработки ПО до мультимодальной автоматизации.
NVIDIA-Nemotron-3.5-Lightning-30B-A3B — гибридная MoE-модель (Mamba-2 + MoE + Attention) с 30B общих и 3B активных параметров, с контекстом расширяемым до 1M токенов и возможностью встроить поддержку спекулятивного декодирования. Вариант NVFP4 обеспечивает быстрый инференс на GPU от Ampere до Blackwell, а BF16 предназначен для кастомизации и дообучения. Модель лидирует в сегменте 30B MoE по эффективности для always-on агентов, значительно превосходя предыдущую версию линейки Nemotron-3-Nano на агентных и кодовых бенчмарках.
Обновленная версия популярной модели Deepseek-v4-flash. Новая LLM использует все ту же архитектуру – это MoE-модель с 284 млрд параметров (13 млрд активируемых), поддерживающая контекст до 1 млн токенов и оснащённая гибридным механизмом внимания CSA/HCA для эффективной работы с длинными последовательностями. В версии 0731 добавлен модуль спекулятивного декодирования DSpark и существенно усилены агентные возможности, что позволяет модели уверенно конкурировать с более крупными решениями на ключевых бенчмарках, оставаясь при этом быстрой, экономичной и полностью открытой для использования.
Первая в мире открытая модель-класса 3T (MoE на 2.8 триллиона параметров, 104 миллиарда активных на токен) с нативной мультимодальностью и контекстным окном до 1 миллиона токенов. Построена на гибридной архитектуре Kimi Delta Attention (KDA) с механизмом Attention Residuals (AttnRes) и техникой Stable LatentMoE, она обеспечивает фронтирный уровень reasoning, программирования и агентных возможностей при полной доступности весов для исследований и деплоя.
Передовая энд-ту-энд модель для OCR и парсинга документов от Baidu , способная транскрибировать десятки страниц за один прямой проход благодаря инновационному механизму Reference Sliding Window Attention (R-SWA), который обеспечивает фиксированный размер KV-кэша и стабильную скорость генерации. Модель достигает state-of-the-art результатов на бенчмарке OmniDocBench (93.92%), превосходя базовую DeepSeek OCR на 6% по общей точности и на 35% по скорости генерации.
Открытая MoE-модель от Z.ai с 753B параметров, из которых на каждый токен активируется лишь 39 миллиардов, оптимизированная для длительных агентных задач с контекстом в миллион токенов. Благодаря инновационной технике IndexShare и способностям в области логических рассуждений и программирования, она достигает уровня лучших закрытых моделей, становясь новым ориентиром в классе open‑source решений.
Открытая агентная модель от Moonshot AI на архитектуре MoE (1 трлн параметров, 32 млрд активируемых) с MLA-вниманием, нативной INT4-квантизацией и мультимодальностью (текст, изображения, видео). Модель оптимизирована для выполнения долгосрочных задач, сокращает расход thinking-токенов на 30% по сравнению с K2.6 и конкурирует с ведущими проприетарными решениями.
Флагманская языковая модель на 550 млрд параметров (55 млрд активных при каждом выводе) с гибридной архитектурой LatentMoE (Mamba-2 + MoE + Attention), контекстом до 1 млн токенов и настраиваемым режимом рассуждений. Модель обеспечивает рекордную пропускную способность инференса — до ~6× выше, чем у сравнимых открытых LLM, — при точности на уровне лучших мировых аналогов, что делает её оптимальным выбором для сложных агентных задач, длинноконтекстного анализа и высоконагруженных сценариев enterprise уровня.