DeepSeek-R1-0528-Qwen3-8B

DeepSeek-R1-0528-Qwen3-8B представляет собой компактную 8-миллиардную модель, полученную путём дистилляции знаний и умений рассуждать от флагманской DeepSeek-R1-0528 в базовую модель Qwen3 8B. Эта модель использует архитектуру, идентичную Qwen3-8B, но с токенайзером от DeepSeek-R1-0528, что обеспечивает совместимость с более продвинутыми возможностями мышления. Модель демонстрирует исключительные результаты, достигая 86.0% на AIME 2024, что превосходит базовую Qwen3 8B на 10% и соответствует производительности значительно более крупной Qwen3-235B-thinking. Эти результаты и ряд других показателей на бенчмарках позволяют модели занять лидирующие позиции среди open-source моделей своего класса.

Модель представляет собой хороший пример качественной реализации процедуры дистилляции. Цепочки мыслей от DeepSeek-R1-0528 были успешно перенесены в более компактную архитектуру, что открывает новые возможности для академических исследований и промышленной разработки небольших специализированных моделей. Компактный размер в 8B параметров делает модель доступной для развертывания на менее мощном оборудовании, сохраняя при этом высокое качество рассуждений.

DeepSeek-R1-0528-Qwen3-8B отлично подходит для образовательных приложений, небольших исследовательских проектов, и в целом для ситуаций, когда требуется хорошая модель настроенная отвечать в стиле рассуждений, но нет возможности развернуть крупные reasoning модели.

Дата анонса: 28.05.2025
Параметров: 8.19B
Контекст: 131K
Тип внимания: Full or Sliding Window Attention
Потребление памяти: 21.8 ГБ в точности 4 бит
Разработчик: DeepSeek
Версия Transformers: 4.51.0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с DeepSeek-R1-0528-Qwen3-8B.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.