Qwen2.5-32B-Instruct

русскоязычная

Qwen2.5-32B содержит 32 млрд параметров, 64 слоя и архитектуру 40/8 голов внимания, представляя значительный скачок в вычислительной мощности и способностях модели. С поддержкой контекстного окна в 128K токенов и генерацией до 8K токенов, модель способна обрабатывать исключительно сложные и объемные задачи. 

Qwen2.5-32B возвращает размерность весов в 32 млрд в линейку Qwen после отсутствия в серии Qwen2, предоставляя пользователям мощную альтернативу флагманской 72B модели с меньшими требованиями к ресурсам. Благодаря обучению на 18 триллионах токенов высококачественных данных модель демонстрирует уверенную работу с большими массивами информации, экспертный уровень знаний в специализированных доменах, превосходные способности к абстрактному мышлению и умение решать задачи, требующие глубокого понимания контекста и многоступенчатого анализа.

Qwen2.5-32B предназначена для организаций и исследовательских групп, которым нужны возможности уровня frontier-моделей без полных затрат на самые крупные модели. Идеальные форматы применения включают научные исследования, разработку сложного программного обеспечения, создание высококачественного контента, системы экспертной поддержки в медицине и праве, а также как основа для создания высокоспециализированных ИИ-систем.


Дата анонса: 17.09.2024
Параметров: 32B
Контекст: 33K
Слоев: 64
Тип внимания: Full Attention
Разработчик: Qwen
Версия Transformers: 4.43.1
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2.5-32B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Qwen2.5-32B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa10-2.16.64.160
32 768
tensor
 2 83,37 ₽ 2,51 Запустить
teslaa2-3.32.128.160
32 768
pipeline
 3 94,64 ₽ 2,04 Запустить
teslaa2-4.32.128.160
32 768
tensor
 4 112,24 ₽ 3,65 Запустить
rtx3090-2.16.64.160
32 768
tensor
 2 139,77 ₽ 58.66 2,75 Запустить
rtx3090-2.16.64.160.nvlink
32 768
tensor
 2 139,77 ₽ 2,75 Запустить
rtx5090-1.16.64.160
32 768
 1 141,77 ₽ 1,14 Запустить
rtx3080-4.16.64.160
32 768
tensor
 4 162,57 ₽ 1,36 Запустить
rtx4090-2.16.64.160
32 768
tensor
 2 171,77 ₽ 72.85 2,74 Запустить
teslaa100-1.16.64.160
32 768
 1 211,77 ₽ 59.41 6,64 Запустить
h100-1.16.64.160
32 768
 1 341,77 ₽ 59.02 6,64 Запустить
h100nvl-1.16.96.160
32 768
 1 367,41 ₽ 8,24 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
 2 411,81 ₽ 15,56 Запустить
h200-1.16.128.160
32 768
 1 423,04 ₽ 13,61 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
 2 839,97 ₽ 29,49 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-4.32.128.160
32 768
tensor
 4 112,24 ₽ 1,33 Запустить
teslaa10-3.16.96.160
32 768
pipeline
 3 119,81 ₽ 2,50 Запустить
teslaa10-4.12.48.160
32 768
tensor
 4 139,96 ₽ 4,96 Запустить
rtx3090-3.16.96.160
32 768
pipeline
 3 204,41 ₽ 20.58 3,12 Запустить
teslaa100-1.16.64.160
32 768
 1 211,77 ₽ 39.51 4,71 Запустить
rtx4090-3.16.96.160
32 768
pipeline
 3 252,41 ₽ 24.10 3,10 Запустить
rtx3090-4.16.64.160
32 768
tensor
 4 257,77 ₽ 5,45 Запустить
rtx5090-2.16.64.160
32 768
tensor
 2 261,77 ₽ 2,48 Запустить
rtx3090-4.16.128.160.nvlink
32 768
tensor
 4 269,04 ₽ 5,45 Запустить
rtx4090-4.16.64.160
32 768
tensor
 4 321,77 ₽ 5,43 Запустить
h100-1.16.64.160
32 768
 1 341,77 ₽ 41.38 4,64 Запустить
h100nvl-1.16.96.160
32 768
 1 367,41 ₽ 58.78 6,24 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
 2 411,81 ₽ 13,50 Запустить
h200-1.16.128.160
32 768
 1 423,04 ₽ 11,67 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
 2 839,97 ₽ 27,42 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa10-4.16.128.240
32 768
tensor
 4 157,01 ₽ 1,56 Запустить
teslaa100-1.16.128.240
32 768
 1 223,81 ₽ 22.26 1,19 Запустить
rtx3090-4.16.96.320
32 768
tensor
 4 264,96 ₽ 2,04 Запустить
rtx4090-4.16.96.320
32 768
tensor
 4 328,96 ₽ 2,02 Запустить
h100-1.16.128.240
32 768
 1 353,81 ₽ 1,18 Запустить
h100nvl-1.16.96.240
32 768
 1 368,18 ₽ 2,78 Запустить
rtx5090-3.16.96.240
32 768
pipeline
 3 388,18 ₽ 2,01 Запустить
h200-1.16.128.240
32 768
 1 423,81 ₽ 8,16 Запустить
teslaa100-2.24.256.320.nvlink
32 768
tensor
 2 441,52 ₽ 10,02 Запустить
rtx5090-4.16.128.320
32 768
tensor
 4 514,59 ₽ 5,63 Запустить
h200-2.24.256.240.nvlink
32 768
tensor
 2 840,74 ₽ 23,94 Запустить

Связанные модели

QwQ-32B
Qwen2-0.5B-Instruct
Qwen2-1.5B-Instruct
Qwen2-7B-Instruct
Qwen2-72B-Instruct
Qwen2.5-0.5B-Instruct
Qwen2.5-1.5B-Instruct
Qwen2.5-3B-Instruct
Qwen2.5-7B-Instruct
Qwen2.5-14B-Instruct
Qwen2.5-72B-Instruct
Qwen2-57B-A14B-Instruct
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-VL-3B-Instruct
Qwen2.5-VL-7B-Instruct
Qwen2.5-7B-Instruct-1M
avision

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.

Мы используем файлы cookie и сервисы веб-аналитики для обеспечения работы сайта, анализа посещаемости и улучшения качества наших услуг.
Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности и даете согласие на обработку cookie-файлов и технических данных.