Qwen2.5-3B-Instruct

русскоязычная

Qwen2.5-3B включает 3 миллиарда параметров, 36 слоев и архитектуру 16/2 голов внимания, представляя значительный скачок в производительности при сохранении приемлемых требований к ресурсам. Модель поддерживает контекстное окно 32K токенов и генерацию до 8K токенов, что позволяет обрабатывать достаточно сложные задачи с развернутыми контекстами. 

Уникальность модели Qwen2.5-3B заключается в том, что она возвращается в линейку после отсутствия в серии Qwen2, заполняя важную нишу между 1.5B и 7B моделями. Этот размер особенно ценен для сценариев с ограниченными ресурсами, где 7B модель может быть избыточной, но требуется более высокая производительность, чем у 1.5B версии. Модель демонстрирует значительно улучшенные способности в понимании сложных инструкций, многоступенчатом рассуждении и работе со структурированными данными.

Важно отметить, что эта модель распространяется под лицензией Qwen Research, что может накладывать определенные ограничения на коммерческое использование. При этом Qwen2.5-3B идеально подходит для исследовательских проектов, прототипирования и разработки специализированных решений, где важна гибкость лицензирования для исследовательских целей. Модель отлично показывает себя в задачах анализа данных, технической документации, образовательных приложениях и как основа для создания domain-specific моделей через fine-tuning.


Дата анонса: 17.09.2024
Параметров: 4B
Контекст: 33K
Слоев: 36
Тип внимания: Full Attention
Разработчик: Qwen
Версия Transformers: 4.43.1
Лицензия: qwen

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2.5-3B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Qwen2.5-3B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
1 29,33 ₽ 8,48 Запустить
rtx2080ti-1.10.16.500
32 768
1 34,23 ₽ 4,48 Запустить
teslaa2-1.16.32.160
32 768
1 33,74 ₽ 8,48 Запустить
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 14,88 Запустить
rtx3080-1.16.32.160
32 768
1 51,34 ₽ 3,68 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 14,88 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 14,88 Запустить
teslav100-1.12.64.160
32 768
1 107,57 ₽ 21,28 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
2 109,77 ₽ 31,86 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 21,28 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 59,68 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 59,68 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 70,88 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 108,48 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
1 29,33 ₽ 8,02 Запустить
rtx2080ti-1.10.16.500
32 768
1 34,23 ₽ 4,02 Запустить
teslaa2-1.16.32.160
32 768
1 33,74 ₽ 8,02 Запустить
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 14,42 Запустить
rtx3080-1.16.32.160
32 768
1 51,34 ₽ 3,22 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 14,42 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 14,42 Запустить
teslav100-1.12.64.160
32 768
1 107,57 ₽ 20,82 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
2 109,77 ₽ 31,40 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 20,82 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 59,22 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 59,22 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 70,42 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 108,02 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
1 29,33 ₽ 5,09 Запустить
rtx2080ti-1.10.16.500
32 768
1 34,23 ₽ 1,09 Запустить
teslaa2-1.16.32.160
32 768
1 33,74 ₽ 5,09 Запустить
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 11,49 Запустить
rtx3080-1.16.32.160
32 768
1 51,34 ₽ 0,29 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 11,49 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 11,49 Запустить
teslav100-1.12.64.160
32 768
1 107,57 ₽ 17,89 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
2 109,77 ₽ 28,47 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 17,89 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 56,29 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 56,29 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 67,49 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 105,09 Запустить

Связанные модели

QwQ

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.