Qwen2.5-1.5B-Instruct

русскоязычная

Qwen2.5-1.5B содержит 1.5 миллиарда параметров, предлагая значительное улучшение производительности по сравнению с 0.5B версией при сохранении относительно небольших вычислительных требований. Она поддерживает такое же контекстное окно в 32K токенов и генерацию до 8K токенов, что обеспечивает поддержку широкого спектра задач. Тем самым сохраняется ключевое преимущество легковесных моделей - баланс между производительностью и эффективностью. Модель демонстрирует хорошие способности в логическом рассуждении, понимании контекста и генерации связного текста на различных языках (включая русский). При этом она остается достаточно легкой для развертывания на устройствах с ограниченными вычислительными возможностями, чувствительных к энергопотреблению.

Qwen2.5-1.5B отличается высокой скоростью отклика, универсальностью и возможностью работы в ограниченных вычислительных условиях, сохраняя при этом достойный уровень ответов и понимания инструкций. Модель отлично подходит для корпоративных чат-ботов, интеллектуальных ассистентов, локальных систем поддержки, а также для образовательных и исследовательских проектов, где важна приватность данных и автономность.


Дата анонса: 17.09.2024
Параметров: 2B
Контекст: 33K
Слоев: 28
Тип внимания: Full Attention
Разработчик: Qwen
Версия Transformers: 4.43.1
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2.5-1.5B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка

API доступ к Qwen2.5-1.5B-Instruct эндпоинтам

Для данной модели пока нет публичных эндпоинтов.

Частный эндпоинт

Эндпоинт — это сервер с предустановленным программным обеспечением, с помощью которого автоматически скачиваются веса нейросети и запускается OpenAI-совместимый API для обращений к серверу.

Частный эндпоинт создается в проекте пользователя, принадлежит пользователю монопольно и тарифицируется за каждую конфигурацию сервера в соответствии с нашими инфраструктурными тарифами.

Мы рекомендуем создание частных эндпоинтов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве.

Рекомендуемые конфигурации сервера для создания частного эндпоинта для инференса Qwen2.5-1.5B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-1.16.32.160
32 768
1 33,74 ₽ 98.80 10,22 Запустить
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 215.29 18,52 Запустить
rtx3080-1.16.32.160
32 768
1 51,34 ₽ 265.76 4,97 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 500.00 22,23 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 548.00 19,60 Запустить
rtx3090-2.16.64.160.nvlink
32 768
tensor
2 139,77 ₽ 40,50 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 27,83 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 172.70 78,19 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 548.00 78,12 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 436.00 92,75 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
2 411,81 ₽ 157,61 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 141,86 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 284,94 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-1.16.32.160
32 768
1 33,74 ₽ 75.11 11,83 Запустить
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 172.50 20,07 Запустить
rtx3080-1.16.32.160
32 768
1 51,34 ₽ 218.22 6,61 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 139.97 21,55 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 239.40 21,07 Запустить
rtx3090-2.16.64.160.nvlink
32 768
tensor
2 139,77 ₽ 44,54 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 29,47 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 231.33 79,67 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 220.17 79,39 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 232.75 93,99 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
2 411,81 ₽ 161,65 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 143,49 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 288,97 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-1.16.32.160
32 768
1 33,74 ₽ 46.95 10,80 Запустить
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 109.65 19,11 Запустить
rtx3080-1.16.32.160
32 768
1 51,34 ₽ 153.08 5,56 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 164.24 20,22 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 197.84 20,18 Запустить
rtx3090-2.16.64.160.nvlink
32 768
tensor
2 139,77 ₽ 43,85 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 28,41 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 178.35 78,66 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 78,70 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 93,33 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
2 411,81 ₽ 160,96 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 142,44 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 288,29 Запустить

Связанные модели

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.

Мы используем файлы cookie и сервисы веб-аналитики для обеспечения работы сайта, анализа посещаемости и улучшения качества наших услуг.
Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности и даете согласие на обработку cookie-файлов и технических данных.