Qwen2.5-0.5B-Instruct

русскоязычная

Qwen2.5-0.5B представляет собой наименьшую модель в серии с 500 миллионами параметров. Модель поддерживает контекстное окно длиной 32K токенов и может генерировать до 8K токенов за раз. Основным преимуществом этой модели является исключительно низкое энергопотребление и высокая скорость обработки при сохранении приемлемого качества выходных данных. Модель оптимизирована для развертывания на устройствах с ограниченными ресурсами, включая мобильные устройства, IoT системы и edge-вычисления. Несмотря на компактный размер, модель демонстрирует хорошие результаты в задачах понимания языка и базового рассуждения благодаря качественным данным предобучения объемом 18 триллионов токенов.

Qwen2.5-0.5B идеально подходит для интеграции в приложения, требующие быстрых ответов при ограниченной вычислительной мощности: чат-боты для веб-сайтов, мобильные ассистенты, системы автодополнения и базовая обработка текста. Модель также отлично работает как базовая модель для fine-tuning под специфические задачи с минимальными затратами на обучение и инференс.


Дата анонса: 16.09.2024
Параметров: 495M
Контекст: 33K
Слоев: 24
Тип внимания: Full Attention
Разработчик: Qwen
Версия Transformers: 4.43.1
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2.5-0.5B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Qwen2.5-0.5B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-1.16.32.240
32 768
1 34,51 ₽ 30,54 Запустить
teslat4-1.16.64.160
32 768
1 37,77 ₽ 30,54 Запустить
rtx2080ti-2.16.64.160
32 768
tensor
2 63,57 ₽ 38,28 Запустить
teslaa10-2.16.64.160
32 768
tensor
2 83,37 ₽ 100,68 Запустить
rtx3080-2.16.64.160
32 768
tensor
2 92,17 ₽ 33,48 Запустить
rtx4090-1.32.64.160
32 768
1 105,57 ₽ 49,74 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
2 109,77 ₽ 100,68 Запустить
rtx3090-2.16.64.160
32 768
tensor
2 139,77 ₽ 100,68 Запустить
rtx5090-1.32.64.160
32 768
1 150,57 ₽ 68,94 Запустить
teslaa10-4.16.128.160
32 768
pipeline
4 156,24 ₽ 202,54 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 184,14 Запустить
rtx3090-4.16.128.160
32 768
pipeline
4 269,04 ₽ 202,54 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 184,14 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 217,74 Запустить
teslaa100-2.24.256.160.nvlink
32 768
tensor
2 439,97 ₽ 369,48 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 662,28 Запустить
h200-2.32.384.320
32 768
tensor
2 868,44 ₽ 662,28 Запустить
h200-4.32.768.480
32 768
pipeline
4 1 717,59 ₽ 1325,74 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-1.16.32.240
32 768
1 34,51 ₽ 30,51 Запустить
teslat4-1.16.64.160
32 768
1 37,77 ₽ 30,51 Запустить
rtx2080ti-2.16.64.160
32 768
tensor
2 63,57 ₽ 38,24 Запустить
teslaa10-2.16.64.160
32 768
tensor
2 83,37 ₽ 100,64 Запустить
rtx3080-2.16.64.160
32 768
tensor
2 92,17 ₽ 33,44 Запустить
rtx4090-1.32.64.160
32 768
1 105,57 ₽ 49,71 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
2 109,77 ₽ 100,64 Запустить
rtx3090-2.16.64.160
32 768
tensor
2 139,77 ₽ 100,64 Запустить
rtx5090-1.32.64.160
32 768
1 150,57 ₽ 68,91 Запустить
teslaa10-4.16.128.160
32 768
pipeline
4 156,24 ₽ 202,51 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 184,11 Запустить
rtx3090-4.16.128.160
32 768
pipeline
4 269,04 ₽ 202,51 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 184,11 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 217,71 Запустить
teslaa100-2.24.256.160.nvlink
32 768
tensor
2 439,97 ₽ 369,44 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 662,24 Запустить
h200-2.32.384.320
32 768
tensor
2 868,44 ₽ 662,24 Запустить
h200-4.32.768.480
32 768
pipeline
4 1 717,59 ₽ 1325,71 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-1.16.32.240
32 768
1 34,51 ₽ 29,07 Запустить
teslat4-1.16.64.160
32 768
1 37,77 ₽ 29,07 Запустить
rtx2080ti-2.16.64.160
32 768
tensor
2 63,57 ₽ 36,80 Запустить
teslaa10-2.16.64.160
32 768
tensor
2 83,37 ₽ 99,20 Запустить
rtx3080-2.16.64.160
32 768
tensor
2 92,17 ₽ 32,00 Запустить
rtx4090-1.32.64.160
32 768
1 105,57 ₽ 48,27 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
2 109,77 ₽ 99,20 Запустить
rtx3090-2.16.64.160
32 768
tensor
2 139,77 ₽ 99,20 Запустить
rtx5090-1.32.64.160
32 768
1 150,57 ₽ 67,47 Запустить
teslaa10-4.16.128.160
32 768
pipeline
4 156,24 ₽ 201,07 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 182,67 Запустить
rtx3090-4.16.128.160
32 768
pipeline
4 269,04 ₽ 201,07 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 182,67 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 216,27 Запустить
teslaa100-2.24.256.160.nvlink
32 768
tensor
2 439,97 ₽ 368,00 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 660,80 Запустить
h200-2.32.384.320
32 768
tensor
2 868,44 ₽ 660,80 Запустить
h200-4.32.768.480
32 768
pipeline
4 1 717,59 ₽ 1324,27 Запустить

Связанные модели

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.