Qwen2-0.5B-Instruct

русскоязычная

Qwen2-0.5B представляет собой ультра-компактную языковую модель с 0,5 млрд параметров, специально разработанную для развертывания на мобильных и IoT устройствах. Модель использует GQA и tie embedding для оптимизации производительности, эта архитектурная особенность позволяет значительно снизить потребление энергии и задействование памяти при инференсе.

Модель обучена на высококачественном многоязычном датасете объемом 12 триллионов токенов, что обеспечивает ее способность работать с примерно 30 языками, включая русский и ряд довольно редких языков. Несмотря на компактный размер, модель демонстрирует отличные результаты в базовых языковых задачах. Однако основным преимуществом Qwen2-0.5B является ее способность к эффективному развертыванию на смартфонах, наушниках, умных очках других устройствах использующих технологии встраиваемых систем.

Низкие требования к памяти и вычислительным ресурсам делают ее идеальной edge-computing приложений. Qwen2-0.5B особенно подходит для создания персональных ассистентов на мобильных устройствах, простых чат-ботов, обработки текста в реальном времени на устройствах IoT, и как базовая модель для специализированного дообучения в ресурсо-ограниченных средах.


Дата анонса: 24.07.2024
Параметров: 500M
Контекст: 33K
Слоев: 24
Тип внимания: Full Attention
Разработчик: Qwen
Версия Transformers: 4.40.1
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2-0.5B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Qwen2-0.5B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
 1 29,33 ₽ 26,30 Запустить
rtx2080ti-1.10.16.500
32 768
 1 34,23 ₽ 16,49 Запустить
teslaa2-1.16.32.160
32 768
 1 33,74 ₽ 26,40 Запустить
teslaa10-1.16.32.160
32 768
 1 46,94 ₽ 45,78 Запустить
rtx3080-1.16.32.160
32 768
 1 51,34 ₽ 14,16 Запустить
rtx3090-1.16.24.160
32 768
 1 73,73 ₽ 48,38 Запустить
rtx4090-1.16.32.160
32 768
 1 91,14 ₽ 48,28 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
 2 109,77 ₽ 92,18 Запустить
rtx5090-1.16.64.160
32 768
 1 141,77 ₽ 67,49 Запустить
teslaa100-1.16.64.160
32 768
 1 211,77 ₽ 185,01 Запустить
h100-1.16.64.160
32 768
 1 341,77 ₽ 184,83 Запустить
h100nvl-1.16.96.160
32 768
 1 367,41 ₽ 218,96 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
 2 411,81 ₽ 370,63 Запустить
h200-1.16.128.160
32 768
 1 423,04 ₽ 333,56 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
 2 839,97 ₽ 667,73 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
 1 29,33 ₽ 25,68 Запустить
rtx2080ti-1.10.16.500
32 768
 1 34,23 ₽ 15,87 Запустить
teslaa2-1.16.32.160
32 768
 1 33,74 ₽ 25,78 Запустить
teslaa10-1.16.32.160
32 768
 1 46,94 ₽ 45,16 Запустить
rtx3080-1.16.32.160
32 768
 1 51,34 ₽ 13,53 Запустить
rtx3090-1.16.24.160
32 768
 1 73,73 ₽ 47,76 Запустить
rtx4090-1.16.32.160
32 768
 1 91,14 ₽ 47,66 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
 2 109,77 ₽ 91,56 Запустить
rtx5090-1.16.64.160
32 768
 1 141,77 ₽ 66,87 Запустить
teslaa100-1.16.64.160
32 768
 1 211,77 ₽ 184,38 Запустить
h100-1.16.64.160
32 768
 1 341,77 ₽ 184,21 Запустить
h100nvl-1.16.96.160
32 768
 1 367,41 ₽ 218,34 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
 2 411,81 ₽ 370,01 Запустить
h200-1.16.128.160
32 768
 1 423,04 ₽ 332,93 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
 2 839,97 ₽ 667,11 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
 1 29,33 ₽ 24,47 Запустить
rtx2080ti-1.10.16.500
32 768
 1 34,23 ₽ 14,65 Запустить
teslaa2-1.16.32.160
32 768
 1 33,74 ₽ 24,56 Запустить
teslaa10-1.16.32.160
32 768
 1 46,94 ₽ 43,95 Запустить
rtx3080-1.16.32.160
32 768
 1 51,34 ₽ 12,32 Запустить
rtx3090-1.16.24.160
32 768
 1 73,73 ₽ 46,55 Запустить
rtx4090-1.16.32.160
32 768
 1 91,14 ₽ 46,45 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
 2 109,77 ₽ 90,35 Запустить
rtx5090-1.16.64.160
32 768
 1 141,77 ₽ 65,66 Запустить
teslaa100-1.16.64.160
32 768
 1 211,77 ₽ 183,17 Запустить
h100-1.16.64.160
32 768
 1 341,77 ₽ 183,00 Запустить
h100nvl-1.16.96.160
32 768
 1 367,41 ₽ 217,13 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
 2 411,81 ₽ 368,80 Запустить
h200-1.16.128.160
32 768
 1 423,04 ₽ 331,72 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
 2 839,97 ₽ 665,90 Запустить

Связанные модели

QwQ-32B
Qwen2-1.5B-Instruct
Qwen2-7B-Instruct
Qwen2-72B-Instruct
Qwen2.5-0.5B-Instruct
Qwen2.5-1.5B-Instruct
Qwen2.5-3B-Instruct
Qwen2.5-7B-Instruct
Qwen2.5-14B-Instruct
Qwen2.5-32B-Instruct
Qwen2.5-72B-Instruct
Qwen2-57B-A14B-Instruct
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-VL-3B-Instruct
Qwen2.5-VL-7B-Instruct
Qwen2.5-7B-Instruct-1M
avision

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.