Qwen2-0.5B представляет собой ультра-компактную языковую модель с 0,5 млрд параметров, специально разработанную для развертывания на мобильных и IoT устройствах. Модель использует GQA и tie embedding для оптимизации производительности, эта архитектурная особенность позволяет значительно снизить потребление энергии и задействование памяти при инференсе.
Модель обучена на высококачественном многоязычном датасете объемом 12 триллионов токенов, что обеспечивает ее способность работать с примерно 30 языками, включая русский и ряд довольно редких языков. Несмотря на компактный размер, модель демонстрирует отличные результаты в базовых языковых задачах. Однако основным преимуществом Qwen2-0.5B является ее способность к эффективному развертыванию на смартфонах, наушниках, умных очках других устройствах использующих технологии встраиваемых систем.
Низкие требования к памяти и вычислительным ресурсам делают ее идеальной edge-computing приложений. Qwen2-0.5B особенно подходит для создания персональных ассистентов на мобильных устройствах, простых чат-ботов, обработки текста в реальном времени на устройствах IoT, и как базовая модель для специализированного дообучения в ресурсо-ограниченных средах.
| Наименование модели | Контекст | Тип | GPU | Статус | Ссылка |
|---|
Для данной модели пока нет публичных эндпоинтов.
Эндпоинт — это сервер с предустановленным программным обеспечением, с помощью которого автоматически скачиваются веса нейросети и запускается OpenAI-совместимый API для обращений к серверу.
Частный эндпоинт создается в проекте пользователя, принадлежит пользователю монопольно и тарифицируется за каждую конфигурацию сервера в соответствии с нашими инфраструктурными тарифами.
Мы рекомендуем создание частных эндпоинтов в случаях, если необходимо:
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
32 768 |
1 | 33,74 ₽ | 118.02 | 31,39 | Запустить | |
32 768 |
1 | 46,94 ₽ | 227.66 | 50,77 | Запустить | |
32 768 |
1 | 51,34 ₽ | 263.11 | 19,15 | Запустить | |
32 768 |
1 | 73,73 ₽ | 282.86 | 53,37 | Запустить | |
32 768 |
1 | 91,14 ₽ | 310.91 | 53,28 | Запустить | |
32 768 tensor |
2 | 139,77 ₽ | 109,23 | Запустить | ||
32 768 |
1 | 141,77 ₽ | 72,49 | Запустить | ||
32 768 |
1 | 211,77 ₽ | 265.32 | 190,00 | Запустить | |
32 768 |
1 | 341,77 ₽ | 213.89 | 189,83 | Запустить | |
32 768 |
1 | 367,41 ₽ | 223,95 | Запустить | ||
32 768 tensor |
2 | 411,81 ₽ | 382,48 | Запустить | ||
32 768 |
1 | 423,04 ₽ | 338,55 | Запустить | ||
32 768 tensor |
2 | 839,97 ₽ | 679,58 | Запустить | ||
Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.