Qwen2-0.5B представляет собой ультра-компактную языковую модель с 0,5 млрд параметров, специально разработанную для развертывания на мобильных и IoT устройствах. Модель использует GQA и tie embedding для оптимизации производительности, эта архитектурная особенность позволяет значительно снизить потребление энергии и задействование памяти при инференсе.
Модель обучена на высококачественном многоязычном датасете объемом 12 триллионов токенов, что обеспечивает ее способность работать с примерно 30 языками, включая русский и ряд довольно редких языков. Несмотря на компактный размер, модель демонстрирует отличные результаты в базовых языковых задачах. Однако основным преимуществом Qwen2-0.5B является ее способность к эффективному развертыванию на смартфонах, наушниках, умных очках других устройствах использующих технологии встраиваемых систем.
Низкие требования к памяти и вычислительным ресурсам делают ее идеальной edge-computing приложений. Qwen2-0.5B особенно подходит для создания персональных ассистентов на мобильных устройствах, простых чат-ботов, обработки текста в реальном времени на устройствах IoT, и как базовая модель для специализированного дообучения в ресурсо-ограниченных средах.
| Наименование модели | Контекст | Тип | GPU | Статус | Ссылка |
|---|
Для данной модели пока нет публичных эндпоинтов.
Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.
Мы рекомендуем создание частных инстансов в случаях, если необходимо:
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
32 768 |
1 | 33,74 ₽ | 118.02 | 29,45 | Запустить | |
32 768 |
1 | 46,94 ₽ | 227.66 | 48,83 | Запустить | |
32 768 |
1 | 51,34 ₽ | 17,20 | Запустить | ||
32 768 |
1 | 73,73 ₽ | 282.86 | 51,43 | Запустить | |
32 768 |
1 | 91,14 ₽ | 310.91 | 51,33 | Запустить | |
32 768 tensor |
2 | 139,77 ₽ | 105,33 | Запустить | ||
32 768 |
1 | 141,77 ₽ | 70,54 | Запустить | ||
32 768 |
1 | 211,77 ₽ | 265.32 | 188,05 | Запустить | |
32 768 |
1 | 341,77 ₽ | 213.89 | 187,88 | Запустить | |
32 768 |
1 | 367,41 ₽ | 222,01 | Запустить | ||
32 768 tensor |
2 | 411,81 ₽ | 378,59 | Запустить | ||
32 768 |
1 | 423,04 ₽ | 336,60 | Запустить | ||
32 768 tensor |
2 | 839,97 ₽ | 675,69 | Запустить | ||
Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.