Qwen2.5-0.5B

Qwen2.5-0.5B представляет собой наименьшую модель в серии с 500 миллионами параметров. Модель поддерживает контекстное окно длиной 32K токенов и может генерировать до 8K токенов за раз. Основным преимуществом этой модели является исключительно низкое энергопотребление и высокая скорость обработки при сохранении приемлемого качества выходных данных. Модель оптимизирована для развертывания на устройствах с ограниченными ресурсами, включая мобильные устройства, IoT системы и edge-вычисления. Несмотря на компактный размер, модель демонстрирует хорошие результаты в задачах понимания языка и базового рассуждения благодаря качественным данным предобучения объемом 18 триллионов токенов.

Qwen2.5-0.5B идеально подходит для интеграции в приложения, требующие быстрых ответов при ограниченной вычислительной мощности: чат-боты для веб-сайтов, мобильные ассистенты, системы автодополнения и базовая обработка текста. Модель также отлично работает как базовая модель для fine-tuning под специфические задачи с минимальными затратами на обучение и инференс.

Дата анонса: 19.09.2024
Параметров: 0.5B
Контекст: 32K
Тип внимания: Full Attention
Потребление памяти: 0.6 ГБ в точности 4 бит
Разработчик: Alibaba
Версия Transformers: 4.43.1
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Qwen2.5-0.5B.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.