Qwen2.5-3B

Qwen2.5-3B включает 3 миллиарда параметров, 36 слоев и архитектуру 16/2 голов внимания, представляя значительный скачок в производительности при сохранении приемлемых требований к ресурсам. Модель поддерживает контекстное окно 32K токенов и генерацию до 8K токенов, что позволяет обрабатывать достаточно сложные задачи с развернутыми контекстами. 

Уникальность модели Qwen2.5-3B заключается в том, что она возвращается в линейку после отсутствия в серии Qwen2, заполняя важную нишу между 1.5B и 7B моделями. Этот размер особенно ценен для сценариев с ограниченными ресурсами, где 7B модель может быть избыточной, но требуется более высокая производительность, чем у 1.5B версии. Модель демонстрирует значительно улучшенные способности в понимании сложных инструкций, многоступенчатом рассуждении и работе со структурированными данными.

Важно отметить, что эта модель распространяется под лицензией Qwen Research, что может накладывать определенные ограничения на коммерческое использование. При этом Qwen2.5-3B идеально подходит для исследовательских проектов, прототипирования и разработки специализированных решений, где важна гибкость лицензирования для исследовательских целей. Модель отлично показывает себя в задачах анализа данных, технической документации, образовательных приложениях и как основа для создания domain-specific моделей через fine-tuning.

Дата анонса: 19.09.2024
Параметров: 3B
Контекст: 32K
Тип внимания: Full Attention
Потребление памяти: 2.5 ГБ в точности 4 бит
Разработчик: Alibaba
Версия Transformers: 4.43.1
Лицензия: qwen

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Qwen2.5-3B.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.