Qwen2-7B

Qwen2-7B представляет собой полнофункциональную языковую модель с 7 миллиардами параметров, разработанную для обеспечения высокой производительности в широком спектре задач. Модель содержит 28 слоев, использует 28 голов внимания всего и 4 головы на ключ-значение, что обеспечивает оптимальный баланс между производительностью и эффективностью памяти. Архитектура включает все современные улучшения, включая Grouped Query Attention, Dual Chunk Attention с YARN, и оптимизированные механизмы позиционного кодирования RoPE.

Модель обучена на том же высококачественном датасете объемом 7 триллионов токенов, что и более крупные варианты серии. Это обеспечивает качество ответов модели в различных областях знания и позволяет демонстрировать конкурентные результаты на стандартных бенчмарках. При этом модель поддерживает расширенное контекстное окно 128K и демонстрирует превосходные многоязычные способности.

Qwen2-7B отличается возможностью эффективно работать на GPU среднего класса, делая передовые AI-возможности доступными для более широкого круга пользователей и организаций. Модель подходит для создания приложений, анализ больших документов, исследовательских и образовательных целей, а также служит отличной основой для дообучения под специфические задачи и домены, предлагая хороший компромисс между возможностями и требованиями к ресурсам.

Дата анонса: 24.07.2024
Параметров: 7B
Контекст: 32K
Тип внимания: Full Attention
Потребление памяти: 5.0 ГБ в точности 4 бит
Разработчик: Alibaba
Версия Transformers: 4.41.2
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Qwen2-7B.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.