Qwen2-72B

русскоязычная

Qwen2-72B — флагманская модель серии с 72 миллиардами параметров, архитектура которой включает 80 слоёв со скрытым размером 8192 и реализует механизм Grouped Query Attention с 64 головами запросов и 8 общими головами ключ-значение, что в сочетании с технологиями Dual Chunk Attention и YARN обеспечивает максимальную производительность при обработке длинных контекстов и эффективное управление KV-кэшем.

Модель обучена на высококачественном датасете объемом 7 триллионов токенов с максимальным разнообразием данных. Базовая версия модели демонстрирует выдающиеся результаты на ключевых бенчмарках: 84.2 на MMLU, 37.9 на GPQA, 64.6 на HumanEval, 89.5 на GSM8K, и 82.4 на BBH1. Инструктированная версия Qwen2-72B-Instruct достигает 9.1 на MT-Bench, 48.1 на Arena-Hard, и 35.7 на LiveCodeBench, что ставит ее в один ряд с ведущими проприетарными моделями.

Qwen2-72B обладает исключительными способностями к сложным рассуждениям, пошаговому решению задач, продвинутому программированию и глубокому пониманию контекста. Многоязычные возможности модели позволяют ей работать на профессиональном уровне более чем с 30 языками включая русский. Соответственно она предназначена для самых требовательных к эффективности ИИ кейсов: научные исследования высокого уровня, сложная разработка программного обеспечения, создание высококачественного профессионального контента, продвинутый анализ данных, автоматизация сложных бизнес-процессов и создание интеллектуальных систем принятия решений.


Дата анонса: 24.07.2024
Параметров: 72B
Контекст: 32K
Тип внимания: Full Attention
Потребление памяти: 43.5 ГБ в точности 4 бит
Разработчик: Alibaba
Версия Transformers: 4.40.1
Лицензия: Tongyi-Qianwen

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Qwen2-72B.
Наименование модели Контекст Тип GPU TPS Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации для хостинга Qwen2-72B

Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa10-2.16.64.160 16 65536 160 2 83,37 ₽ Запустить
teslat4-4.16.64.160 16 65536 160 4 131,77 ₽ Запустить
rtx3090-2.16.64.160 16 65536 160 2 149,37 ₽ Запустить
rtx4090-2.16.64.160 16 65536 160 2 195,57 ₽ Запустить
teslav100-2.16.64.240 16 65535 240 2 198,54 ₽ Запустить
teslaa100-1.16.64.160 16 65536 160 1 230,77 ₽ Запустить
rtx5090-2.16.64.160 16 65536 160 2 261,77 ₽ Запустить
teslah100-1.16.64.160 16 65536 160 1 456,27 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa10-4.16.128.160 16 131072 160 4 156,24 ₽ Запустить
rtx3090-4.16.128.160 16 131072 160 4 288,24 ₽ Запустить
rtx4090-4.16.128.160 16 131072 160 4 380,64 ₽ Запустить
rtx5090-3.16.96.160 16 98304 160 3 387,41 ₽ Запустить
teslaa100-2.24.256.160 24 262144 160 2 477,97 ₽ Запустить
teslah100-2.24.256.160 24 262144 160 2 928,97 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa100-2.24.256.240 24 262144 240 2 478,74 ₽ Запустить
teslah100-2.24.256.240 24 262144 240 2 929,74 ₽ Запустить

Связанные модели

QwQ
Qwen2-0.5B
Qwen2-1.5B
Qwen2-7B
Qwen2.5-0.5B
Qwen2.5-1.5B
Qwen2.5-3B
Qwen2.5-7B
Qwen2.5-14B
Qwen2.5-32B
Qwen2.5-72B
Qwen2-57B-A14B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-VL-3B
Qwen2.5-VL-7B
Qwen2.5-7B-1M

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.