Qwen2-72B — флагманская модель серии с 72 миллиардами параметров, архитектура которой включает 80 слоёв со скрытым размером 8192 и реализует механизм Grouped Query Attention с 64 головами запросов и 8 общими головами ключ-значение, что в сочетании с технологиями Dual Chunk Attention и YARN обеспечивает максимальную производительность при обработке длинных контекстов и эффективное управление KV-кэшем.
Модель обучена на высококачественном датасете объемом 7 триллионов токенов с максимальным разнообразием данных. Базовая версия модели демонстрирует выдающиеся результаты на ключевых бенчмарках: 84.2 на MMLU, 37.9 на GPQA, 64.6 на HumanEval, 89.5 на GSM8K, и 82.4 на BBH1. Инструктированная версия Qwen2-72B-Instruct достигает 9.1 на MT-Bench, 48.1 на Arena-Hard, и 35.7 на LiveCodeBench, что ставит ее в один ряд с ведущими проприетарными моделями.
Qwen2-72B обладает исключительными способностями к сложным рассуждениям, пошаговому решению задач, продвинутому программированию и глубокому пониманию контекста. Многоязычные возможности модели позволяют ей работать на профессиональном уровне более чем с 30 языками включая русский. Соответственно она предназначена для самых требовательных к эффективности ИИ кейсов: научные исследования высокого уровня, сложная разработка программного обеспечения, создание высококачественного профессионального контента, продвинутый анализ данных, автоматизация сложных бизнес-процессов и создание интеллектуальных систем принятия решений.
| Наименование модели | Контекст | Тип | GPU | Статус | Ссылка |
|---|
Для данной модели пока нет публичных эндпоинтов.
Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.
Мы рекомендуем создание частных инстансов в случаях, если необходимо:
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
32 768 tensor |
4 | 85,77 ₽ | 1,41 | Запустить | ||
32 768 tensor |
4 | 112,24 ₽ | 1,41 | Запустить | ||
32 768 pipeline |
3 | 119,81 ₽ | 2,38 | Запустить | ||
32 768 tensor |
4 | 139,96 ₽ | 4,29 | Запустить | ||
32 768 tensor |
2 | 198,54 ₽ | 1,91 | Запустить | ||
32 768 pipeline |
3 | 204,41 ₽ | 2,38 | Запустить | ||
32 768 tensor |
4 | 209,04 ₽ | 4,29 | Запустить | ||
32 768 |
1 | 211,77 ₽ | 3,60 | Запустить | ||
32 768 pipeline |
3 | 252,41 ₽ | 2,38 | Запустить | ||
32 768 tensor |
4 | 257,77 ₽ | 4,29 | Запустить | ||
32 768 tensor |
2 | 261,77 ₽ | 1,91 | Запустить | ||
32 768 tensor |
4 | 321,77 ₽ | 4,29 | Запустить | ||
32 768 |
1 | 341,77 ₽ | 3,60 | Запустить | ||
32 768 |
1 | 367,41 ₽ | 4,86 | Запустить | ||
32 768 |
1 | 423,04 ₽ | 9,09 | Запустить | ||
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
32 768 pipeline |
3 | 347,52 ₽ | 1,18 | Запустить | ||
32 768 |
1 | 368,18 ₽ | 1,50 | Запустить | ||
32 768 pipeline |
3 | 388,18 ₽ | 1,18 | Запустить | ||
32 768 tensor |
4 | 417,92 ₽ | 3,81 | Запустить | ||
32 768 |
1 | 423,81 ₽ | 5,73 | Запустить | ||
32 768 tensor |
2 | 440,74 ₽ | 7,19 | Запустить | ||
32 768 tensor |
4 | 514,59 ₽ | 3,81 | Запустить | ||
32 768 pipeline |
6 | 521,74 ₽ | 4,75 | Запустить | ||
32 768 tensor |
8 | 671,74 ₽ | 8,57 | Запустить | ||
32 768 tensor |
2 | 700,74 ₽ | 7,19 | Запустить | ||
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
32 768 pipeline |
3 | 658,44 ₽ | 6,30 | Запустить | ||
32 768 tensor |
2 | 731,81 ₽ | 1,87 | Запустить | ||
32 768 pipeline |
6 | 794,08 ₽ | 1,23 | Запустить | ||
32 768 tensor |
4 | 818,68 ₽ | 13,25 | Запустить | ||
32 768 tensor |
2 | 841,52 ₽ | 10,33 | Запустить | ||
32 768 tensor |
8 | 1 034,08 ₽ | 6,49 | Запустить | ||
32 768 pipeline |
3 | 1 048,44 ₽ | 6,30 | Запустить | ||
32 768 tensor |
4 | 1 338,68 ₽ | 13,25 | Запустить | ||
Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.