Qwen2-57B-A14B

русскоязычная

Qwen2-57B-A14B — это крупная языковая модель семейства Qwen2, построенная по принципу Mixture-of-Experts (MoE). Она содержит 57 миллиардов параметров, однако при обработке каждого токена активируется только 14 миллиардов параметров. Такая архитектура позволяет совмещать высокую вычислительную эффективность с качеством генерации, характерным для моделей большего размера. В отличие от классических «плотных» моделей (dense), MoE-модель Qwen2-57B-A14B использует 64 эксперта (экспертных FFN-блоков), из которых одновременно для каждого токена выбираются 8 (плюс 8 общих экспертов), что обеспечивает гибкость и разнообразие комбинаций экспертов.

Благодаря универсальному токенизатору byte-level BPE с расширенным словарём, Qwen2-57B-A14B демонстрирует выдающиеся многоязычные способности и может эффективно работать с текстами на более чем 30 языках, включая английский, китайский, русский, арабский и другие. А обучение на качественных и разнообразных данных позволило Qwen2-57B-A14B демонстрировать выдающиеся результаты как в задачах общей эрудиции и понимании сложных текстов, так и в задачах генерации креативного контента.

Qwen2-57B-A14B идеально подходит интеллектуальных ассистентов, автоматизации программирования и аналитики. Её архитектурные инновации делают модель отличным выбором для корпоративных и исследовательских решений, где важны масштабируемость, гибкость и высокая производительность.


Дата анонса: 27.07.2024
Параметров: 57.41B
Экспертов: 64
Активно параметров при инференсе: 14B
Контекст: 32K
Слоев: 28
Тип внимания: Full Attention
Потребление памяти: 31.0 ГБ в точности 4 бит
Разработчик: Qwen
Версия Transformers: 4.40.1
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2-57B-A14B. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU TPS Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации для хостинга Qwen2-57B-A14B

Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslat4-3.32.64.160
32 768
 32 65536 160 3 78,57 ₽ Запустить
teslaa10-2.16.64.160
32 768
 16 65536 160 2 83,37 ₽ Запустить
teslaa2-3.32.128.160
32 768
 32 131072 160 3 94,64 ₽ Запустить
rtx2080ti-4.16.32.160
32 768
 16 32768 160 4 99,74 ₽ Запустить
rtxa5000-2.16.64.160.nvlink
32 768
 16 65536 160 2 109,77 ₽ Запустить
rtx3090-2.16.64.160
32 768
 16 65536 160 2 149,37 ₽ Запустить
rtx4090-2.16.64.160
32 768
 16 65536 160 2 195,57 ₽ Запустить
teslav100-2.16.64.240
32 768
 16 65535 240 2 198,54 ₽ Запустить
teslaa100-1.16.64.160
32 768
 16 65536 160 1 230,77 ₽ Запустить
rtx5090-2.16.64.160
32 768
 16 65536 160 2 261,77 ₽ Запустить
teslah100-1.16.64.160
32 768
 16 65536 160 1 456,27 ₽ Запустить
h200-1.16.128.160
32 768
 16 131072 160 1 623,04 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa10-3.16.96.160
32 768
 16 98304 160 3 119,81 ₽ Запустить
teslaa2-6.32.128.160
32 768
 32 131072 160 6 147,44 ₽ Запустить
rtxa5000-4.16.128.160.nvlink
32 768
 16 131072 160 4 209,04 ₽ Запустить
rtx3090-3.16.96.160
32 768
 16 98304 160 3 218,81 ₽ Запустить
teslaa100-1.16.64.160
32 768
 16 65536 160 1 230,77 ₽ Запустить
rtx4090-3.16.96.160
32 768
 16 98304 160 3 288,11 ₽ Запустить
teslav100-3.64.256.320
32 768
 64 262144 320 3 347,52 ₽ Запустить
rtx5090-3.16.96.160
32 768
 16 98304 160 3 387,41 ₽ Запустить
teslah100-1.16.64.160
32 768
 16 65536 160 1 456,27 ₽ Запустить
h200-1.16.128.160
32 768
 16 131072 160 1 623,04 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa100-2.24.256.240
32 768
 24 262144 240 2 478,74 ₽ Запустить
h200-1.16.128.240
32 768
 16 131072 240 1 623,81 ₽ Запустить
rtx4090-8.44.256.240
32 768
 44 262144 240 8 766,94 ₽ Запустить
rtx5090-6.44.256.240
32 768
 44 262144 240 6 791,74 ₽ Запустить
teslah100-2.24.256.240
32 768
 24 262144 240 2 929,74 ₽ Запустить

Связанные модели

QwQ
Qwen2-0.5B
Qwen2-1.5B
Qwen2-7B
Qwen2-72B
Qwen2.5-0.5B
Qwen2.5-1.5B
Qwen2.5-3B
Qwen2.5-7B
Qwen2.5-14B
Qwen2.5-32B
Qwen2.5-72B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-VL-3B
Qwen2.5-VL-7B
Qwen2.5-7B-1M

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.