Qwen2-57B-A14B

русскоязычная

Qwen2-57B-A14B — это крупная языковая модель семейства Qwen2, построенная по принципу Mixture-of-Experts (MoE). Она содержит 57 миллиардов параметров, однако при обработке каждого токена активируется только 14 миллиардов параметров. Такая архитектура позволяет совмещать высокую вычислительную эффективность с качеством генерации, характерным для моделей большего размера. В отличие от классических «плотных» моделей (dense), MoE-модель Qwen2-57B-A14B использует 64 эксперта (экспертных FFN-блоков), из которых одновременно для каждого токена выбираются 8 (плюс 8 общих экспертов), что обеспечивает гибкость и разнообразие комбинаций экспертов.

Благодаря универсальному токенизатору byte-level BPE с расширенным словарём, Qwen2-57B-A14B демонстрирует выдающиеся многоязычные способности и может эффективно работать с текстами на более чем 30 языках, включая английский, китайский, русский, арабский и другие. А обучение на качественных и разнообразных данных позволило Qwen2-57B-A14B демонстрировать выдающиеся результаты как в задачах общей эрудиции и понимании сложных текстов, так и в задачах генерации креативного контента.

Qwen2-57B-A14B идеально подходит интеллектуальных ассистентов, автоматизации программирования и аналитики. Её архитектурные инновации делают модель отличным выбором для корпоративных и исследовательских решений, где важны масштабируемость, гибкость и высокая производительность.


Дата анонса: 27.07.2024
Параметров: 57.41B
Экспертов: 64
Активно параметров при инференсе: 14B
Контекст: 32K
Тип внимания: Full Attention
Потребление памяти: 28.5 ГБ в точности 4 бит
Разработчик: Alibaba
Версия Transformers: 4.40.1
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Qwen2-57B-A14B.
Наименование модели Контекст Тип GPU TPS Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации для хостинга Qwen2-57B-A14B

Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa2-2.16.32.160 16 32768 160 2 51,34 ₽ Запустить
teslat4-2.16.32.160 16 32768 160 2 71,14 ₽ Запустить
teslaa10-2.16.64.160 16 65536 160 2 83,37 ₽ Запустить
rtx2080ti-3.16.64.160 16 65536 160 3 84,47 ₽ Запустить
teslav100-1.12.64.160 12 65536 160 1 107,57 ₽ Запустить
rtx5090-1.16.64.160 16 65536 160 1 141,77 ₽ Запустить
rtx3090-2.16.64.160 16 65536 160 2 149,37 ₽ Запустить
rtx3080-4.16.64.160 16 65536 160 4 162,57 ₽ Запустить
rtx4090-2.16.64.160 16 65536 160 2 195,57 ₽ Запустить
teslaa100-1.16.64.160 16 65536 160 1 230,77 ₽ Запустить
teslah100-1.16.64.160 16 65536 160 1 456,27 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa10-3.16.96.160 16 98304 160 3 119,81 ₽ Запустить
teslat4-4.16.64.160 16 65536 160 4 131,77 ₽ Запустить
teslav100-2.16.64.240 16 65535 240 2 198,54 ₽ Запустить
rtx3090-3.16.96.160 16 98304 160 3 218,81 ₽ Запустить
teslaa100-1.16.64.160 16 65536 160 1 230,77 ₽ Запустить
rtx5090-2.16.64.160 16 65536 160 2 261,77 ₽ Запустить
rtx4090-3.16.96.160 16 98304 160 3 288,11 ₽ Запустить
teslah100-1.16.64.160 16 65536 160 1 456,27 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa100-2.24.256.240 24 262144 240 2 478,74 ₽ Запустить
rtx5090-4.16.128.320 16 131072 320 4 514,59 ₽ Запустить
teslah100-2.24.256.240 24 262144 240 2 929,74 ₽ Запустить

Связанные модели

QwQ
Qwen2-0.5B
Qwen2-1.5B
Qwen2-7B
Qwen2-72B
Qwen2.5-0.5B
Qwen2.5-1.5B
Qwen2.5-3B
Qwen2.5-7B
Qwen2.5-14B
Qwen2.5-32B
Qwen2.5-72B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-VL-3B
Qwen2.5-VL-7B
Qwen2.5-7B-1M

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.