Qwen2-7B

русскоязычная

Qwen2-7B представляет собой полнофункциональную языковую модель с 7 миллиардами параметров, разработанную для обеспечения высокой производительности в широком спектре задач. Модель содержит 28 слоев, использует 28 голов внимания всего и 4 головы на ключ-значение, что обеспечивает оптимальный баланс между производительностью и эффективностью памяти. Архитектура включает все современные улучшения, включая Grouped Query Attention, Dual Chunk Attention с YARN, и оптимизированные механизмы позиционного кодирования RoPE.

Модель обучена на том же высококачественном датасете объемом 7 триллионов токенов, что и более крупные варианты серии. Это обеспечивает качество ответов модели в различных областях знания и позволяет демонстрировать конкурентные результаты на стандартных бенчмарках. При этом модель поддерживает расширенное контекстное окно 128K и демонстрирует превосходные многоязычные способности.

Qwen2-7B отличается возможностью эффективно работать на GPU среднего класса, делая передовые AI-возможности доступными для более широкого круга пользователей и организаций. Модель подходит для создания приложений, анализ больших документов, исследовательских и образовательных целей, а также служит отличной основой для дообучения под специфические задачи и домены, предлагая хороший компромисс между возможностями и требованиями к ресурсам.


Дата анонса: 24.07.2024
Параметров: 7B
Контекст: 32K
Слоев: 28
Тип внимания: Full Attention
Потребление памяти: 7.5 ГБ в точности 4 бит
Разработчик: Qwen
Версия Transformers: 4.41.2
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2-7B. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU TPS Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации для хостинга Qwen2-7B

Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslat4-1.16.16.160
32 768
 16 16384 160 1 29,33 ₽ Запустить
rtx2080ti-1.10.16.500
32 768
 10 16384 500 1 34,23 ₽ Запустить
teslaa2-1.16.32.160
32 768
 16 32768 160 1 33,74 ₽ Запустить
teslaa10-1.16.32.160
32 768
 16 32768 160 1 46,94 ₽ Запустить
rtx3080-1.16.32.160
32 768
 16 32768 160 1 51,34 ₽ Запустить
rtx3090-1.16.24.160
32 768
 16 24576 160 1 78,53 ₽ Запустить
rtx4090-1.16.32.160
32 768
 16 32768 160 1 103,04 ₽ Запустить
teslav100-1.12.64.160
32 768
 12 65536 160 1 107,57 ₽ Запустить
rtxa5000-2.16.64.160.nvlink
32 768
 16 65536 160 2 109,77 ₽ Запустить
rtx5090-1.16.64.160
32 768
 16 65536 160 1 141,77 ₽ Запустить
teslaa100-1.16.64.160
32 768
 16 65536 160 1 230,77 ₽ Запустить
teslah100-1.16.64.160
32 768
 16 65536 160 1 456,27 ₽ Запустить
h200-1.16.128.160
32 768
 16 131072 160 1 623,04 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslat4-1.16.16.160
32 768
 16 16384 160 1 29,33 ₽ Запустить
teslaa2-1.16.32.160
32 768
 16 32768 160 1 33,74 ₽ Запустить
teslaa10-1.16.32.160
32 768
 16 32768 160 1 46,94 ₽ Запустить
rtx2080ti-2.12.64.160
32 768
 12 65536 160 2 61,37 ₽ Запустить
rtx3090-1.16.24.160
32 768
 16 24576 160 1 78,53 ₽ Запустить
rtx3080-2.16.32.160
32 768
 16 32762 160 2 86,54 ₽ Запустить
rtx4090-1.16.32.160
32 768
 16 32768 160 1 103,04 ₽ Запустить
teslav100-1.12.64.160
32 768
 12 65536 160 1 107,57 ₽ Запустить
rtxa5000-2.16.64.160.nvlink
32 768
 16 65536 160 2 109,77 ₽ Запустить
rtx5090-1.16.64.160
32 768
 16 65536 160 1 141,77 ₽ Запустить
teslaa100-1.16.64.160
32 768
 16 65536 160 1 230,77 ₽ Запустить
teslah100-1.16.64.160
32 768
 16 65536 160 1 456,27 ₽ Запустить
h200-1.16.128.160
32 768
 16 131072 160 1 623,04 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa10-1.16.32.160
32 768
 16 32768 160 1 46,94 ₽ Запустить
teslat4-2.16.32.160
32 768
 16 32768 160 2 48,14 ₽ Запустить
teslaa2-2.16.32.160
32 768
 16 32768 160 2 51,34 ₽ Запустить
rtx2080ti-3.12.24.120
32 768
 12 24576 120 3 74,84 ₽ Запустить
rtx3090-1.16.24.160
32 768
 16 24576 160 1 78,53 ₽ Запустить
rtx4090-1.16.32.160
32 768
 16 32768 160 1 103,04 ₽ Запустить
teslav100-1.12.64.160
32 768
 12 65536 160 1 107,57 ₽ Запустить
rtxa5000-2.16.64.160.nvlink
32 768
 16 65536 160 2 109,77 ₽ Запустить
rtx3080-3.16.64.160
32 768
 16 65536 160 3 127,37 ₽ Запустить
rtx5090-1.16.64.160
32 768
 16 65536 160 1 141,77 ₽ Запустить
teslaa100-1.16.64.160
32 768
 16 65536 160 1 230,77 ₽ Запустить
teslah100-1.16.64.160
32 768
 16 65536 160 1 456,27 ₽ Запустить
h200-1.16.128.160
32 768
 16 131072 160 1 623,04 ₽ Запустить

Связанные модели

QwQ
Qwen2-0.5B
Qwen2-1.5B
Qwen2-72B
Qwen2.5-0.5B
Qwen2.5-1.5B
Qwen2.5-3B
Qwen2.5-7B
Qwen2.5-14B
Qwen2.5-32B
Qwen2.5-72B
Qwen2-57B-A14B
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-VL-3B
Qwen2.5-VL-7B
Qwen2.5-7B-1M

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.