Qwen2.5-7B-Instruct

русскоязычная

Qwen2.5-7B представляет собой модель с 7 миллиардами параметров, 28 слоями и архитектурой 28/4 голов внимания, предлагая существенное расширение возможностей по сравнению с меньшими версиями. Ключевое преимущество этой модели - поддержка расширенного контекстного окна в 128K токенов при сохранении генерации до 8K токенов, что делает ее способной обрабатывать очень длинные документы и сохранять в памяти сложные многоэтапные задачи. 

Qwen2.5-7B отличается значительно улучшенными способностями в математических вычислениях, программировании и логическом рассуждении благодаря включению специализированных данных в процесс предобучения. Также модель демонстрирует существенный прогресс в понимании структурированных данных, включая таблицы и JSON-форматы.

Qwen2.5-7B является оптимальным выбором для большинства бизнес-приложений, требующих высокого качества обработки естественного языка без чрезмерных требований к инфраструктуре. Модель превосходно подходит для автоматизации рабочих процессов, анализа длинных документов и построения интеллектуальных систем поддержки принятия решений.


Дата анонса: 16.09.2024
Параметров: 8B
Контекст: 33K
Слоев: 28
Тип внимания: Full Attention
Разработчик: Qwen
Версия Transformers: 4.43.1
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2.5-7B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Qwen2.5-7B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-1.16.32.160
32 768
1 33,74 ₽ 25.68 2,75 Запустить
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 85.54 6,91 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 179.67 7,46 Запустить
rtx3080-2.16.32.160
32 768
tensor
2 86,54 ₽ 3,23 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 250.00 7,44 Запустить
rtx3090-2.16.64.160.nvlink
32 768
tensor
2 139,77 ₽ 17,90 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 11,56 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 36,74 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 250.00 36,70 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 308.00 44,02 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
2 411,81 ₽ 76,45 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 68,57 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 140,11 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa2-1.16.32.160
32 768
1 33,74 ₽ 18.21 1,96 Запустить
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 61.42 6,10 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 90.01 6,65 Запустить
rtx3080-2.16.32.160
32 768
tensor
2 86,54 ₽ 120.21 3,93 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 102.50 6,68 Запустить
rtx3090-2.16.64.160.nvlink
32 768
tensor
2 139,77 ₽ 18,60 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 11,00 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 128.00 35,91 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 134.38 35,73 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 180.20 43,04 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
2 411,81 ₽ 77,15 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 68,01 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 140,82 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa10-1.16.32.160
32 768
1 46,94 ₽ 30.29 2,46 Запустить
teslaa2-2.16.32.160
32 768
tensor
2 51,34 ₽ 14.69 4,75 Запустить
rtx3090-1.16.24.160
32 768
1 73,73 ₽ 3,01 Запустить
rtx4090-1.16.32.160
32 768
1 91,14 ₽ 61.49 2,99 Запустить
rtx3080-3.16.64.160
32 768
pipeline
3 127,37 ₽ 2,56 Запустить
rtx3090-2.16.64.160.nvlink
32 768
tensor
2 139,77 ₽ 14,17 Запустить
rtx5090-1.16.64.160
32 768
1 141,77 ₽ 7,11 Запустить
rtx3080-4.16.64.160
32 768
tensor
4 162,57 ₽ 7,15 Запустить
teslaa100-1.16.64.160
32 768
1 211,77 ₽ 88.66 32,29 Запустить
h100-1.16.64.160
32 768
1 341,77 ₽ 96.79 32,25 Запустить
h100nvl-1.16.96.160
32 768
1 367,41 ₽ 39,57 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
2 411,81 ₽ 72,73 Запустить
h200-1.16.128.160
32 768
1 423,04 ₽ 64,12 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
2 839,97 ₽ 136,39 Запустить

Связанные модели

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.

Мы используем файлы cookie и сервисы веб-аналитики для обеспечения работы сайта, анализа посещаемости и улучшения качества наших услуг.
Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности и даете согласие на обработку cookie-файлов и технических данных.