Qwen2-1.5B-Instruct

русскоязычная

Qwen2-1.5B является легковесной моделью с 1,5 млрд параметров, предлагающей оптимальный баланс между производительностью и эффективностью использования ресурсов.Модель включает 28 слоёв и использует группированное внимание запросов (GQA) с 12 головами запроса (query heads) и 2 общими головами ключ-значение (key-value heads), что обеспечивает эффективное управление памятью KV-кэша. 

Обученная на 7 триллионах токенов многоязычных данных высокого качества, модель демонстрирует значительно улучшенные возможности в сравнении с предыдущими версиями, особенно в области программирования и математики. Модель поддерживает широкий спектр языков и показывает конкурентные результаты на стандартных бенчмарках, сохраняя при этом относительно низкие требования к вычислительным ресурсам.

Qwen2-1.5B отличается своей универсальностью и способностью эффективно работать как на потребительском железе, так и на небольших серверах. Модель поддерживает контекстное окно в 32K токенов, что позволяет обрабатывать довольно длинные документы и поддерживать сложные диалоги. Модель идеально подходит для извлечения информации из анализа документов, программирования начального уровня, образовательных приложений и корпоративных чат-ботов. Qwen2-1.5B представляет собой отличный выбор для пользователей, которым нужна стабильная языковая модель для простых задач без необходимости в дорогостоящей инфраструктуре GPU.


Дата анонса: 24.07.2024
Параметров: 2B
Контекст: 33K
Слоев: 28
Тип внимания: Full Attention
Разработчик: Qwen
Версия Transformers: 4.40.1
Лицензия: Apache 2.0

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Qwen2-1.5B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Qwen2-1.5B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
 1 29,33 ₽ 10,74 Запустить
rtx2080ti-1.10.16.500
32 768
 1 34,23 ₽ 6,53 Запустить
teslaa2-1.16.32.160
32 768
 1 33,74 ₽ 10,78 Запустить
teslaa10-1.16.32.160
32 768
 1 46,94 ₽ 19,09 Запустить
rtx3080-1.16.32.160
32 768
 1 51,34 ₽ 5,53 Запустить
rtx3090-1.16.24.160
32 768
 1 73,73 ₽ 20,20 Запустить
rtx4090-1.16.32.160
32 768
 1 91,14 ₽ 20,16 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
 2 109,77 ₽ 38,97 Запустить
rtx5090-1.16.64.160
32 768
 1 141,77 ₽ 28,39 Запустить
teslaa100-1.16.64.160
32 768
 1 211,77 ₽ 78,76 Запустить
h100-1.16.64.160
32 768
 1 341,77 ₽ 78,68 Запустить
h100nvl-1.16.96.160
32 768
 1 367,41 ₽ 93,31 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
 2 411,81 ₽ 158,31 Запустить
h200-1.16.128.160
32 768
 1 423,04 ₽ 142,42 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
 2 839,97 ₽ 285,64 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
 1 29,33 ₽ 9,94 Запустить
rtx2080ti-1.10.16.500
32 768
 1 34,23 ₽ 5,74 Запустить
teslaa2-1.16.32.160
32 768
 1 33,74 ₽ 9,98 Запустить
teslaa10-1.16.32.160
32 768
 1 46,94 ₽ 18,29 Запустить
rtx3080-1.16.32.160
32 768
 1 51,34 ₽ 4,74 Запустить
rtx3090-1.16.24.160
32 768
 1 73,73 ₽ 19,40 Запустить
rtx4090-1.16.32.160
32 768
 1 91,14 ₽ 19,36 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
 2 109,77 ₽ 38,17 Запустить
rtx5090-1.16.64.160
32 768
 1 141,77 ₽ 27,59 Запустить
teslaa100-1.16.64.160
32 768
 1 211,77 ₽ 77,96 Запустить
h100-1.16.64.160
32 768
 1 341,77 ₽ 77,88 Запустить
h100nvl-1.16.96.160
32 768
 1 367,41 ₽ 92,51 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
 2 411,81 ₽ 157,51 Запустить
h200-1.16.128.160
32 768
 1 423,04 ₽ 141,62 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
 2 839,97 ₽ 284,84 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-1.16.16.160
32 768
 1 29,33 ₽ 8,25 Запустить
rtx2080ti-1.10.16.500
32 768
 1 34,23 ₽ 4,05 Запустить
teslaa2-1.16.32.160
32 768
 1 33,74 ₽ 8,29 Запустить
teslaa10-1.16.32.160
32 768
 1 46,94 ₽ 16,60 Запустить
rtx3080-1.16.32.160
32 768
 1 51,34 ₽ 3,05 Запустить
rtx3090-1.16.24.160
32 768
 1 73,73 ₽ 17,71 Запустить
rtx4090-1.16.32.160
32 768
 1 91,14 ₽ 17,67 Запустить
rtxa5000-2.16.64.160.nvlink
32 768
tensor
 2 109,77 ₽ 36,49 Запустить
rtx5090-1.16.64.160
32 768
 1 141,77 ₽ 25,90 Запустить
teslaa100-1.16.64.160
32 768
 1 211,77 ₽ 76,27 Запустить
h100-1.16.64.160
32 768
 1 341,77 ₽ 76,19 Запустить
h100nvl-1.16.96.160
32 768
 1 367,41 ₽ 90,82 Запустить
teslaa100-2.24.96.160.nvlink
32 768
tensor
 2 411,81 ₽ 155,82 Запустить
h200-1.16.128.160
32 768
 1 423,04 ₽ 139,93 Запустить
h200-2.24.256.160.nvlink
32 768
tensor
 2 839,97 ₽ 283,15 Запустить

Связанные модели

QwQ-32B
Qwen2-0.5B-Instruct
Qwen2-7B-Instruct
Qwen2-72B-Instruct
Qwen2.5-0.5B-Instruct
Qwen2.5-1.5B-Instruct
Qwen2.5-3B-Instruct
Qwen2.5-7B-Instruct
Qwen2.5-14B-Instruct
Qwen2.5-32B-Instruct
Qwen2.5-72B-Instruct
Qwen2-57B-A14B-Instruct
DeepSeek-R1-Distill-Qwen-32B
DeepSeek-R1-Distill-Qwen-1.5B
Qwen2.5-VL-3B-Instruct
Qwen2.5-VL-7B-Instruct
Qwen2.5-7B-Instruct-1M
avision

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.