Qwen2-7B представляет собой полнофункциональную языковую модель с 7 миллиардами параметров, разработанную для обеспечения высокой производительности в широком спектре задач. Модель содержит 28 слоев, использует 28 голов внимания всего и 4 головы на ключ-значение, что обеспечивает оптимальный баланс между производительностью и эффективностью памяти. Архитектура включает все современные улучшения, включая Grouped Query Attention, Dual Chunk Attention с YARN, и оптимизированные механизмы позиционного кодирования RoPE.
Модель обучена на том же высококачественном датасете объемом 7 триллионов токенов, что и более крупные варианты серии. Это обеспечивает качество ответов модели в различных областях знания и позволяет демонстрировать конкурентные результаты на стандартных бенчмарках. При этом модель поддерживает расширенное контекстное окно 128K и демонстрирует превосходные многоязычные способности.
Qwen2-7B отличается возможностью эффективно работать на GPU среднего класса, делая передовые AI-возможности доступными для более широкого круга пользователей и организаций. Модель подходит для создания приложений, анализ больших документов, исследовательских и образовательных целей, а также служит отличной основой для дообучения под специфические задачи и домены, предлагая хороший компромисс между возможностями и требованиями к ресурсам.
| Наименование модели | Контекст | Тип | GPU | Статус | Ссылка |
|---|
Для данной модели пока нет публичных эндпоинтов.
Эндпоинт — это сервер с предустановленным программным обеспечением, с помощью которого автоматически скачиваются веса нейросети и запускается OpenAI-совместимый API для обращений к серверу.
Частный эндпоинт создается в проекте пользователя, принадлежит пользователю монопольно и тарифицируется за каждую конфигурацию сервера в соответствии с нашими инфраструктурными тарифами.
Мы рекомендуем создание частных эндпоинтов в случаях, если необходимо:
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
32 768 |
1 | 46,94 ₽ | 29.00 | 3,17 | Запустить | |
32 768 tensor |
2 | 51,34 ₽ | 19.04 | 6,20 | Запустить | |
32 768 |
1 | 73,73 ₽ | 49.42 | 3,72 | Запустить | |
32 768 |
1 | 91,14 ₽ | 3,70 | Запустить | ||
32 768 pipeline |
3 | 127,37 ₽ | 43.47 | 4,59 | Запустить | |
32 768 tensor |
2 | 139,77 ₽ | 15,62 | Запустить | ||
32 768 |
1 | 141,77 ₽ | 7,82 | Запустить | ||
32 768 tensor |
4 | 162,57 ₽ | 10,08 | Запустить | ||
32 768 |
1 | 211,77 ₽ | 90.36 | 33,00 | Запустить | |
32 768 |
1 | 341,77 ₽ | 106.65 | 32,97 | Запустить | |
32 768 |
1 | 367,41 ₽ | 40,28 | Запустить | ||
32 768 tensor |
2 | 411,81 ₽ | 74,18 | Запустить | ||
32 768 |
1 | 423,04 ₽ | 64,83 | Запустить | ||
32 768 tensor |
2 | 839,97 ₽ | 137,84 | Запустить | ||
Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.