Llama-3.1-8B-Instruct

можно попробовать

Meta Llama 3.1 8B впечатляющая и невероятно популярная в сообществе модель с 8 миллиардами параметров является частью инновационной линейки Llama 3.1, которая демонстрирует революционные возможности в области обработки естественного языка и интеллектуального диалога. Архитектурно модель построена на оптимизированной трансформерной архитектуре с использованием передовой технологии Grouped-Query Attention (GQA), которая обеспечивает исключительную масштабируемость инференса. Модель обучалась на более чем 15 триллионах токенов из публично доступных источников, что позволяет ей демонстрировать глубокое понимание контекста и генерировать высококачественные ответы. 

Официально модель поддерживает контекстное окно в 128 тысяч токенов и работу с восемью языками (русский не указан, но модель отлично его понимает). Инструкционная версия модели прошла SFT обучение и обучение с подкреплением на основе человеческой обратной связи (RLHF), что обеспечивает высокий уровень безопасности и соответствие человеческим предпочтениям.

Возможности применения модели поистине безграничны: от создания интеллектуальных диалоговых систем и персональных ассистентов до разработки инструментов для программирования и обработки больших объемов текста. Модель поддерживает нативный вызов функций (tool calling), что позволяет интегрировать ее с внешними сервисами и создавать мощные агентские системы. Благодаря либеральной лицензии Llama 3.1 Community License, модель доступна как для коммерческого, так и для исследовательского использования, это делает Llama 3.1 8B идеальным выбором для разработчиков, исследователей и предприятий, стремящихся внедрить передовые AI-технологии в свои продукты и сервисы.


Дата анонса: 23.07.2024
Параметров: 9B
Контекст: 132K
Слоев: 32
Тип внимания: Full Attention
Разработчик: Meta AI
Версия Transformers: 4.42.3
Лицензия: LLAMA 3.1

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Llama-3.1-8B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU TPS Tooling Статус Ссылка
ruslandev/llama-3-8b-gpt-4o-ru1.0 32 768 Публичный RTX4090 54.00 доступен чат

API доступ к Llama-3.1-8B-Instruct эндпоинтам

curl https://chat.immers.cloud/v1/endpoints/Llama-3-8B-GPT-4o-RU/generate/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer USER_API_KEY" \
-d '{"model": "Llama-3-8B-GPT-4o-RU", "messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"}
], "temperature": 0, "max_tokens": 150}'
$response = Invoke-WebRequest https://chat.immers.cloud/v1/endpoints/Llama-3-8B-GPT-4o-RU/generate/chat/completions `
-Method POST `
-Headers @{
"Authorization" = "Bearer USER_API_KEY"
"Content-Type" = "application/json"
} `
-Body (@{
model = "Llama-3-8B-GPT-4o-RU"
messages = @(
@{ role = "system"; content = "You are a helpful assistant." },
@{ role = "user"; content = "Say this is a test" }
)
} | ConvertTo-Json)
($response.Content | ConvertFrom-Json).choices[0].message.content
#!pip install OpenAI --upgrade

from openai import OpenAI

client = OpenAI(
api_key="USER_API_KEY",
base_url="https://chat.immers.cloud/v1/endpoints/Llama-3-8B-GPT-4o-RU/generate/",
)

chat_response = client.chat.completions.create(
model="Llama-3-8B-GPT-4o-RU",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"},
]
)
print(chat_response.choices[0].message.content)

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Llama-3.1-8B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-2.16.32.160
131 072
tensor
 2 48,14 ₽ 1,15 Запустить
teslaa2-2.16.32.160
131 072
tensor
 2 51,34 ₽ 16,58 1,15 Запустить
rtx2080ti-3.12.24.120
131 072
pipeline
 3 74,84 ₽ 1,05 Запустить
teslaa10-2.16.64.160
131 072
tensor
 2 83,37 ₽ 57,83 2,05 Запустить
rtx2080ti-4.16.32.160
131 072
tensor
 4 99,74 ₽ 1,52 Запустить
teslav100-1.12.64.160
131 072
 1 107,57 ₽ 1,31 Запустить
rtxa5000-2.16.64.160.nvlink
131 072
tensor
 2 109,77 ₽ 72,58 2,05 Запустить
rtx3090-2.16.64.160
131 072
tensor
 2 139,77 ₽ 64,66 2,05 Запустить
rtx5090-1.16.64.160
131 072
 1 141,77 ₽ 124,49 1,31 Запустить
rtx3080-4.16.64.160
131 072
tensor
 4 162,57 ₽ 1,29 Запустить
rtx4090-2.16.64.160
131 072
tensor
 2 171,77 ₽ 98,61 2,05 Запустить
teslaa100-1.16.64.160
131 072
 1 211,77 ₽ 4,01 Запустить
h100-1.16.64.160
131 072
 1 341,77 ₽ 101,66 4,01 Запустить
h100nvl-1.16.96.160
131 072
 1 367,41 ₽ 4,80 Запустить
h200-1.16.128.160
131 072
 1 423,04 ₽ 7,44 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-2.16.32.160
131 072
tensor
 2 48,14 ₽ 0,96 Запустить
teslaa2-2.16.32.160
131 072
tensor
 2 51,34 ₽ 0,96 Запустить
teslaa10-2.16.64.160
131 072
tensor
 2 83,37 ₽ 1,86 Запустить
rtx2080ti-4.16.32.160
131 072
tensor
 4 99,74 ₽ 1,32 Запустить
teslav100-1.12.64.160
131 072
 1 107,57 ₽ 1,12 Запустить
rtxa5000-2.16.64.160.nvlink
131 072
tensor
 2 109,77 ₽ 1,86 Запустить
rtx3090-2.16.64.160
131 072
tensor
 2 139,77 ₽ 1,86 Запустить
rtx5090-1.16.64.160
131 072
 1 141,77 ₽ 1,12 Запустить
rtx3080-4.16.64.160
131 072
tensor
 4 162,57 ₽ 1,10 Запустить
rtx4090-2.16.64.160
131 072
tensor
 2 171,77 ₽ 1,86 Запустить
teslaa100-1.16.64.160
131 072
 1 211,77 ₽ 3,82 Запустить
h100-1.16.64.160
131 072
 1 341,77 ₽ 3,82 Запустить
h100nvl-1.16.96.160
131 072
 1 367,41 ₽ 4,60 Запустить
h200-1.16.128.160
131 072
 1 423,04 ₽ 7,25 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslat4-3.32.64.160
131 072
pipeline
 3 78,57 ₽ 1,23 Запустить
teslaa10-2.16.64.160
131 072
tensor
 2 83,37 ₽ 1,38 Запустить
teslat4-4.16.64.160
131 072
tensor
 4 85,77 ₽ 1,97 Запустить
teslaa2-3.32.128.160
131 072
pipeline
 3 94,64 ₽ 1,23 Запустить
rtxa5000-2.16.64.160.nvlink
131 072
tensor
 2 109,77 ₽ 1,38 Запустить
teslaa2-4.32.128.160
131 072
tensor
 4 112,24 ₽ 1,97 Запустить
rtx3090-2.16.64.160
131 072
tensor
 2 139,77 ₽ 1,38 Запустить
rtx4090-2.16.64.160
131 072
tensor
 2 171,77 ₽ 1,38 Запустить
teslav100-2.16.64.240
131 072
tensor
 2 198,54 ₽ 2,28 Запустить
teslaa100-1.16.64.160
131 072
 1 211,77 ₽ 76,95 3,34 Запустить
rtx5090-2.16.64.160
131 072
tensor
 2 261,77 ₽ 2,28 Запустить
h100-1.16.64.160
131 072
 1 341,77 ₽ 83,79 3,34 Запустить
h100nvl-1.16.96.160
131 072
 1 367,41 ₽ 128,54 4,13 Запустить
h200-1.16.128.160
131 072
 1 423,04 ₽ 6,77 Запустить

Связанные модели

Llama-3.3-70B
Llama-3-8B-Instruct

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.