Llama-3-8B GPT-4o-RU1.0 — это доработанная (fine-tuned) версия модели Llama-3-8B-Instruct, созданная с целью значительного улучшения работы с русским языком. Ключевая идея разработчика заключалась в формировании обучающего набора данных высокого качества с использованием возможностей GPT-4o — модели OpenAI, известной своими продвинутыми мультиязычными способностями. З основу было взято тщательно очищенное и структурированное подмножество датасета tagengo-gpt4, что позволило добиться высокой эффективности обучения. 80% обучающих примеров были на русском языке, что делает эту модель специализированным инструментом для русскоязычных задач.
С технической точки зрения, обучение проводилось в течение одной эпохи на двух ускорителях NVIDIA A100 с использованием фреймворка Axolotl. Архитектура модели сохраняет базовую структуру Llama 3, при обучении применялись оптимизации: Flash Attention 2 для ускорения обработки, DeepSpeed ZeRO-2 для эффективного распределения памяти. Веса сохранены в формате `bfloat16` для оптимального соотношения производительности и точности.
Качество данной модели подтверждается результатами на бенчмарке MT-Bench (многоязычный тест для оценки диалоговых способностей). На русском языке модель набрала 8.12 балла, что превосходит показатель GPT-3.5-turbo (7.94) и практически вплотную приближается к модели Suzume (8.19), при том, что последняя обучалась на наборе данных в 8 раз большем и более разнообразном. Важно отметить, что, в отличие от многих мультиязычных моделей, где улучшение одного языка может снижать качество на английском, здесь напротив наблюдается прирост английских показателей с 7.98 (у базовой Llama-3) до 8.01, что делает её сбалансированным решением.
Благодаря высокой компетенции в русскоязычных задачах модель отлично подходит для широкого спектра применений в русскоязычном домене.
| Наименование модели | Контекст | Тип | GPU | TPS | Tooling | Статус | Ссылка |
|---|---|---|---|---|---|---|---|
| ruslandev/llama-3-8b-gpt-4o-ru1.0 | 8192 | Публичный | 2×RTX4090 tensor |
94.00 | доступен | чат |
curl https://chat.immers.cloud/v1/endpoints/Llama-3-8B-GPT-4o-RU/generate/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer USER_API_KEY" \
--data-binary @- <<"EOF"
{"model": "Llama-3-8b-GPT-4o-RU", "messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"}
], "temperature": 0, "max_tokens": 150
}
EOF
$response = Invoke-WebRequest https://chat.immers.cloud/v1/endpoints/Llama-3-8B-GPT-4o-RU/generate/chat/completions `
-Method POST `
-Headers @{
"Authorization" = "Bearer USER_API_KEY"
"Content-Type" = "application/json; charset=utf-8"
} `
-Body ([System.Text.Encoding]::UTF8.GetBytes((@{
model = "Llama-3-8b-GPT-4o-RU"
messages = @(
@{ role = "system"; content = "You are a helpful assistant." },
@{ role = "user"; content = "Say this is a test" })
} | ConvertTo-Json -Depth 10)))
([System.Text.Encoding]::UTF8.GetString($response.RawContentStream.ToArray()) | ConvertFrom-Json).choices[0].message.content
#!pip install OpenAI --upgrade
from openai import OpenAI
client = OpenAI(
api_key="USER_API_KEY",
base_url="https://chat.immers.cloud/v1/endpoints/Llama-3-8B-GPT-4o-RU/generate/",
)
chat_response = client.chat.completions.create(
model="Llama-3-8b-GPT-4o-RU",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"},
]
)
print(chat_response.choices[0].message.content)
Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.
Мы рекомендуем создание частных инстансов в случаях, если необходимо:
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
8192 |
1 | 33,74 ₽ | 4,82 | Запустить | ||
8192 |
1 | 46,94 ₽ | 12,09 | Запустить | ||
8192 |
1 | 73,73 ₽ | 13,06 | Запустить | ||
8192 tensor |
2 | 86,54 ₽ | 5,77 | Запустить | ||
8192 |
1 | 91,14 ₽ | 13,03 | Запустить | ||
8192 tensor |
2 | 109,77 ₽ | 29,49 | Запустить | ||
8192 |
1 | 141,77 ₽ | 20,23 | Запустить | ||
8192 |
1 | 211,77 ₽ | 64,30 | Запустить | ||
8192 |
1 | 341,77 ₽ | 64,23 | Запустить | ||
8192 |
1 | 367,41 ₽ | 77,03 | Запустить | ||
8192 tensor |
2 | 411,81 ₽ | 133,91 | Запустить | ||
8192 |
1 | 423,04 ₽ | 120,00 | Запустить | ||
8192 tensor |
2 | 839,97 ₽ | 245,32 | Запустить | ||
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
8192 |
1 | 33,74 ₽ | 2,65 | Запустить | ||
8192 |
1 | 46,94 ₽ | 9,92 | Запустить | ||
8192 |
1 | 73,73 ₽ | 10,90 | Запустить | ||
8192 tensor |
2 | 86,54 ₽ | 3,60 | Запустить | ||
8192 |
1 | 91,14 ₽ | 10,86 | Запустить | ||
8192 tensor |
2 | 109,77 ₽ | 27,32 | Запустить | ||
8192 |
1 | 141,77 ₽ | 18,06 | Запустить | ||
8192 |
1 | 211,77 ₽ | 62,13 | Запустить | ||
8192 |
1 | 341,77 ₽ | 62,07 | Запустить | ||
8192 |
1 | 367,41 ₽ | 74,86 | Запустить | ||
8192 tensor |
2 | 411,81 ₽ | 131,74 | Запустить | ||
8192 |
1 | 423,04 ₽ | 117,84 | Запустить | ||
8192 tensor |
2 | 839,97 ₽ | 243,15 | Запустить | ||
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
8192 tensor |
2 | 83,37 ₽ | 4,88 | Запустить | ||
8192 tensor |
2 | 109,77 ₽ | 4,88 | Запустить | ||
8192 tensor |
4 | 112,24 ₽ | 10,61 | Запустить | ||
8192 tensor |
2 | 139,77 ₽ | 6,84 | Запустить | ||
8192 tensor |
2 | 171,77 ₽ | 6,76 | Запустить | ||
8192 |
1 | 211,77 ₽ | 76,95 | 39,69 | Запустить | |
8192 tensor |
2 | 261,77 ₽ | 21,17 | Запустить | ||
8192 |
1 | 341,77 ₽ | 39,63 | Запустить | ||
8192 |
1 | 367,41 ₽ | 128,54 | 52,43 | Запустить | |
8192 tensor |
2 | 411,81 ₽ | 109,30 | Запустить | ||
8192 |
1 | 423,04 ₽ | 95,40 | Запустить | ||
8192 tensor |
2 | 839,97 ₽ | 220,72 | Запустить | ||
Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.