Llama 4 Scout — это самая легкая модель в новом поколении семейства Llama 4, выпущенном 5 апреля 2025 года. Llama 4 scout имеет архитектуру MoE 16 экспертами, 109 миллиардами параметров из которых постоянно активными являются только 17 миллиардов. Модель поддерживает нативную мультимодальность. Она способна одновременно обрабатывать на входе до 5 изображений плюс текст, что позволяет эффективно использовать её в задачах компьютерного зрения, таких как распознавание объектов, описание изображений и ответы на вопросы по изображениям. Генерация креативного текста, пошаговые рассуждения, программирование также относятся к сильным сторонам модели.
При этом Llama scout может эффективно работать всего на одном GPU H100, что делает ее привлекательной для локального развертывания, а за счет большего количества параметров Llama scout опережает на бенчмарках более легковесные модели в сегменте.
Но, пожалуй, самой главной фишкой модели является поддержка рекордного контекстного окна до 10 миллионов токенов! что делает модель идеально подходящей для работы с большими документами, кодом, многостраничными запросами и продолжительными диалоговыми сессиями.
| Наименование модели | Контекст | Тип | GPU | TPS | Статус | Ссылка |
|---|---|---|---|---|---|---|
| RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 | 250 000 | Публичный | — | 32.12 | доступен | попробовать |
curl https://chat.immers.cloud/v1/endpoints/Llama-4-Scout-17B-16E-Instruct/generate/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer USER_API_KEY" \
-d '{"model": "Llama-4-Scout-17B-16E-Instruct", "messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"}
], "temperature": 0, "max_tokens": 150}'
$response = Invoke-WebRequest https://chat.immers.cloud/v1/endpoints/Llama-4-Scout-17B-16E-Instruct/generate/chat/completions `
-Method POST `
-Headers @{
"Authorization" = "Bearer USER_API_KEY"
"Content-Type" = "application/json"
} `
-Body (@{
model = "Llama-4-Scout-17B-16E-Instruct"
messages = @(
@{ role = "system"; content = "You are a helpful assistant." },
@{ role = "user"; content = "Say this is a test" }
)
} | ConvertTo-Json)
($response.Content | ConvertFrom-Json).choices[0].message.content
#!pip install OpenAI --upgrade
from openai import OpenAI
client = OpenAI(
api_key="USER_API_KEY",
base_url="https://chat.immers.cloud/v1/endpoints/Llama-4-Scout-17B-16E-Instruct/generate/",
)
chat_response = client.chat.completions.create(
model="Llama-4-Scout-17B-16E-Instruct",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"},
]
)
print(chat_response.choices[0].message.content)
Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.
Мы рекомендуем создание частных инстансов в случаях, если необходимо:
| Наименование | vCPU | ОЗУ, МБ | Диск, ГБ | GPU | |||
|---|---|---|---|---|---|---|---|
| 16 | 98304 | 160 | 3 | 119,81 ₽ | Запустить | ||
| 16 | 98304 | 160 | 3 | 218,81 ₽ | Запустить | ||
| 16 | 131072 | 160 | 1 | 242,04 ₽ | Запустить | ||
| 16 | 98304 | 160 | 3 | 288,11 ₽ | Запустить | ||
| 16 | 98304 | 160 | 3 | 387,41 ₽ | Запустить | ||
| 16 | 131072 | 160 | 1 | 467,54 ₽ | Запустить | ||
Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.