Llama-4-Scout-17B-16E-Instruct

мультимодальная
русскоязычная

Llama 4 Scout — это самая легкая модель в новом поколении семейства Llama 4, выпущенном 5 апреля 2025 года. Llama 4 scout имеет архитектуру MoE 16 экспертами, 109 миллиардами параметров из которых постоянно активными являются только 17 миллиардов. Модель поддерживает нативную мультимодальность. Она способна одновременно обрабатывать на входе до 5 изображений плюс текст, что позволяет эффективно использовать её в задачах компьютерного зрения, таких как распознавание объектов, описание изображений и ответы на вопросы по изображениям. Генерация креативного текста, пошаговые рассуждения, программирование также относятся к сильным сторонам модели.

При этом Llama scout может эффективно работать всего на одном GPU H100, что делает ее привлекательной для локального развертывания, а за счет большего количества параметров Llama scout опережает на бенчмарках более легковесные модели в сегменте.

Но, пожалуй, самой главной фишкой модели является поддержка рекордного контекстного окна до 10 миллионов токенов! что делает модель идеально подходящей для работы с большими документами, кодом, многостраничными запросами и продолжительными диалоговыми сессиями.


Дата анонса: 05.04.2025
Параметров: 109B
Экспертов: 16
Активно параметров при инференсе: 17B
Контекст: 10486K
Слоев: 48, с полным вниманием: 12
Тип внимания: Chunked Attention
Разработчик: Meta AI
Версия Transformers: 4.51.0
Версия vLLM: 0.8.3
Лицензия: LLAMA 4

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Llama-4-Scout-17B-16E-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Llama-4-Scout-17B-16E-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
rtx3090-4.16.96.320
250 000
tensor
 4 264,96 ₽ 1,26 Запустить
rtxa5000-6.24.192.160.nvlink
250 000
pipeline
 6 312,70 ₽ 3,52 Запустить
rtx4090-4.16.96.320
250 000
tensor
 4 328,96 ₽ 1,25 Запустить
h100nvl-1.16.96.160
250 000
 1 367,41 ₽ 1,90 Запустить
rtx5090-3.16.96.160
250 000
pipeline
 3 387,41 ₽ 1,49 Запустить
teslaa100-2.24.96.160.nvlink
250 000
tensor
 2 411,81 ₽ 6,06 Запустить
rtxa5000-8.24.256.160.nvlink
250 000
tensor
 8 411,97 ₽ 6,06 Запустить
h200-1.16.128.160
250 000
 1 423,04 ₽ 5,04 Запустить
teslaa100-2.24.256.160
250 000
tensor
 2 439,97 ₽ 6,06 Запустить
rtx5090-4.16.128.160
250 000
tensor
 4 513,04 ₽ 3,35 Запустить
h100-2.24.256.160
250 000
tensor
 2 699,97 ₽ 61,60 6,05 Запустить
h200-2.24.256.160.nvlink
250 000
tensor
 2 839,97 ₽ 14,19 Запустить
teslaa100-8.44.704.160.nvlink
10 485 760
tensor
 8 1 669,81 ₽ 1,04 Запустить
h200-6.52.896.640
10 485 760
pipeline
 6 2 532,67 ₽ 1,44 Запустить
dedicated-h100-8.96.768.5760-1.nvlink
10 485 760
tensor
 8 2 804,12 ₽ 1,04 Запустить
h200-8.52.1024.640
10 485 760
tensor
 8 3 335,19 ₽ 1,96 Запустить
h200-8.52.1024.640.nvlink
10 485 760
tensor
 8 3 335,19 ₽ 1,96 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
h200-1.16.128.240
250 000
 1 423,81 ₽ 1,56 Запустить
teslaa100-2.24.256.240
250 000
tensor
 2 440,74 ₽ 74,86 2,58 Запустить
teslaa100-2.24.256.320.nvlink
250 000
tensor
 2 441,52 ₽ 2,58 Запустить
dedicated-rtx3090-8.64.128.960-1
250 000
tensor
 8 539,21 ₽ 3,15 Запустить
rtx4090-8.44.256.240
250 000
tensor
 8 671,74 ₽ 3,12 Запустить
h100-2.24.256.240
250 000
tensor
 2 700,74 ₽ 68,07 2,57 Запустить
h100nvl-2.24.192.240
250 000
tensor
 2 729,47 ₽ 4,44 Запустить
rtx5090-6.44.256.240
250 000
pipeline
 6 791,74 ₽ 3,60 Запустить
h200-2.24.256.240.nvlink
250 000
tensor
 2 840,74 ₽ 10,71 Запустить
rtx5090-8.44.256.240
250 000
tensor
 8 1 031,74 ₽ 7,33 Запустить
h200-6.52.896.640
10 485 760
pipeline
 6 2 532,67 ₽ 1,34 Запустить
h200-8.52.1024.640
10 485 760
tensor
 8 3 335,19 ₽ 1,86 Запустить
h200-8.52.1024.640.nvlink
10 485 760
tensor
 8 3 335,19 ₽ 1,86 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa100-4.16.256.480
250 000
tensor
 4 818,68 ₽ 5,56 Запустить
h200-2.24.256.320
250 000
tensor
 2 841,52 ₽ 3,52 Запустить
h200-2.24.256.320.nvlink
250 000
tensor
 2 841,52 ₽ 3,52 Запустить
teslaa100-4.32.384.320.nvlink
250 000
tensor
 4 848,44 ₽ 5,56 Запустить
h100nvl-3.24.384.480
250 000
pipeline
 3 1 105,60 ₽ 3,26 Запустить
h100-4.16.256.480
250 000
tensor
 4 1 338,68 ₽ 5,54 Запустить
h100nvl-4.32.384.480
250 000
tensor
 4 1 450,00 ₽ 9,27 Запустить
h200-6.52.896.640
10 485 760
pipeline
 6 2 532,67 ₽ 1,14 Запустить
h200-8.52.1024.640
10 485 760
tensor
 8 3 335,19 ₽ 1,66 Запустить
h200-8.52.1024.640.nvlink
10 485 760
tensor
 8 3 335,19 ₽ 1,66 Запустить

Связанные модели

Llama-4-Maverick-17B-128E-Instruct

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.