Llama-3.3-70B-Instruct

Llama-3.3-70B — новая версия популярной серии llama 3, оптимизированная для диалоговых и ассистентских сценариев. Модель обучена на более чем 15 триллионах токенов из открытых источников, контекстное окно увеличено до 128 тысяч токенов, что позволяет эффективно обрабатывать длинные диалоги и большие тексты. Llama-3.3-70B использует методы supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF) для лучшей адаптации к пользовательским запросам, обеспечивая не только точность, но и безопасность ответов.

Модель распространяется по специальной коммерческой лицензии Llama 3.3 Community License, которая позволяет использовать её как в исследовательских, так и в коммерческих целях, при соблюдении политики допустимого использования. Llama-3.3-70B не предназначена для применения в критических областях (например, медицина, финансы, управление инфраструктурой и т. д.).
Llama-3.3-70B — это мощная языковая модель, оптимизированная для диалоговых и ассистентских задач, идеально подходящая для создания чат-ботов, автоматизации поддержки, по сути она является универсальным инструментом для задач генерации, суммаризации, перевода, написания кода и других применений, где требуется качественная обработка естественного языка.


Дата анонса: 06.12.2024
Параметров: 70B
Контекст: 132K
Слоев: 80
Тип внимания: Full Attention
Разработчик: Meta AI
Версия Transformers: 4.48.0
Лицензия: LLAMA 3.3

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Llama-3.3-70B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Llama-3.3-70B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
rtxa5000-6.24.192.160.nvlink
131 072
pipeline
6 312,70 ₽ 1,88 Запустить
h100nvl-1.16.96.160
131 072
1 367,41 ₽ 1,06 Запустить
teslav100-4.32.96.160
131 072
tensor
4 388,21 ₽ 1,64 Запустить
teslaa100-2.24.96.160.nvlink
131 072
tensor
2 411,81 ₽ 2,49 Запустить
rtxa5000-8.24.256.160.nvlink
131 072
tensor
8 411,97 ₽ 2,83 Запустить
h200-1.16.128.160
131 072
1 423,04 ₽ 2,12 Запустить
rtx5090-4.16.128.160
131 072
tensor
4 513,04 ₽ 1,64 Запустить
rtx4090-6.44.256.160
131 072
pipeline
6 520,97 ₽ 1,88 Запустить
rtx4090-8.44.256.160
131 072
tensor
8 670,97 ₽ 2,83 Запустить
h100-2.24.256.160
131 072
tensor
2 699,97 ₽ 2,49 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslav100-4.32.256.320
131 072
tensor
4 417,92 ₽ 1,00 Запустить
h200-1.16.128.240
131 072
1 423,81 ₽ 1,48 Запустить
teslaa100-2.24.256.240
131 072
tensor
2 440,74 ₽ 1,85 Запустить
rtx5090-4.16.128.320
131 072
tensor
4 514,59 ₽ 1,00 Запустить
rtx4090-6.44.256.240
131 072
pipeline
6 521,74 ₽ 1,24 Запустить
rtx4090-8.44.256.240
131 072
tensor
8 671,74 ₽ 2,19 Запустить
h100-2.24.256.240
131 072
tensor
2 700,74 ₽ 1,85 Запустить
h100nvl-2.24.192.240
131 072
tensor
2 729,47 ₽ 2,48 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa100-3.32.384.320
131 072
pipeline
3 658,44 ₽ 1,69 Запустить
teslaa100-4.16.256.480
131 072
tensor
4 818,68 ₽ 3,42 Запустить
h200-2.24.256.320
131 072
tensor
2 841,52 ₽ 2,69 Запустить
rtx5090-8.44.256.480
131 072
tensor
8 1 034,08 ₽ 1,73 Запустить
h100-3.32.384.320
131 072
pipeline
3 1 048,44 ₽ 1,69 Запустить
h100nvl-3.24.384.480
131 072
pipeline
3 1 105,60 ₽ 2,63 Запустить
h100-4.16.256.480
131 072
tensor
4 1 338,68 ₽ 3,42 Запустить
h100nvl-4.32.384.480
131 072
tensor
4 1 450,00 ₽ 4,68 Запустить

Связанные модели

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.