Llama-3.3-70B-Instruct

Llama-3.3-70B — новая версия популярной серии llama 3, оптимизированная для диалоговых и ассистентских сценариев. Модель обучена на более чем 15 триллионах токенов из открытых источников, контекстное окно увеличено до 128 тысяч токенов, что позволяет эффективно обрабатывать длинные диалоги и большие тексты. Llama-3.3-70B использует методы supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF) для лучшей адаптации к пользовательским запросам, обеспечивая не только точность, но и безопасность ответов.

Модель распространяется по специальной коммерческой лицензии Llama 3.3 Community License, которая позволяет использовать её как в исследовательских, так и в коммерческих целях, при соблюдении политики допустимого использования. Llama-3.3-70B не предназначена для применения в критических областях (например, медицина, финансы, управление инфраструктурой и т. д.).
Llama-3.3-70B — это мощная языковая модель, оптимизированная для диалоговых и ассистентских задач, идеально подходящая для создания чат-ботов, автоматизации поддержки, по сути она является универсальным инструментом для задач генерации, суммаризации, перевода, написания кода и других применений, где требуется качественная обработка естественного языка.


Дата анонса: 06.12.2024
Параметров: 70B
Контекст: 132K
Слоев: 80
Тип внимания: Full Attention
Разработчик: Meta AI
Версия Transformers: 4.48.0
Лицензия: LLAMA 3.3

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Llama-3.3-70B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.
Наименование модели Контекст Тип GPU Статус Ссылка
Для данной модели пока нет публичных эндпоинтов.

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации сервера для хостинга Llama-3.3-70B-Instruct

Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
h100nvl-1.16.96.160
131 072
1 367,41 ₽ 1,14 Запустить
teslaa100-2.24.96.160.nvlink
131 072
tensor
2 411,81 ₽ 2,55 Запустить
h200-1.16.128.160
131 072
1 423,04 ₽ 2,21 Запустить
teslaa100-2.24.256.160
131 072
tensor
2 439,97 ₽ 2,55 Запустить
rtx5090-4.16.128.160
131 072
tensor
4 513,04 ₽ 1,62 Запустить
rtx4090-6.44.256.160
131 072
pipeline
6 520,97 ₽ 1,68 Запустить
dedicated-rtx3090-8.64.128.960-1
131 072
tensor
8 539,21 ₽ 2,73 Запустить
rtx4090-8.44.256.160
131 072
tensor
8 670,97 ₽ 2,72 Запустить
h100-2.24.256.160
131 072
tensor
2 699,97 ₽ 2,55 Запустить
h200-2.24.256.160.nvlink
131 072
tensor
2 839,97 ₽ 5,34 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
h200-1.16.128.240
131 072
1 423,81 ₽ 1,46 Запустить
teslaa100-2.24.256.240
131 072
tensor
2 440,74 ₽ 34.80 1,85 Запустить
teslaa100-2.24.256.320.nvlink
131 072
tensor
2 441,52 ₽ 1,85 Запустить
rtx4090-6.44.256.240
131 072
pipeline
6 521,74 ₽ 1,05 Запустить
dedicated-rtx3090-8.64.128.960-1
131 072
tensor
8 539,21 ₽ 2,15 Запустить
rtx4090-8.44.256.240
131 072
tensor
8 671,74 ₽ 2,14 Запустить
h100-2.24.256.240
131 072
tensor
2 700,74 ₽ 39.84 1,84 Запустить
h100nvl-2.24.192.240
131 072
tensor
2 729,47 ₽ 59.71 2,48 Запустить
rtx5090-6.44.256.240
131 072
pipeline
6 791,74 ₽ 2,08 Запустить
h200-2.24.256.240.nvlink
131 072
tensor
2 840,74 ₽ 4,61 Запустить
rtx5090-8.44.256.240
131 072
tensor
8 1 031,74 ₽ 3,58 Запустить
Цены:
Наименование GPU Цена, час TPS Параллельность (макс.)
teslaa100-3.32.384.240
131 072
pipeline
3 657,66 ₽ 1,89 Запустить
teslaa100-4.16.256.240
131 072
tensor
4 816,34 ₽ 3,70 Запустить
h200-2.24.256.240
131 072
tensor
2 840,74 ₽ 2,99 Запустить
h200-2.24.256.240.nvlink
131 072
tensor
2 840,74 ₽ 2,99 Запустить
teslaa100-4.32.384.320.nvlink
131 072
tensor
4 848,44 ₽ 3,70 Запустить
rtx5090-8.44.256.240
131 072
tensor
8 1 031,74 ₽ 1,87 Запустить
h100-3.32.384.240
131 072
pipeline
3 1 047,66 ₽ 12.26 1,88 Запустить
h100nvl-3.24.384.480
131 072
pipeline
3 1 105,60 ₽ 2,83 Запустить
h100-4.16.256.240
131 072
tensor
4 1 336,34 ₽ 3,69 Запустить
h100nvl-4.32.384.320
131 072
tensor
4 1 448,44 ₽ 4,97 Запустить

Связанные модели

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.

Мы используем файлы cookie и сервисы веб-аналитики для обеспечения работы сайта, анализа посещаемости и улучшения качества наших услуг.
Продолжая использовать сайт, вы соглашаетесь с Политикой конфиденциальности и даете согласие на обработку cookie-файлов и технических данных.