Графические серверы с NVIDIA H100 NVL 94GB
Все графические серверы с NVIDIA H100 NVL 94GB построены на базе двух центральных процессоров Intel Xeon Gold 3-го поколения — 6336Y, с базовой тактовой частотой 2,4 ГГц и максимальной тактовой частотой с технологией Turbo Boost 3,6 ГГц.
Каждый процессор содержит два блока Intel® AVX-512 и поддерживает функции Intel® AVX-512 Deep Learning Boost. Инструкции данного набора многократно ускоряют операции умножения и сложения с пониженной точностью, которые используются во многих внутренних циклах алгоритма глубокого обучения.
Каждый сервер имеет до 4096 ГБ оперативной памяти DDR4 ECC Reg 3200 МГц. Локальное хранилище общей емкостью 3200 ГБ, организовано на твердотельных накопителях Samsung, разработанных специально для дата-центров.
GPU NVIDIA H100 NVL 94GB
Ускорьте свой переход в новую эпоху работы с искусственным интеллектом благодаря новейшим чипам H100 с тензорными ядрами четвертого поколения.
Графические процессоры H100, оснащенные тензорными ядрами четвертого поколения и Transformer Engine с точностью FP8, ускоряют обучение до 9 раз по сравнению с предыдущим поколением для коллективных экспертных моделей (MoE).
Тензорные ядра четвертого поколения ускоряют все типы точности, включая FP64, TF32, FP32, FP16 и INT8, а Transformer Engine использует FP8 и FP16 вместе, чтобы сократить использование памяти и повысить производительность, сохраняя при этом точность для больших языковых моделей.
| Объем видеопамяти |
94 ГБ |
| Тип видеопамяти |
HBM3 |
| Пропускная способность памяти |
4 ТБ/с |
| Тензорные ядра |
4-го поколения |
| Поддержка драйвером |
R535 или новее |
Тесты производительности GPU
Результаты тестов производительности в виртуальной среде для 1 карты NVIDIA H100 NVL 94GB.
-
Matrix multiply example
GFlop/s
-
Hashcat bcrypt
H/s
Базовые конфигурации с NVIDIA H100 NVL 94GB
↔
Индивидуальная конфигурация
100% производительности
Мы закрепляем физические ядра процессора и графические адаптеры только за одним клиентом.
Это значит, что:
- Ядра процессора будут доступны на 100% процессорного времени;
- Выбранный графический ускоритель будет зарезервирован только за вашим сервером;
- Вы получите высокую производительность при работе с системой хранения.
Тестирование виртуальных серверов с локальными загрузочными дисками показывает до 75 000 IOPS1 на случайные операции чтения и до 20 000 IOPS на случайные операции записи.
Тестирование виртуальных серверов с сетевыми загрузочными дисками показывает до 70 000 IOPS1 на случайные операции чтения и до 60 000 IOPS на случайные операции записи.
Иммерсионное охлаждение обеспечивает минимальную температуру и гарантирует стабильность и более высокие тактовые частоты для каждого ядра центрального процессора или графического чипа.
Готовые образы с нужным ПО
Создавайте виртуальные серверы на базе любой из предустановленных операционных систем с необходимым набором.
Посмотрите все предустановленные образы
в Маркетплейсе.
Оригинальный API OpenStack
Для разработчиков и системных администраторов доступно управление облаком с помощью полноценного API OpenStack.
Пример аутентификации ninja_user:
$ curl -g -i -X POST https://api.immers.cloud:5000/v3/auth/tokens \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "User-Agent: YOUR-USER-AGENT" \
-d '{"auth": {"identity": {"methods": ["password"], "password": {"user": { "name": "ninja_user", "password": "ninja_password", "domain": {"id": "default"}}}}, "scope": {"project": {"name": "ninja_user", "domain": {"id": "default"}}}}}'
Пример создания ninja_vm:
$ curl -g -i -X POST https://api.immers.cloud:8774/v2.1/servers \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "User-Agent: YOUR-USER-AGENT" \
-H "X-Auth-Token: YOUR-API-TOKEN" \
-d '{"server": {"name": "ninja_vm", "imageRef": "8b85e210-d2c8-490a-a0ba-dc17183c0223", "key_name": "mykey01", "flavorRef": "8f9a148d-b258-42f7-bcc2-32581d86e1f1", "max_count": 1, "min_count": 1, "networks": [{"uuid": "cc5f6f4a-2c44-44a4-af9a-f8534e34d2b7"}]}}'
Пример выключения ninja_vm:
$ curl -g -i -X POST https://api.immers.cloud:8774/v2.1/servers/{server_id}/action \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "User-Agent: YOUR-USER-AGENT" \
-H "X-Auth-Token: YOUR-API-TOKEN" \
-d '{"os-stop" : null}'
Пример включения ninja_vm:
$ curl -g -i -X POST https://api.immers.cloud:8774/v2.1/servers/{server_id}/action \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "User-Agent: YOUR-USER-AGENT" \
-H "X-Auth-Token: YOUR-API-TOKEN" \
-d '{"os-start" : null}'
Пример остановки и освобождения ресурсов ninja_vm (остановка тарификации):
$ curl -g -i -X POST https://api.immers.cloud:8774/v2.1/servers/{server_id}/action \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "User-Agent: YOUR-USER-AGENT" \
-H "X-Auth-Token: YOUR-API-TOKEN" \
-d '{"shelve" : null}'
Пример удаления ninja_vm:
$ curl -g -i -X DELETE https://api.immers.cloud:8774/v2.1/servers/{server_id} \
-H "User-Agent: YOUR-USER-AGENT" \
-H "X-Auth-Token: YOUR-API-TOKEN"
Вся документация
Подпишитесь на нашу рассылку
Получайте уведомления о новых акциях и спецпредложениях на электронную почту.
