05.08.2025 OpenAI представила первую после легендарной GPT-2 серию открытых моделей gpt-oss, таким образом ворвавшись в конкурентный рынок open-source llm. GPT-OSS-120B флагманская модель в серии с 116.8B общих параметров и инновационной Mixture-of-Experts архитектурой, которая активирует лишь 5.1B параметров на токен, и использует нативную MXFP4 квантизацию, что позволяет обеспечивать эффективную работу даже на единственном 80GB GPU.
Архитектура модели включает 36 скрытых слоев с 128 экспертами, из которых активируются лишь топ-4 эксперта. При этом в структуре модели предусмотрено последовательное чередование полных и оконных attention-слоев с шириной окна 128 токенов и использование Grouped Query Attention с 8 key-value головами. Каждая из 64 голов внимания имеет обучаемое смещение, которое подобно механизмам off-by-one attention и attention sink позволяет модели "понижать" значимость определённых токенов, почти полностью игнорируя их. Это архитектурные инновации позволяют модели эффективно управлять вниманием, оптимизировать расходы VRAM и легко поддерживать контекст до 131,072 токенов (через YaRN расширение).
Модель обучена с использованием нового специального формата Harmony Chat, который включает иерархию ролей (Система > Разработчик > Пользователь > Ассистент > Инструмент), которая позволяет модели разрешать «конфликты в инструкциях», а также инновационную систему каналов для разделения и адресации генерируемого вывода: analysis — для цепочек рассуждений (CoT), commentary — для вызовов инструментов, final — для финальных ответов, видимых пользователю. Этот подход позволяет модели эффективно управлять генерацией ответа, например встраивать вызов функции непосредственно в ходе рассуждения или же удалять предыдущее рассуждение роли ассистент из контекста диалога. Еще одной новеллой модели является variable effort reasoning - трехуровневая система рассуждений (low, medium, high) для гибкой настройки расходов на reasoning, что позволяет пользователю, исходя из сложности задач, установить баланс между скоростью и точностью.
В области практических применений GPT-OSS-120B демонстрирует впечатляющие результаты, по многим показателям превосходя OpenAI o3-mini и приближаясь к цифрам o4-mini на ключевых бенчмарках. На математических олимпиадах AIME 2024 и 2025 модель показывает 96.6% и 97.9%. Агентские возможности модели раскрываются через её исключительную способность к использованию инструментов: веб-поиска, выполнения Python кода в Jupyter-среде и вызова произвольных пользовательских функций. На Codeforces модель достигает рейтинга 2622, на SWE-Bench Verified показывает 62.4% точности, превосходя o3-mini на 13 процентных пунктов, а на Tau-Bench Retail демонстрирует 67.8% точности в задачах вызова функций.
Модель распространяется под открытой лицензией Apache 2.0 (с некоторыми дополнениями) и интегрирована с ведущими платформами и производителями GPU, что позволяет реализовать ее быстрое развертывание и интеграцию в исследовательские проекты или коммерческие продукты.
| Наименование модели | Контекст | Тип | GPU | TPS | Статус | Ссылка |
|---|---|---|---|---|---|---|
| openai/gpt-oss-120b | 131 072 | Публичный | TeslaH200 | 108.80 | доступен | чат |
curl https://chat.immers.cloud/v1/endpoints/gpt-oss-120b/generate/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer USER_API_KEY" \
-d '{"model": "gpt-oss-120b", "messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"}
], "temperature": 0, "max_tokens": 150}'
$response = Invoke-WebRequest https://chat.immers.cloud/v1/endpoints/gpt-oss-120b/generate/chat/completions `
-Method POST `
-Headers @{
"Authorization" = "Bearer USER_API_KEY"
"Content-Type" = "application/json"
} `
-Body (@{
model = "gpt-oss-120b"
messages = @(
@{ role = "system"; content = "You are a helpful assistant." },
@{ role = "user"; content = "Say this is a test" }
)
} | ConvertTo-Json)
($response.Content | ConvertFrom-Json).choices[0].message.content
#!pip install OpenAI --upgrade
from openai import OpenAI
client = OpenAI(
api_key="USER_API_KEY",
base_url="https://chat.immers.cloud/v1/endpoints/gpt-oss-120b/generate/",
)
chat_response = client.chat.completions.create(
model="gpt-oss-120b",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"},
]
)
print(chat_response.choices[0].message.content)
Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.
Мы рекомендуем создание частных инстансов в случаях, если необходимо:
| Наименование | vCPU | ОЗУ, МБ | Диск, ГБ | GPU | |||
|---|---|---|---|---|---|---|---|
131 072 |
32 | 131072 | 160 | 6 | 147,44 ₽ | Запустить | |
131 072 |
16 | 131072 | 160 | 4 | 156,24 ₽ | Запустить | |
131 072 |
16 | 131072 | 160 | 4 | 209,04 ₽ | Запустить | |
131 072 |
16 | 131072 | 160 | 1 | 242,04 ₽ | Запустить | |
131 072 |
16 | 98304 | 320 | 4 | 284,16 ₽ | Запустить | |
131 072 |
64 | 262144 | 320 | 3 | 347,52 ₽ | Запустить | |
131 072 |
16 | 98304 | 320 | 4 | 376,56 ₽ | Запустить | |
131 072 |
16 | 98304 | 160 | 3 | 387,41 ₽ | Запустить | |
131 072 |
16 | 131072 | 160 | 1 | 467,54 ₽ | Запустить | |
131 072 |
16 | 131072 | 160 | 1 | 623,04 ₽ | Запустить | |
| Наименование | vCPU | ОЗУ, МБ | Диск, ГБ | GPU | |||
|---|---|---|---|---|---|---|---|
131 072 |
24 | 262144 | 240 | 2 | 478,74 ₽ | Запустить | |
131 072 |
44 | 262144 | 240 | 6 | 593,14 ₽ | Запустить | |
131 072 |
16 | 131072 | 240 | 1 | 623,81 ₽ | Запустить | |
131 072 |
44 | 262144 | 240 | 6 | 791,74 ₽ | Запустить | |
131 072 |
24 | 262144 | 240 | 2 | 929,74 ₽ | Запустить | |
Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.