granite-4.0-h-small

Granite-4.0-H-Small является флагманской моделью семейства, представляющей собой гибридную MoE-модель с 32 млрд общих параметров и 9 млрд активных параметров во время инференса. Архитектурно модель сочетает блоки Mamba-2 с трансформер-блоками в соотношении 9:1. Суть подхода заключается в том, что Mamba-2 эффективно обрабатывает глобальный контекст с линейной сложностью вычислений, периодически передавая информацию трансформерным блокам для более детального анализа локального контекста через механизм self-attention. В отличие от традиционных трансформеров, где вычислительные затраты растут квадратично с увеличением длины последовательности, Mamba-2 масштабируется линейно, а требования к памяти остаются константными независимо от контекста. Модель использует fine-grained mixture of experts с общими экспертами, которые активируются постоянно, что повышает эффективность использования параметров. Важной особенностью является отсутствие позиционного кодирования (NoPE), так как Mamba изначально сохраняет информацию о порядке токенов благодаря последовательной обработке.

На бенчмарке IFEval (измеряет способность следовать инструкциям) модель достигает 0.89 баллов, превосходя все открытые модели за исключением Llama 4 Maverick с 402 млрд параметров — модели в 12 раз крупнее. Модель также показывает превосходные результаты на MTRAG — бенчмарке для сложных задач RAG с множественными оборотами, неотвечаемыми вопросами и информацией из различных доменов.  На Berkeley Function Calling Leaderboard v3 (BFCL) она демонстрирует конкурентоспособные результаты с гораздо более крупными моделями.

Эта модель разработана как рабочая лошадка для ключевых корпоративных задач, таких как RAG (Retrieval-Augmented Generation) и агентские рабочие процессы, при этом распространяется по открытой лицензии apache-2.0, отвечает международным стандартам безопасного ИИ, отлично масштабируется по контексту и одновременным потокам (batch size) и, что немаловажно, существенно менее требовательная к ресурсам чем другие модели схожего размера.

Дата анонса: 02.10.2025
Параметров: 32.2B
Экспертов: 72
Активно параметров при инференсе: 9B
Контекст: 131K
Слоев: 40, с полным вниманием: 4
Тип внимания: Mamba Attention
Потребление памяти: 30.7 ГБ в точности 4 бит
Разработчик: IBM
Версия Transformers: 4.56.0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с granite-4.0-h-small. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.