granite-4.0-h-tiny

Granite-4.0-H-Tiny представляет компактную гибридную модель смеси экспертов с 7 миллиардами общих параметров и всего 1 миллиардом активных параметров во время инференса. Архитектурно H-Tiny повторяет структуру H-Small с тем же соотношением 9:1 между Mamba-2 и трансформерными слоями, но использует меньшее количество параметров в каждом слое. Модель обучена на корпусе из 22 триллионов токенов, что обеспечивает высокое качество на корпоративных задачах несмотря на компактный размер. Поддерживается контекст до 128K токенов с теоретической возможностью расширения благодаря константным требованиям к памяти у Mamba-2.

Производительность H-Tiny впечатляет. На бенчмарке IFEval модель достигает результата 81.44% в среднем значении, в задачах MMLU модель показывает 68.65%, демонстрируя сильные способности в понимании и рассуждениях.

Эта модель специально разработана для edge-развертываний, локальных приложений и сценариев с низкой задержкой, где критичны скорость отклика и минимальные требования к ресурсам. По сведениям разработчиков модель требует всего 8 GB памяти в 8-битном режиме, что позволяет запускать ее на потребительских GPU типа RTX 3060 с 12GB памяти. В корпоративных сценариях H-Tiny рекомендуется использовать как быстрый компонент для выполнения специфических задач в составе более крупных агентских систем, а также в сценариях, где важно соблюдение требований к конфиденциальности данных. Например, модель может обрабатывать function calling, извлечение данных и их обезличивание или классификацию, передавая более сложные задачи рассуждений другим моделям системы.

Дата анонса: 02.10.2025
Параметров: 7B
Экспертов: 64
Активно параметров при инференсе: 1B
Контекст: 132K
Слоев: 40, с полным вниманием: 4
Тип внимания: Mamba Attention
Разработчик: IBM
Версия Transformers: 4.56.0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с granite-4.0-h-tiny. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.