gemma-4-E4B-it

Gemma-4-E4B-it — вторая по размеру среди плотных моделей в новой линейке открытых LLM от google, предлагающая достойную производительность при крайне экономном потреблении ресурсов. Модель использует инновационную технику Per-Layer Embeddings (PLE), которая существенно изменяет подход к построению малых языковых моделей. В стандартных трансформерах каждый токен получает один вектор (эмбеддинг), проходящий через все слои сети. PLE работает иначе: каждый из 42 слоев декодера получает свой собственный небольшой эмбеддинг для каждого токена. Эти эмбеддинги хранятся в больших таблицах (общий объем модели достигает 8 миллиардов параметров), но во время вывода (инференса) активна лишь их эффективная часть — 4.5 миллиарда.

Такая архитектура позволяет модели E4B достигать производительности, сопоставимой с моделями в 2–3 раза большего размера. По отзывам сообщества, E4B уверенно превосходит Gemma-3 27B в ряде задач несмотря на то, что её эффективный размер в 12 раз меньше. Модель поддерживает контекстное окно в 128 тысяч токенов и использует гибридное внимание со скользящим окном на 512 токенов. Ключевым отличием E4B от старшей модели 31B является встроенная поддержка аудио (энкодер на ~300M параметров), что делает модель универсальной – она способна одновременно обрабатывать текст, изображения и звук.

Разработчики позиционируют E4B как модель для сложных локальных задач. Она идеально подходит для использования на высокопроизводительных ноутбуках, мощных мобильных устройствах и встраиваемых системах. Благодаря Apache 2.0, модель можно свободно донастраивать и встраивать в коммерческие продукты, работающие в условиях ограниченной оперативной памяти.

С рекомендации по использованию модели от разработчиков можно ознакомиться по этой ссылке -  https://ai.google.dev/gemma/docs/core/model_card_4?hl=ru

Дата анонса: 02.03.2026
Параметров: 8B
Контекст: 132K
Слоев: 42, с полным вниманием: 4, без внимания: 18
Тип внимания: Sliding Window Attention
Разработчик: Google DeepMind
Версия Transformers: 5.5.0.dev0
Версия vLLM: gemma4
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с gemma-4-E4B-it. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.