gemma-4-12B-it

Gemma 4 12B — это плотная мультимодальная модель с единой (Unified) архитектурой без энкодеров. Модель занимает промежуточное положение между компактной E4B для мобильных устройств и более мощной 26B A4B MoE, заполняя нишу среднего класса, оптимизированного для запуска на потребительских ноутбуках с 16 ГБ видеопамяти.

Главное отличие Gemma 4 12B от остальных моделей семейства — полностью бесэнкодерная архитектура: вместо отдельных визуального и аудиоэнкодеров модель использует линейные проекции, через которые сырые патчи изображений и аудиоволны напрямую подаются в единый декодер. Это первая модель среднего размера в линейке Gemma с нативной поддержкой аудиовхода, что делает её уникальным решением для локального мультимодального AI. Все модальности протекают через единый decoder-only трансформер, что снижает задержку и позволяет файнтюнить всю модель за один проход — нет необходимости согласовывать отдельные замороженные энкодеры.

В основе декодера Gemma 4 12B, как и других моделей семейства лежит механизм гибридного внимания (hybrid attention), в котором чередуются слои с локальным скользящим окном внимания (sliding window, 1024 токена) и слои с полным глобальным вниманием. Эти слои используют так называемые гетероморфные головы — с разным размером в рамках одной модели. Локальные слои обеспечивают скорость и малый объём памяти, поскольку каждый токен видит только соседние только в рамках окна, тогда как глобальные слои охватывают весь контекст целиком, обеспечивая глубокое понимание длинных зависимостей.

Модель поддерживает обработку текста, изображений, видео и аудио. Встроенный режим мышления (thinking mode) позволяет модели пошагово рассуждать перед выдачей ответа, что критически важно для сложных задач. Модель также поддерживает function calling для агентных сценариев, переменное разрешение изображений и мультиязычность (140+ языков на претрейне, 35+ языков из коробки). Для ускорения инференса предусмотрена поддержка Multi-Token Prediction (MTP), что значительно снижает задержку генерации без потери качества. Словарь составляет 262K токенов, а окно контекста достигает 256K токенов.

На ключевых бенчмарках Gemma 4 12B демонстрирует результаты, близкие к значительно более крупной 26B A4B MoE. На AIME 2026 (математическое рассуждение повышенной сложности) модель набирает 77.5%, почти вчетверо превосходя результат Gemma 3 27B (20.8%). На GPQA Diamond (экспертные вопросы уровня PhD по физике, химии и биологии) модель достигает 78.8% — выдающийся результат для 12B-модели, обгоняющий многие модели большего размера. LiveCodeBench v6 (генерация кода в реальных условиях) — 72.0%, Codeforces ELO — 1659, что подтверждает сильные способности в программировании. В мультимодальных тестах: MMMU Pro (универсальное понимание изображений) — 69.1%, MATH-Vision (математика на изображениях) — 79.7%, MMMLU (мультиязычные знания) — 83.4%. На бенчмарке CoVoST (аудиоперевод) модель показывает лучший результат среди всех моделей линейки Gemma (38.5%).

Сценарии использования модели определяются тремя ключевыми факторами: компактность, мультимодальность с нативным аудио и агентные способности. Gemma 4 12B идеально подходит для локальных агентных систем — от автономных кодинг-ассистентов до мультимодальных ИИ-помощников с голосовым вводом. Модель эффективна для распознавания и перевода речи, анализа видеофрагментов, интеллектуальной обработки документов, а также для создания встроенных AI-решений на десктопах. Подробнее о сценариях использвания в гайде от разработчиков https://developers.googleblog.com/gemma-4-12b-the-developer-guide/

Дата анонса: 03.06.2026
Параметров: 12B
Контекст: 263K
Слоев: 48, с полным вниманием: 8
Тип внимания: Sliding Window Attention
Разработчик: Google DeepMind
Версия Transformers: 5.10.0.dev0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с gemma-4-12B-it. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.