gemma-3-270m

Gemma 3 270M представляет собой инновационную компактную языковую модель от Google, созданную специально для эффективного выполнения задач после специального дообучения под них. Эта модель является частью семейства Gemma 3 и наследует ее основные архитектурные детали, но с некоторыми дополнениями. Около 170 миллионов параметров выделено для работы объемного словаря в 262144 токенов, остальные 100 миллионов — на блоки трансформера с использованием скользящего окна внимания (sliding window attention) в 15 из 18 слоев, что оптимизирует вычисления для длинных последовательностей, при этом поддерживая полное внимание в ключевых точках. Модель работает с контекстным окном до 32 768 токенов и отличается превосходной языковой поддержкой (более 140 языков).

Технически Gemma 3 270M отлично оптимизирована для задач с ограниченными ресурсами. Ее небольшой размер в 270 миллионов параметров делает ее идеальной для развертывания на периферийных устройствах, веб-браузерах или в облачных средах, где важны скорость и низкая стоимость эксплуатации. Разработчики отмечают, что модель обучалась использованием Quantization-Aware Training (QAT) поддерживает квантование INT4 практически без потери точности, что еще больше упрощает задачу локального инференса.

В отличие от более крупных моделей семейства, Gemma 3 270M не предназначена для сложных диалогов, а сфокусирована на специфических задачах, где она демонстрирует исключительную эффективность. Ее философия - "правильный инструмент для конкретной задачи". Не имеет смысла использовать большую модель если необходимо решать одну однотипную, повторяемую операцию, да в большинстве случаев будет необходимо дополнительно обучить модель как выполнять эту специфическую задачу, но после настройки она будет работать с поразительной точностью. Gemma 3 270M идеально подходит для создания набора небольших, узкоспециализированных моделей, каждая из которых является экспертом в своей области. Ее основные сценарии использования включают классификацию текста, извлечение сущностей (например, из юридических документов или медицинских записей), преобразование неструктурированного текста в структурированный формат, анализ тональности, фильтрацию токсичного контента и маршрутизацию запросов. А благодаря своей скорости она может стать отличным вариантом для приложений, требующих быстрых ответов в реальном времени.

Дата анонса: 14.08.2025
Параметров: 0.268B
Контекст: 32K
Тип внимания: Sliding Window Attention
Потребление памяти: 0.3 ГБ в точности 4 бит
Разработчик: Google DeepMind
Версия Transformers: 4.55.0.dev0
Лицензия: gemma

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с gemma-3-270m.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.