ERNIE-4.5-VL-28B-A3B-PT

ERNIE-4.5-VL-28B-A3B-PT представляет собой мультимодальную модель семейства ERNIE 4.5, построенную на базе гетерогенной архитектуры Mixture-of-Experts. Модель содержит 28 миллиардов общих параметров, из которых только 3 миллиарда активируются при каждом проходе, что обеспечивает высокую эффективность инференса. Ключевая инновация — раздельные экспертов на отдельные группы для текстовых и визуальных модальностей при сохранении общих экспертов и слоев self-attention для кросс-модального взаимодействия. Модель оснащена адаптивным vision-энкодером, который обрабатывает изображения произвольного разрешения без искажения пропорций, сохраняя оригинальное соотношение сторон. Для видео применяется адаптивная стратегия выборки кадров с рендерингом временных меток непосредственно на кадрах, что обеспечивает точное временное понимание. Модель поддерживает контекстное окно до 131,072 токенов, что позволяет работать с довольно длинными документами и видео.

Модель поддерживает два режима работы (thinking и non-thinking), что делает её универсальной для различных задач: thinking-режим усиливает рассуждения на сложных визуальных задачах (STEM, математика, головоломки), в то время как non-thinking обеспечивает быструю обработку простых оперативных задач. По сравнению с флагманской ERNIE-4.5-VL-424B-A47B, компактная версия 28B-A3B демонстрирует лишь незначительное снижение качества при радикальном сокращении вычислительных требований.

Мультимодальные возможности модели обеспечивают ей широкий спектр практических применений: высокие результаты на OCRBench (885) и DocVQA (94.1) свидетельствуют о ее эффективности в обработке сканов, счётов и форм; высокие показатели на ChartQA (82.2) и TableVQA (70.0) позволяют использовать модель для анализа графиков и таблиц в финансовых и научных данных; возможности анализа видео (MVBench 72.0, VideoMME 74.4, LongVideoBench 62.1) могут быть полезны в рамках систем безопасности; а точный подсчёт объектов (CountBench 87.6) и визуальное восприятие (RealWorldQA 69.2) найдут применение в ритейле для инвентаризации и визуального поиска. Модель доступна под лицензией Apache 2.0 и тем самым может быть без ограничений использоваться в коммерческих проектах.

Дата анонса: 28.06.2025
Параметров: 29B
Экспертов: 130
Активно параметров при инференсе: 3B
Контекст: 132K
Слоев: 28
Тип внимания: Full Attention
Разработчик: Baidu, Inc.
Версия Transformers: 4.57.6
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с ERNIE-4.5-VL-28B-A3B-PT. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.