Phi-4-multimodal

Phi-4-multimodal-instruct — это мультимодальная модель с открытым исходным кодом от Microsoft, обрабатывающая текст, изображения и аудио в едином архитектурном решении. Она построена на основе технологий Phi-3.5 и Phi-4.0, с расширенным контекстным окном в 128K токенов и поддержкой 23 языков для текста (в том числе русский), 8 языков для аудио и английского для визуальных задач. Модель оптимизирована для сред с ограниченными вычислительными ресурсами и сценариев с низкой задержкой, демонстрируя сильные результаты в математике, логике, распознавании речи, переводе и анализе изображений.

Единая нейросеть обрабатывает текст, изображения (OCR, таблицы, диаграммы) и аудио (распознавание, перевод, суммаризация). Например, в тестах DocVQA модель достигает 93.2% точности, превосходя Gemini-2.0-Flash (92.1%)

Модель идеально подходит для мультисенсорных приложений - совместная обработка аудио и изображений (например, анализ видео с субтитрами). При этом, благодаря оптимизации через Microsoft Olive и ONNX GenAI Runtime, модель может развертываться на edge-устройствах, включая смартфоны и IoT-системы, даже с ограниченными вычислительными ресурсами.

Дата анонса: 27.02.2025
Параметров: 5.57B
Контекст: 131K
Тип внимания: Full Attention
Потребление памяти: 18.6 ГБ в точности 4 бит
Разработчик: Microsoft
Версия Transformers: 4.46.1
Лицензия: MIT

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Phi-4-multimodal.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.