Phi-3.5-mini

Phi-3.5-mini — это последняя модель из третьей серии малых языковых моделей Microsoft Phi, которая сочетает в себе компактность и высокую производительность. Модель построена на архитектуре с 3.8 млрд параметров и способна работать локально даже на современных смартфонах, что делает её одной из самых доступных и эффективных языковых моделей на рынке. Благодаря использованию тщательно отобранных и синтетических данных для обучения, Phi-3.5-mini демонстрирует результаты, сравнимые с гораздо более крупными моделями, такими как GPT-3.5 и Mixtral 8x7B, но при этом требует в разы меньше вычислительных ресурсов.

Уникальность Phi-3.5-mini заключается в подходе к обучению: вместо простого увеличения размера модели разработчики сделали ставку на качество и релевантность данных. Использование тщательно фильтрованных веб-источников и синтетических примеров позволило добиться “data optimal regime” — максимальной отдачи от каждого параметра модели. Это позволило Phi-3.5-mini показать выдающиеся результаты в задачах рассуждения, математики, программирования и диалогов, оставаясь при этом компактной и быстрой.

Сценарии использования Phi-3.5-mini особенно актуальны для edge-устройств, мобильных приложений, чат-ботов, образовательных платформ, а также для задач, где важна приватность и автономная работа без подключения к облаку. Модель отлично подходит для создания многоязычных ассистентов, генерации и анализа текста, решения математических и логических задач, а также для интеграции в продукты с ограниченными вычислительными ресурсами.

Дата анонса: 23.04.2024
Параметров: 3.82B
Контекст: 131K
Тип внимания: Full Attention
Потребление памяти: 49.8 ГБ в точности 4 бит
Разработчик: Microsoft
Версия Transformers: 4.43.3
Лицензия: MIT

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Phi-3.5-mini.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.