Phi-4

можно попробовать

Phi-4 — это современная открытая языковая модель с 14 миллиардами параметров. Несмотря на то, что архитектурные изменения по сравнению с предыдущими версиями минимальны, модель демонстрирует значительный прогресс в задачах, требующих логического мышления и аналитики, что стало возможным благодаря инновационному подходу к обучению. В отличие от традиционных методов обучения языковых моделей, в Phi-4 ключевой акцент сделан не на объёме данных, а на их качестве. Обучение Phi-4 проводилось на основе разнообразных источников, включая синтетические данные, специально созданные для развития навыков рассуждения, отфильтрованные документы из публичных источников, а также приобретённые академические книги и вопросно-ответные базы знаний. Это позволяет модели достигать высокой производительности даже при относительно небольшом размере.

Phi-4 работает только с текстовыми данными. Контекст относительно небольшой 16К токенов, но поддерживается работа более чем на 50 языках, включая русский.

В целом Phi-4 достаточно разноплановая легковесная модель, но по словам разработчиков особенно эффективна она в среде с ограниченным объемом памяти и вычислительных ресурсов, а также для задач, требующих моментального отклика.


Дата анонса: 12.12.2024
Параметров: 14.7B
Контекст: 16K
Тип внимания: Full Attention
Потребление памяти: 10.0 ГБ в точности 4 бит
Разработчик: Microsoft
Версия Transformers: 4.47.0
Лицензия: MIT

Публичный эндпоинт

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Phi-4.
Наименование модели Контекст Тип GPU TPS Статус Ссылка
phi-4 16 000 Публичный RTX3090 31.50 доступен попробовать

API доступ к Phi-4 эндпоинтам

curl https://chat.immers.cloud/v1/endpoints/phi-4/generate/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer USER_API_KEY" \
-d '{"model": "phi-4", "messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"}
], "temperature": 0, "max_tokens": 150}'
$response = Invoke-WebRequest https://chat.immers.cloud/v1/endpoints/phi-4/generate/chat/completions `
-Method POST `
-Headers @{
"Authorization" = "Bearer USER_API_KEY"
"Content-Type" = "application/json"
} `
-Body (@{
model = "phi-4"
messages = @(
@{ role = "system"; content = "You are a helpful assistant." },
@{ role = "user"; content = "Say this is a test" }
)
} | ConvertTo-Json)
($response.Content | ConvertFrom-Json).choices[0].message.content
#!pip install OpenAI --upgrade

from openai import OpenAI

client = OpenAI(
api_key="USER_API_KEY",
base_url="https://chat.immers.cloud/v1/endpoints/phi-4/generate/",
)

chat_response = client.chat.completions.create(
model="phi-4",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Say this is a test"},
]
)
print(chat_response.choices[0].message.content)

Частный сервер

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

  • получить максимальную производительность эндпоинта,
  • получить полный контекст для обработки больших запросов и диалогов,
  • обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
  • использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Рекомендуемые конфигурации для хостинга Phi-4

Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
rtx2080ti-1.16.32.160 16 32768 160 1 37,04 ₽ Запустить
teslat4-1.16.16.160 16 16384 160 1 40,83 ₽ Запустить
teslaa10-1.16.32.160 16 32768 160 1 46,94 ₽ Запустить
teslaa2-2.16.32.160 16 32768 160 2 51,34 ₽ Запустить
rtx3090-1.16.24.160 16 24576 160 1 78,53 ₽ Запустить
rtx3080-2.16.32.160 16 32762 160 2 86,54 ₽ Запустить
rtx4090-1.16.32.160 16 32768 160 1 103,04 ₽ Запустить
teslav100-1.12.64.160 12 65536 160 1 107,57 ₽ Запустить
rtx5090-1.16.64.160 16 65536 160 1 141,77 ₽ Запустить
teslaa100-1.16.64.160 16 65536 160 1 230,77 ₽ Запустить
teslah100-1.16.64.160 16 65536 160 1 456,27 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa10-1.16.32.160 16 32768 160 1 46,94 ₽ Запустить
teslaa2-2.16.32.160 16 32768 160 2 51,34 ₽ Запустить
rtx2080ti-2.12.64.160 12 65536 160 2 61,37 ₽ Запустить
teslat4-2.16.32.160 16 32768 160 2 71,14 ₽ Запустить
rtx3090-1.16.24.160 16 24576 160 1 78,53 ₽ Запустить
rtx3080-2.16.32.160 16 32762 160 2 86,54 ₽ Запустить
rtx4090-1.16.32.160 16 32768 160 1 103,04 ₽ Запустить
teslav100-1.12.64.160 12 65536 160 1 107,57 ₽ Запустить
rtx5090-1.16.64.160 16 65536 160 1 141,77 ₽ Запустить
teslaa100-1.16.64.160 16 65536 160 1 230,77 ₽ Запустить
teslah100-1.16.64.160 16 65536 160 1 456,27 ₽ Запустить
Цены:
Наименование vCPU ОЗУ, МБ Диск, ГБ GPU Цена, час
teslaa10-2.16.64.160 16 65536 160 2 83,37 ₽ Запустить
rtx2080ti-4.16.64.160 16 65536 160 4 105,37 ₽ Запустить
teslat4-4.16.64.160 16 65536 160 4 131,77 ₽ Запустить
rtx3090-2.16.64.160 16 65536 160 2 149,37 ₽ Запустить
rtx3080-4.16.64.160 16 65536 160 4 162,57 ₽ Запустить
rtx4090-2.16.64.160 16 65536 160 2 195,57 ₽ Запустить
teslav100-2.16.64.240 16 65535 240 2 198,54 ₽ Запустить
teslaa100-1.16.64.160 16 65536 160 1 230,77 ₽ Запустить
rtx5090-2.16.64.160 16 65536 160 2 261,77 ₽ Запустить
teslah100-1.16.64.160 16 65536 160 1 456,27 ₽ Запустить

Связанные модели

Phi-3.5-mini
Phi-4-reasoning
Phi-4-multimodal

Остались вопросы?

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.