Модель Whisper large-v3 представляет собой последнюю и наиболее совершенную версию в семействе ASR моделей от OpenAI. Модель разработана для решения широкого спектра задач обработки речи в рамках единого фреймворка. В отличие от традиционных ASR-систем, требующих сложных пайплайнов из нескольких специализированных компонентов, Whisper использует унифицированную архитектуру sequence-to-sequence. Это позволяет модели выполнять не только транскрипцию речи, но и такие задачи, как идентификация языка, голосовая активность и перевод на английский язык, обрабатывая аудио «из коробки» без дообучения.
Архитектурно large-v3 базируется на проверенном трансформере encoder-decoder, сохранив общую структуру предыдущих версий (large и large-v2), но с двумя ключевыми улучшениями. Во-первых, модель использует 128 мел-частотных бинов для обработки входного аудиосигнала вместо 80, используемых ранее, что позволяет захватывать более тонкие детали аудио, особенно важные для языков с богатой тональностью и сложной фонетикой. Во-вторых, large-v3 была обучена с помощью зарекомендовавшего себя метода слабо контролируемого обучения (weak supervision) на внушительном объеме данных – около 5 млн часов. Также в модель был добавлен новый языковой токен для кантонского диалекта. По сравнению с предшественником Whisper large-v2, новая модель показывает снижение количества ошибок на 10-20% для широкого спектра языков, что делает её наиболее точной версией среди всех выпущенных OpenAI.
Whisper large-v3 идеально подходит для автоматического создания субтитров к видео, лекциям, подкастам, вебинарам и интервью на множестве языков, причём возможность возвращать таймкоды на уровне слов или предложений значительно упрощает этот процесс. Также она может использоваться для перевода аудиоконтента или служить основой для систем голосового управления, диктовки текста, а также для анализа звонков в контакт-центрах, автоматически определяя тему разговора и ключевые требования. Наконец, модель является отличной отправной точкой для исследователей, которые могут дообучать её под узкоспециализированные задачи с использованием небольшого объема размеченных данных.
| Наименование модели | Контекст | Тип | GPU | TPS | Tooling | Статус | Ссылка |
|---|---|---|---|---|---|---|---|
| openai/whisper-large-v3 | 448 | Публичный | 3090 | 0 | доступен | — |
curl https://chat.immers.cloud/v1/endpoints/generate/audio/transcriptions \
-H "Authorization: Bearer USER_API_KEY" \
-F "file=@ПУТЬ_К_ФАЙЛУ" \
-F "model=whisper-large-v3" \
-F "language=ru"
Add-Type -AssemblyName System.Net.Http
$c = [System.Net.Http.HttpClient]::new()
$c.DefaultRequestHeaders.Authorization = "Bearer USER_API_KEY"
$f = [System.Net.Http.MultipartFormDataContent]::new()
$path = "ПУТЬ_К_ФАЙЛУ"
$f.Add([System.Net.Http.StreamContent]::new([IO.File]::OpenRead($path)), "file", [IO.Path]::GetFileName($path))
$f.Add([System.Net.Http.StringContent]::new("whisper-large-v3"), "model")
$f.Add([System.Net.Http.StringContent]::new("ru"), "language")
$r = $c.PostAsync("https://chat.immers.cloud/v1/endpoints/generate/audio/transcriptions", $f).Result.Content.ReadAsStringAsync().Result
$c.Dispose()
($r | ConvertFrom-Json).text
#!pip install OpenAI --upgrade
from openai import OpenAI
client = OpenAI(
api_key="USER_API_KEY",
base_url="https://chat.immers.cloud/v1/endpoints/generate/",
)
transcription = client.audio.transcriptions.create(
model="whisper-large-v3",
file=open("ПУТЬ_К_ФАЙЛУ", "rb"),
language="ru"
)
print(transcription.text)
Эндпоинт — это сервер с предустановленным программным обеспечением, с помощью которого автоматически скачиваются веса нейросети и запускается OpenAI-совместимый API для обращений к серверу.
Частный эндпоинт создается в проекте пользователя, принадлежит пользователю монопольно и тарифицируется за каждую конфигурацию сервера в соответствии с нашими инфраструктурными тарифами.
Мы рекомендуем создание частных эндпоинтов в случаях, если необходимо:
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
| 1 | 33,74 ₽ | 6,93 | Запустить | |||
| 1 | 46,94 ₽ | 12,44 | Запустить | |||
| 1 | 51,34 ₽ | 3,45 | Запустить | |||
| 1 | 73,73 ₽ | 13,18 | Запустить | |||
| 1 | 91,14 ₽ | 13,15 | Запустить | |||
tensor |
2 | 139,77 ₽ | 27,03 | Запустить | ||
| 1 | 141,77 ₽ | 18,62 | Запустить | |||
| 1 | 211,77 ₽ | 52,04 | Запустить | |||
| 1 | 341,77 ₽ | 51,99 | Запустить | |||
| 1 | 367,41 ₽ | 61,70 | Запустить | |||
tensor |
2 | 411,81 ₽ | 104,75 | Запустить | ||
| 1 | 423,04 ₽ | 94,30 | Запустить | |||
tensor |
2 | 839,97 ₽ | 189,26 | Запустить | ||
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
| 1 | 33,74 ₽ | 6,40 | Запустить | |||
| 1 | 46,94 ₽ | 11,92 | Запустить | |||
| 1 | 51,34 ₽ | 2,92 | Запустить | |||
| 1 | 73,73 ₽ | 12,65 | Запустить | |||
| 1 | 91,14 ₽ | 12,63 | Запустить | |||
tensor |
2 | 139,77 ₽ | 26,50 | Запустить | ||
| 1 | 141,77 ₽ | 18,09 | Запустить | |||
| 1 | 211,77 ₽ | 51,52 | Запустить | |||
| 1 | 341,77 ₽ | 51,47 | Запустить | |||
| 1 | 367,41 ₽ | 61,18 | Запустить | |||
tensor |
2 | 411,81 ₽ | 104,23 | Запустить | ||
| 1 | 423,04 ₽ | 93,77 | Запустить | |||
tensor |
2 | 839,97 ₽ | 188,73 | Запустить | ||
| Наименование | GPU | TPS | Параллельность (макс.) | |||
|---|---|---|---|---|---|---|
| 1 | 33,74 ₽ | 5,40 | Запустить | |||
| 1 | 46,94 ₽ | 10,92 | Запустить | |||
| 1 | 51,34 ₽ | 1,92 | Запустить | |||
| 1 | 73,73 ₽ | 11,66 | Запустить | |||
| 1 | 91,14 ₽ | 11,63 | Запустить | |||
tensor |
2 | 139,77 ₽ | 25,50 | Запустить | ||
| 1 | 141,77 ₽ | 17,09 | Запустить | |||
| 1 | 211,77 ₽ | 50,52 | Запустить | |||
| 1 | 341,77 ₽ | 50,47 | Запустить | |||
| 1 | 367,41 ₽ | 60,18 | Запустить | |||
tensor |
2 | 411,81 ₽ | 103,23 | Запустить | ||
| 1 | 423,04 ₽ | 92,77 | Запустить | |||
tensor |
2 | 839,97 ₽ | 187,74 | Запустить | ||
Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.