whisper-large-v3

Модель Whisper large-v3 представляет собой последнюю и наиболее совершенную версию в семействе ASR моделей от OpenAI. Модель разработана для решения широкого спектра задач обработки речи в рамках единого фреймворка. В отличие от традиционных ASR-систем, требующих сложных пайплайнов из нескольких специализированных компонентов, Whisper использует унифицированную архитектуру sequence-to-sequence. Это позволяет модели выполнять не только транскрипцию речи, но и такие задачи, как идентификация языка, голосовая активность и перевод на английский язык, обрабатывая аудио «из коробки» без дообучения.

Архитектурно large-v3 базируется на проверенном трансформере encoder-decoder, сохранив общую структуру предыдущих версий (large и large-v2), но с двумя ключевыми улучшениями. Во-первых, модель использует 128 мел-частотных бинов для обработки входного аудиосигнала вместо 80, используемых ранее, что позволяет захватывать более тонкие детали аудио, особенно важные для языков с богатой тональностью и сложной фонетикой. Во-вторых, large-v3 была обучена с помощью зарекомендовавшего себя метода слабо контролируемого обучения (weak supervision) на внушительном объеме данных – около 5 млн часов. Также в модель был добавлен новый языковой токен для кантонского диалекта. По сравнению с предшественником Whisper large-v2, новая модель показывает снижение количества ошибок на 10-20% для широкого спектра языков, что делает её наиболее точной версией среди всех выпущенных OpenAI.

Whisper large-v3 идеально подходит для автоматического создания субтитров к видео, лекциям, подкастам, вебинарам и интервью на множестве языков, причём возможность возвращать таймкоды на уровне слов или предложений значительно упрощает этот процесс. Также она может использоваться для перевода аудиоконтента или служить основой для систем голосового управления, диктовки текста, а также для анализа звонков в контакт-центрах, автоматически определяя тему разговора и ключевые требования. Наконец, модель является отличной отправной точкой для исследователей, которые могут дообучать её под узкоспециализированные задачи с использованием небольшого объема размеченных данных.

Дата анонса: 07.11.2023
Параметров: 2B
Контекст: 448
Слоев: 32
Тип внимания: Full Attention
Разработчик: OpenAI
Версия Transformers: 4.36.0.dev0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с whisper-large-v3. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.