Qwen2.5-7B-1M

Qwen2.5-7B-1M представляет собой современную компактную модель построенную на передовой Transformer-архитектуре с интеграцией ключевых инноваций таких как: Rotary Positional Embeddings (RoPE) для эффективного кодирования позиционной информации, SwiGLU активационной функции для нелинейных преобразований, RMSNorm с пре-нормализацией для стабильного обучения и механизма Attention QKV bias. Архитектура включает 28 слоев с Grouped Query Attention (GQA), что обеспечивает оптимальное использование KV-кэша и снижение вычислительных затрат.

Главная особенность модели – способность обрабатывать до 1,010,000 токенов входного контекста! Это эквивалентно обработке 10 полноформатных романов, 150 часов речевых транскриптов или 30,000 строк кода в одном запросе. Dual Chunk Attention (DCA) разделяет последовательности на чанки и перераспределяет относительные позиции, обеспечивая стабильную работу на сверхдлинных контекстах, а интеграция с YaRN attention scaling повышает фокусировку внимания на ключевой информации даже при обработке очень длинных последовательностей. Как результат модель демонстрирует выдающуюся точность в задачах поиска информации в очень больших документах, достигая более 80% точности даже при контексте в 1 миллион токенов. 

Qwen2.5-7B-1M открывает новые возможности в области обработки документов, автоматизации анализа и интеллектуальных помощников. Модель идеально подходит для юридического анализа объемных контрактов и документации, научных исследований, разработки ПО с анализом больших кодовых баз и создания систем технической поддержки с доступом к обширным базам знаний. В образовательной сфере модель способна анализировать целые учебники и создавать комплексные образовательные материалы, а в бизнес-аналитике — обрабатывать объемные отчеты и извлекать ключевые инсайты для принятия решений.

Дата анонса: 26.01.2025
Параметров: 7.62B
Контекст: 1010K
Тип внимания: Full Attention
Потребление памяти: 17.0 ГБ в точности 4 бит
Разработчик: Alibaba
Версия Transformers: 4.47.1
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с Qwen2.5-7B-1M.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.