YandexGPT-5-Lite-8B

YandexGPT-5-Lite-8B-instruct представляет собой языковую модель размером 8 миллиардов параметров с контекстом в 32k токенов, разработанную Яндексом специально для работы с русскоязычным контентом. Модель построена на основе собственной pretrain-версии YandexGPT 5 Lite, что отличает ее от многих конкурентов, использующих веса сторонних моделей как отправную точку. Обучение проходило в два этапа: первый на корпусе данных объемом 15 триллионов токенов (30% русскоязычных), второй этап Powerup на высококачественных данных объемом 320 миллиардов токенов. Процесс alignment модели включает передовые методы SFT (Supervised Fine-Tuning) и RLHF (Reinforcement Learning from Human Feedback), дополненные собственной разработкой Яндекса — алгоритмом LogDPO, который решает проблему "разучивания" традиционного DPO подхода. Эта инновация позволяет модели стабильно обучаться на предпочтительных данных без деградации качества ответов.

Уникальной особенностью модели является специализированная обработка русскоязычного контента, включая оптимизированный для русского языка словарь токенов, что обеспечивает более эффективное использование вычислительных ресурсов по сравнению с изначально англоязычными моделями. 32k токенов контекста YandexGPT соответствуют 48k токенам модели Qwen-2.5-32B-base для русскоязычных текстов, таким образом YandexGPT-5-Lite демонстрирует оптимальную токенизацию для кириллицы. Особенностью токенизации так же является замена символов переноса строк на специальные токены [NL] и раздельная обработка каждой реплики диалога, что создает пробелы в начале каждого сообщения. Модель использует нестандартный шаблон диалога с последовательностью Ассистент:[SEP] для генерации ответов и завершающим токеном </s>, что обеспечивает корректную работу в многоходовых диалогах любой длины.

YandexGPT-5-Lite демонстрирует выдающиеся результаты в ключевых бенчмарках, достигая паритета или превосходства над моделями Llama-3.1-8B-instruct и Qwen-2.5-7B-instruct. Модель показывает исключительные результаты в RuCulture — специализированном бенчмарке по русской культуре, литературе и сленгу, где значительно опережает международные аналоги.

YandexGPT-5-Lite-8B-instruct идеально подходит для создания русскоязычных чат-ботов и виртуальных ассистентов, особенно в корпоративной среде, где требуется понимание российских культурных контекстов и бизнес-практик. Образовательные платформы могут использовать модель для создания интеллектуальных тьюторов по русской литературе, истории и культуре. Она отлично подходит и для контент-маркетинга и копирайтинга на русском языке, включая создание SEO-оптимизированных текстов и адаптацию контента под российскую аудиторию. Разработчики и исследователи найдут модель полезной для файн-тюнинга под специфические задачи, связанные с русским контентом, поскольку она изначально обучена на русскоязычных данных и не потребует значительной адаптации.

Дата анонса: 31.03.2025
Параметров: 8.04B
Контекст: 32K
Слоев: 32
Тип внимания: Full Attention
Потребление памяти: 7.7 ГБ в точности 4 бит
Разработчик: Yandex
Версия Transformers: 4.56.1
Лицензия: Лицензионное соглашение YandexGPT-5-Lite-8B

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с YandexGPT-5-Lite-8B. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.