Llama-3-8B-Instruct

Модель Llama-3-8B по праву считается одной из самых известных и популярных моделей в истории открытого искусственного интеллекта. Выпущенная 18 апреля 2024 года, она ознаменовала собой поворотный момент, сделав технологии, используемые в передовых ИИ моделях доступными для широкого круга исследователей и разработчиков. Именно Llama 3 стала катализатором того бурного роста open-source проектов и стартапов в сфере ИИ, доказав, что открытые модели могут успешно конкурировать с коммерческими аналогами, не только с позиции гибкости настройки и дообучения, но и с позиции качества работы.

В основе модели лежит архитектура трансформера с использованием механизма Grouped-Query Attention (GQA). В отличие от стандартного MHA, GQA позволяет значительно снизить нагрузку на память и ускоряет генерацию. Модель работает с контекстом в 8192 токенов и использует токенизатор со словарем в 128 256 токенов, что позволяет ей эффективно обрабатывать сложные мультиязычные запросы.

Уникальность Llama-3-8B во многом обусловлена беспрецедентным на момент ее выхода масштабом и качеством обучения. Базовая модель была предобучена на более чем 15 триллионах токенов — это в 7 раз больше, чем у предшественника Llama 2. Данные, собранные из общедоступных источников, тщательно фильтровались для обеспечения высокого качества. Для получения инструктивной версии (-Instruct) использовалась двухэтапная процедура: сначала контролируемая тонкая настройка (SFT) на миллионах примеров, а затем выравнивание с предпочтениями человека с помощью обучения с подкреплением на основе обратной связи (RLHF). Это позволило сделать модель не только чрезвычайно полезной (helpful), но и значительно снизить количество ложных отказов (refusals).

Благодаря своим характеристикам Llama-3-8B до сих пор имеет широчайший спектр практических применений. Ключевым свойством является простота ее дообучения и адаптации. Эта особенность позволяет использовать модель как основу для создания диалоговых систем и инструментов анализа текста, так и в качестве идеальной «песочницы» для исследовательских экспериментов с тонкой настройкой под узкоспециализированные домены, такие как юриспруденция или медицина. Более того, сочетание открытой коммерческой лицензии, невысоких требований к «железу» и легкости кастомизации сделало её выбором номер один для стартапов и быстрого прототипирования, позволяя эффективно создавать MVP в самых разных предметных областях.

Дата анонса: 17.04.2024
Параметров: 9B
Контекст: 9K
Слоев: 32
Тип внимания: Full Attention
Разработчик: Meta AI
Версия Transformers: 4.40.0.dev0
Лицензия: LLAMA 3

Воспользуйтесь нашими готовыми публичными эндпоинтами бесплатно для теста инференса и знакомства с Llama-3-8B-Instruct. Получить токен для доступа к API вы можете на странице управления токенами после регистрации и верификации.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям support@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.