GLM-Z1-9B-0414

GLM-Z1-9B-0414 — это модель с 9.4-млдр параметров из новой серии GLM-4–0414, которая стала настоящим сюрпризом даже для разработчиков. Несмотря на относительно небольшое количество параметров, она была обучена с использованием всех ключевых техник, применённых при создании гораздо более крупных моделей этой серии. Это позволило достичь неожиданно высокого уровня точности, логического мышления и общей эффективности.

Модель прошла через комплексное обучение, начиная с фазы предобучения на массивах качественных данных и заканчивая сложными этапами пост-обучения (выравнивание по пользовательским предпочтениям, rejection sampling, обучение с подкреплением на основе парного ранжирования обратной связи). Эти подходы позволили модели лучше понимать, какие ответы являются наиболее полезными и корректными в конкретных ситуациях.

Особое внимание в обучении было уделено развитию способности к рассуждению, особенно в математических задачах и логических головоломках. Полученные навыки делают модель эффективной не только в стандартных вопросах-ответах, но и в решении более сложных аналитических задач. При этом, благодаря своему компактному размеру, GLM-Z1-9B-0414 демонстрирует отличную вычислительную эффективность, что делает её идеальным выбором для сценариев с ограниченными ресурсами.

Дата анонса: 14.04.2025
Параметров: 9.4B
Контекст: 32K
Тип внимания: Full Attention
Потребление памяти: 5.6 ГБ в точности 4 бит
Разработчик: Z.ai
Версия Transformers: 4.52.0.dev0
Лицензия: Apache 2.0

Воспользуйтесь нашими готовыми публичными эндпоинтами для теста инференса и знакомства с GLM-Z1-9B-0414.

Арендуйте собственный физически выделенный инстанс с почасовой оплатой или на длительный срок с помесячной оплатой.

Мы рекомендуем создание частных инстансов в случаях, если необходимо:

• получить максимальную производительность эндпоинта,
• получить полный контекст для обработки больших запросов и диалогов,
• обеспечить максимальную безопасность, для обработки данных в выделенном изолированном пространстве,
• использовать кастомизированные веса: fine-tuned версии или lora-адаптеры.

Свяжитесь с нашей специализированной группой поддержки по нейросетям nn@immers.cloud или отправьте ваш запрос в отдел продаж sale@immers.cloud.