Объём запросов к эндпоинту обычно варьируется: от умеренного в небольших проектах до интенсивного в продакшн-среде. Частный эндпоинт справится с любой нагрузкой: под капотом он может объединять несколько виртуальных или выделенных серверов с GPU, равномерно распределяя запросы между ними через наш балансировщик chat.immers.cloud.
Вы можете указать нужное количество серверов при создании частного эндпоинта, на каждом сервере будет развернут отдельный экземпляр vLLM и весов нейросети.