Эндпоинт перестал отвечать после некоторого времени

Эндпоинт успешно развернулся, и ранее вы уже проверили его работоспособность, но в данный момент эндпоинт не отвечает. Есть несколько возможных причин такого поведения:

1. За все серверы каждого эндпоинта производятся списания с пользовательского баланса. В случае достижения нулевого или отрицательного баланса сервер будет остановлен и отправлен в архив Shelve. В этом случае пополните баланс и нажмите на Unshelve (для одноимённых виртуальных машин) или Start (для выделенного сервера).
2. Произошла критическая ошибка в работе VLLM — слишком большое количество одновременных запросов, нехватка видеопамяти CUDA (ошибка Out of Memory) или внутренняя ошибка в работе фреймворка vLLM.

В этом случае вы можете:

• Просмотреть и сохранить лог ошибок из консоли виртуальной машины;
• В случае если эндпоинт создавался на выделенном сервере, подключиться к нему и просмотреть и сохранить лог с использованием docker logs
• Перезапустить контейнер с vLLM;
• Удалить эндпоинт и создать новый;
• Сообщить в техническую поддержку.