Почему Proxmox отвечает 502 после перезагрузки: диагностика IO-затора

Ошибка 502 сразу после перезагрузки узла Proxmox не всегда означает, что веб-сервис сломан. Часто интерфейс ждёт ответ от компонентов, которые одновременно запускают виртуальные машины и контейнеры, а дисковая подсистема не успевает обработать очередь запросов.
Что означает 502 в этой ситуации
В Proxmox веб-интерфейс обслуживается процессом pveproxy.
Он принимает HTTPS-запрос, проверяет права и обращается к локальным
службам, включая pvedaemon и pvestatd. Если
зависимый компонент не отвечает вовремя, браузер или обратный прокси
может показать 502.
Это симптом недоступности цепочки управления, а не доказательство того, что сам веб-сервис завершился. После массового запуска гостевых систем узел может одновременно читать конфигурации, диски виртуальных машин, журналы и данные контейнеров. При этом управляющие процессы остаются запущенными, но ждут завершения операций ввода-вывода.
IO-затор — это ситуация, когда множество операций чтения и записи образуют очередь, а время ожидания диска становится главным ограничением для всей системы.
Главный признак: сервис жив, но процессы ждут диск
Сначала подключитесь к узлу по SSH или откройте локальную консоль. Не начинайте с перезапуска всех служб: сначала зафиксируйте состояние.
date
uptime
systemctl --failed
systemctl status pveproxy pvedaemon pvestatd --no-pager
Если службы имеют состояние active (running), но интерфейс
всё равно отвечает 502, проверьте процессы и нагрузку на диск.
ps -eo state,pid,ppid,comm,wchan:32,cmd --sort=state | sed -n '1,80p'
vmstat 1 5
iostat -xz 1 5
В выводе vmstat обратите внимание на
wa — долю времени ожидания ввода-вывода. В
iostat полезны поля await,
aqu-sz и %util. Высокие значения сами по себе
не доказывают неисправность: важна их связь с моментом запуска гостей.
Как распознать состояние D
Состояние D означает непрерываемое ожидание, обычно
связанное с операцией ядра или драйвера. Такие процессы часто выглядят
«зависшими», но команда остановки не обязана сработать немедленно:
процесс сначала должен вернуться из системного вызова.
ps -eo state,pid,ppid,comm,wchan:32,cmd | awk '$1 ~ /^D/ {print}'
Если среди процессов в D есть задачи QEMU, контейнеров,
pvedaemon или процессы, связанные с хранилищем, это сильный
признак IO-затора. Полезно посмотреть, на каком хранилище лежат гости и
нет ли ошибок ядра:
findmnt
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,MODEL
dmesg -T | tail -n 100
В dmesg ищите сообщения о тайм-аутах, сбоях диска, ошибках
файловой системы, проблемах multipath, NFS или сетевого хранилища.
Само наличие процесса в D не позволяет определить причину
без проверки этих сообщений.
Отличаем медленный диск от действительно зависшего сервиса
| Наблюдение | Вероятная причина | Что делать |
|---|---|---|
pveproxy активен, есть процессы в D, растёт await |
Конкуренция за диск | Снизить второстепенную нагрузку и наблюдать динамику |
| Служба не запущена, в журнале есть ошибка запуска | Ошибка конфигурации или зависимости | Изучить журнал конкретной службы |
Высокий wa, но ошибок диска нет |
Очередь операций после массового старта | Дождаться снижения очереди, временно остановить необязательных гостей |
| Ошибки I/O, тайм-ауты, отвалившееся хранилище | Проблема устройства или пути к хранилищу | Не перегружать узел многократно; проверять инфраструктуру хранения |
Для точной проверки состояния служб используйте журналы, а не только сообщение браузера:
journalctl -b -u pveproxy --no-pager -n 100
journalctl -b -u pvedaemon --no-pager -n 100
journalctl -b -u pvestatd --no-pager -n 100
journalctl -b -p warning..alert --no-pager
Безопасный способ ускорить восстановление
Если узел отвечает по SSH, а причина похожа на конкуренцию за диск, временно остановите второстепенную нагрузку. Начните с гостевых систем, которые не нужны для восстановления сервиса. Делайте это через штатный интерфейс Proxmox или команду, соответствующую вашей политике эксплуатации.
Перед остановкой найдите идентификаторы и состояние гостей:
qm list
pct list
Затем остановите только выбранную виртуальную машину или контейнер, например:
qm shutdown <VMID> --timeout 60
pct shutdown <CTID> --timeout 60
Заменяйте <VMID> и <CTID> реальными
идентификаторами. Не отправляйте массовую команду остановки, если ещё
не определили, какие гости второстепенны. После уменьшения нагрузки
повторите наблюдение:
vmstat 1 5
iostat -xz 1 5
systemctl status pveproxy pvedaemon pvestatd --no-pager
Если очередь диска и время ожидания снижаются, а 502 исчезает, причина была связана с перегрузкой или медленным хранилищем. Это рабочая диагностика по наблюдаемой динамике, а не доказательство исправности самого диска.
Чего не делать
- Не перезапускайте процесс в состоянии
Dв надежде мгновенно освободить диск. - Не выполняйте повторные перезагрузки, пока не проверили ошибки ядра и хранилища.
- Не удаляйте lock-файлы и не меняйте конфигурацию гостя без понимания причины блокировки.
- Не запускайте все виртуальные машины и контейнеры одновременно после аварийного восстановления.
- Не принимайте единичное значение
%utilза окончательный диагноз: учитывайте тип диска, RAID, SSD, сеть и характер нагрузки.
Перезапуск pveproxy может быть оправдан, если служба
действительно не запущена или её журнал указывает на отдельную
ошибку. Но при активных процессах в D это не устранит
ожидание диска и иногда добавит новую очередь операций.
Проверка результата
- Повторно откройте веб-интерфейс и проверьте, исчез ли 502.
- Убедитесь, что
pveproxy,pvedaemonиpvestatdактивны. - Проверьте, что число процессов в состоянии
Dуменьшается. - Сравните
wa,awaitи очередь диска до и после остановки второстепенной нагрузки. - Проверьте журналы на новые ошибки после восстановления доступа.
Если интерфейс восстановился, но ошибки I/O продолжаются, не считайте проблему закрытой. Веб-доступ может вернуться раньше, чем хранилище стабилизируется.
Типовые ошибки диагностики
Первая ошибка — путать 502 с полной остановкой узла. Проверяйте SSH, локальную консоль и состояние служб независимо друг от друга.
Вторая — смотреть только на загрузку CPU. При IO-заторе процессор может быть недогружен, пока процессы проводят время в ожидании диска.
Третья — завершать процессы сигналом kill -9. Для
процесса в D сигнал не решает первопричину и может не
дать немедленного результата. Сначала разгрузите хранилище и проверьте
доступность устройства.
Четвёртая — считать, что медленный запуск всегда вызван Proxmox. Причина может находиться ниже: в RAID, локальном диске, сетевом хранилище, файловой системе, кабеле, контроллере или перегруженном сервере хранения.
Ограничения метода
Эти команды показывают состояние узла в момент проверки. Короткая выборка из пяти секунд может пропустить периодические пики. Для длительного анализа нужны заранее настроенный мониторинг, метрики хранилища и история загрузки.
Команды qm и pct требуют корректного
идентификатора и достаточных прав. Остановка гостя может прервать
работу приложения, поэтому второстепенной нагрузкой следует считать
только то, что разрешено вашей эксплуатационной процедурой.