Практический разбор До 12 минут чтения Уровень: средний

Почему Proxmox отвечает 502 после перезагрузки: диагностика IO-затора

Почему Proxmox отвечает 502 после перезагрузки: диагностика IO-затора
Temporary fallback cover; replace in editorial pass.

Ошибка 502 сразу после перезагрузки узла Proxmox не всегда означает, что веб-сервис сломан. Часто интерфейс ждёт ответ от компонентов, которые одновременно запускают виртуальные машины и контейнеры, а дисковая подсистема не успевает обработать очередь запросов.

Самое важное из мира AI — в канале MAX AgentLabОтдельные разборы, инструменты и практические схемы Читайте Agent Lab в Telegram Разборы, кейсы и новости о практических AI-агентах без лишней воды.

Что означает 502 в этой ситуации

В Proxmox веб-интерфейс обслуживается процессом pveproxy. Он принимает HTTPS-запрос, проверяет права и обращается к локальным службам, включая pvedaemon и pvestatd. Если зависимый компонент не отвечает вовремя, браузер или обратный прокси может показать 502.

Это симптом недоступности цепочки управления, а не доказательство того, что сам веб-сервис завершился. После массового запуска гостевых систем узел может одновременно читать конфигурации, диски виртуальных машин, журналы и данные контейнеров. При этом управляющие процессы остаются запущенными, но ждут завершения операций ввода-вывода.

IO-затор — это ситуация, когда множество операций чтения и записи образуют очередь, а время ожидания диска становится главным ограничением для всей системы.

Главный признак: сервис жив, но процессы ждут диск

Сначала подключитесь к узлу по SSH или откройте локальную консоль. Не начинайте с перезапуска всех служб: сначала зафиксируйте состояние.

date
uptime
systemctl --failed
systemctl status pveproxy pvedaemon pvestatd --no-pager

Если службы имеют состояние active (running), но интерфейс всё равно отвечает 502, проверьте процессы и нагрузку на диск.

ps -eo state,pid,ppid,comm,wchan:32,cmd --sort=state | sed -n '1,80p'
vmstat 1 5
iostat -xz 1 5

В выводе vmstat обратите внимание на wa — долю времени ожидания ввода-вывода. В iostat полезны поля await, aqu-sz и %util. Высокие значения сами по себе не доказывают неисправность: важна их связь с моментом запуска гостей.

Как распознать состояние D

Состояние D означает непрерываемое ожидание, обычно связанное с операцией ядра или драйвера. Такие процессы часто выглядят «зависшими», но команда остановки не обязана сработать немедленно: процесс сначала должен вернуться из системного вызова.

ps -eo state,pid,ppid,comm,wchan:32,cmd | awk '$1 ~ /^D/ {print}'

Если среди процессов в D есть задачи QEMU, контейнеров, pvedaemon или процессы, связанные с хранилищем, это сильный признак IO-затора. Полезно посмотреть, на каком хранилище лежат гости и нет ли ошибок ядра:

findmnt
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,MODEL
dmesg -T | tail -n 100

В dmesg ищите сообщения о тайм-аутах, сбоях диска, ошибках файловой системы, проблемах multipath, NFS или сетевого хранилища. Само наличие процесса в D не позволяет определить причину без проверки этих сообщений.

Отличаем медленный диск от действительно зависшего сервиса

Наблюдение Вероятная причина Что делать
pveproxy активен, есть процессы в D, растёт await Конкуренция за диск Снизить второстепенную нагрузку и наблюдать динамику
Служба не запущена, в журнале есть ошибка запуска Ошибка конфигурации или зависимости Изучить журнал конкретной службы
Высокий wa, но ошибок диска нет Очередь операций после массового старта Дождаться снижения очереди, временно остановить необязательных гостей
Ошибки I/O, тайм-ауты, отвалившееся хранилище Проблема устройства или пути к хранилищу Не перегружать узел многократно; проверять инфраструктуру хранения

Для точной проверки состояния служб используйте журналы, а не только сообщение браузера:

journalctl -b -u pveproxy --no-pager -n 100
journalctl -b -u pvedaemon --no-pager -n 100
journalctl -b -u pvestatd --no-pager -n 100
journalctl -b -p warning..alert --no-pager

Безопасный способ ускорить восстановление

Если узел отвечает по SSH, а причина похожа на конкуренцию за диск, временно остановите второстепенную нагрузку. Начните с гостевых систем, которые не нужны для восстановления сервиса. Делайте это через штатный интерфейс Proxmox или команду, соответствующую вашей политике эксплуатации.

Перед остановкой найдите идентификаторы и состояние гостей:

qm list
pct list

Затем остановите только выбранную виртуальную машину или контейнер, например:

qm shutdown <VMID> --timeout 60
pct shutdown <CTID> --timeout 60

Заменяйте <VMID> и <CTID> реальными идентификаторами. Не отправляйте массовую команду остановки, если ещё не определили, какие гости второстепенны. После уменьшения нагрузки повторите наблюдение:

vmstat 1 5
iostat -xz 1 5
systemctl status pveproxy pvedaemon pvestatd --no-pager

Если очередь диска и время ожидания снижаются, а 502 исчезает, причина была связана с перегрузкой или медленным хранилищем. Это рабочая диагностика по наблюдаемой динамике, а не доказательство исправности самого диска.

Чего не делать

  • Не перезапускайте процесс в состоянии D в надежде мгновенно освободить диск.
  • Не выполняйте повторные перезагрузки, пока не проверили ошибки ядра и хранилища.
  • Не удаляйте lock-файлы и не меняйте конфигурацию гостя без понимания причины блокировки.
  • Не запускайте все виртуальные машины и контейнеры одновременно после аварийного восстановления.
  • Не принимайте единичное значение %util за окончательный диагноз: учитывайте тип диска, RAID, SSD, сеть и характер нагрузки.

Перезапуск pveproxy может быть оправдан, если служба действительно не запущена или её журнал указывает на отдельную ошибку. Но при активных процессах в D это не устранит ожидание диска и иногда добавит новую очередь операций.

Проверка результата

  1. Повторно откройте веб-интерфейс и проверьте, исчез ли 502.
  2. Убедитесь, что pveproxy, pvedaemon и pvestatd активны.
  3. Проверьте, что число процессов в состоянии D уменьшается.
  4. Сравните wa, await и очередь диска до и после остановки второстепенной нагрузки.
  5. Проверьте журналы на новые ошибки после восстановления доступа.

Если интерфейс восстановился, но ошибки I/O продолжаются, не считайте проблему закрытой. Веб-доступ может вернуться раньше, чем хранилище стабилизируется.

Типовые ошибки диагностики

Первая ошибка — путать 502 с полной остановкой узла. Проверяйте SSH, локальную консоль и состояние служб независимо друг от друга.

Вторая — смотреть только на загрузку CPU. При IO-заторе процессор может быть недогружен, пока процессы проводят время в ожидании диска.

Третья — завершать процессы сигналом kill -9. Для процесса в D сигнал не решает первопричину и может не дать немедленного результата. Сначала разгрузите хранилище и проверьте доступность устройства.

Четвёртая — считать, что медленный запуск всегда вызван Proxmox. Причина может находиться ниже: в RAID, локальном диске, сетевом хранилище, файловой системе, кабеле, контроллере или перегруженном сервере хранения.

Ограничения метода

Эти команды показывают состояние узла в момент проверки. Короткая выборка из пяти секунд может пропустить периодические пики. Для длительного анализа нужны заранее настроенный мониторинг, метрики хранилища и история загрузки.

Команды qm и pct требуют корректного идентификатора и достаточных прав. Остановка гостя может прервать работу приложения, поэтому второстепенной нагрузкой следует считать только то, что разрешено вашей эксплуатационной процедурой.