Урок 8 из 10Диагностика

14 мин · теория и практика · Продвинутые

Дескрипторы: лимит или утечка

Разбери Too many open files на работающем процессе, а не в своей оболочке.

Сможешь сравнить расход дескрипторов с лимитом и отличить законную нагрузку от утечки.

Сокеты, обычные файлы и каналы занимают файловые дескрипторы. Уведомления перестают приходить, хотя CPU и диск могут выглядеть нормально: процесс больше не может принять соединение или открыть лог. Три вопроса диагностики: сколько занято, какой предел действует и почему число растёт.

Найди текущий PID и его предел

ulimit -n относится к текущей оболочке и её потомкам. Сервис, запущенный systemd раньше, имеет собственные soft и hard limits. После restart PID меняется; повторно получи его, прежде чем сравнивать значения.

Команды
systemctl show notify-gateway -p MainPID -p LimitNOFILE
PID=$(systemctl show -p MainPID --value notify-gateway)
grep "open files" /proc/$PID/limits
Пример вывода
Max open files            1024                 4096                 files

В примере рабочий soft limit — 1024; наличие hard limit 4096 само по себе не даёт процессу 4096 доступных дескрипторов.

Посчитай и классифицируй расход

Каталог /proc/PID/fd содержит ссылки на открытые дескрипторы. Повтори счёт несколько раз при примерно одинаковой нагрузке. Сокеты должны сопоставляться с клиентами; тысячи ссылок на один лог при неизменном числе клиентов требуют другого объяснения.

Команды
sudo ls /proc/$PID/fd | wc -l
sudo ls -l /proc/$PID/fd | head -n 25
sudo lsof -p "$PID" | head -n 25

lsof может отсутствовать; /proc достаточно для первого сравнения. Небольшая разница между последовательными снимками нормальна для живого процесса.

Раздели две причины

Низкий предел при предсказуемом числе клиентских соединений — задача настройки ёмкости. Непрерывный рост без роста нагрузки — признак утечки. Поднятие лимита в последнем случае лишь отложит отказ и увеличит потенциальный расход ресурсов.

В этом инциденте исследуй и политику ресурсов, и режим аудита: одна строка EMFILE не выбирает между ними.

Сделай изменение устойчивым

Для systemd смотри исходный unit и drop-in, определяющий LimitNOFILE. Изменение limits.conf для PAM-сессий не меняет уже работающий сервис. После редактирования unit нужны перечитывание определений и перезапуск, затем проверка нового процесса.

Команды
systemctl cat notify-gateway
systemctl show notify-gateway -p LimitNOFILE

Значение выбирай по профилю нагрузки и запасу, а не по самому большому доступному числу. Если причина в утечке, исправляй её источник.

Докажи устойчивость на клиентах

После исправления дождись подключения ожидаемого числа клиентов и проверь health. Затем повтори счёт fd: важно, что число стабилизировалось, а не только упало сразу после restart. Ещё один restart проверяет сохранение настройки, но не заменяет наблюдение под нагрузкой.

От симптома к проверке

НаблюдениеСледующая проверкаКак читать результат
fd близко к soft limit, клиенты растутЛимит процесса и модель нагрузкиВозможен недостаточный предел для ожидаемой работы.
fd растут, клиенты не меняютсяТипы fd и повторяющиеся путиИщи удержание ресурсов или утечку.
После restart лимит прежнийUnit, drop-in и новый /proc/PID/limitsПроверь, что изменился источник и применился новый процесс.

Типовые ошибки

  • Повысить ulimit только в своей SSH-оболочке.
  • Поднять лимит, не объяснив рост ссылок на один файл.
  • Считать мгновенное падение fd после restart доказательством устранения утечки.

Как доказать восстановление

  1. Получи актуальный MainPID и его фактический soft limit.
  2. Дождись подключения ожидаемых клиентов.
  3. Проверь health и несколько снимков fd при той же нагрузке.
  4. Проверь устойчивость настройки после штатного перезапуска.

МИНИ-ИНЦИДЕНТ

Ещё больше лимит — или другая причина?

Клиентов постоянно 300, soft limit 4096. Число fd выросло с 500 до 3000 за две минуты, большинство новых ссылок ведут в audit.log. Какую гипотезу проверишь раньше увеличения лимита?

Данные для разбора
clients=300
fd: 500 -> 1500 -> 3000
new references: audit.log
Разобрать ход диагностики

Проверь, закрывается ли файл после операций аудита и какая настройка включает этот режим. Расход не объясняется ростом клиентов; увеличение предела лишь отложит отказ. После исправления нужно стабильное число fd при полезной работе шлюза.

ПРАКТИКУМ

Практикум: объясни данные и выбери действие

Лимит один и тот же, а использование растёт после одинаковых пачек запросов. Раздели нехватку бюджета и удержание ресурса.

Учебные данные
soft limit=1024
after 100 requests: fd=180
after 200 requests: fd=380
after 300 requests: fd=580
  1. Какую тенденцию стоит проверить ещё раз?

    Сверить рассуждение

    Проверь, возвращается ли число дескрипторов к исходному после завершения запросов. Рост сам по себе может быть пулом или кешем, но отсутствие плато и освобождения усиливает версию удержания.

  2. Какие типы объектов нужно различить?

    Сверить рассуждение

    Обычные файлы, сокеты и pipes дают разные направления расследования. Снимок /proc/PID/fd и lsof для текущего PID связывает расход с ресурсом, а не только с числом.

  3. Почему увеличение лимита не завершает проверку?

    Сверить рассуждение

    Оно может лишь отложить отказ. Повтори сопоставимую серию и проверь плато расхода, действующий предел нового процесса и пользовательские ответы.

ПРОВЕРЬ СЕБЯ

Почему ulimit -n в SSH-сессии не доказывает исправление notify-gateway?

Показать объяснение

Это другой процесс и другой контекст запуска. Проверь /proc нового PID/limits, число его fd и обслуживание клиентов.

Документация

Гостевой прогресс хранится отдельно в этом браузере.

ТЕПЕРЬ В КОНСОЛЬ

Закрепи на инциденте

Восстанови шлюз уведомлений, сохрани настройку после перезапуска и проверь всех клиентов.

ПОМОГЛО РАЗОБРАТЬСЯ?

Как тебе материал?

Оцени статью или напиши, где не хватило объяснения. Это поможет улучшить обучение.

Полезно 0 Не помогло 0

Войди, чтобы оценить статью и оставить комментарий.

Обсуждение

0

Войти в обсуждение →

Пока без комментариев. Поделись первым впечатлением или задай вопрос по теме.