Сокеты, обычные файлы и каналы занимают файловые дескрипторы. Уведомления перестают приходить, хотя CPU и диск могут выглядеть нормально: процесс больше не может принять соединение или открыть лог. Три вопроса диагностики: сколько занято, какой предел действует и почему число растёт.
Найди текущий PID и его предел
ulimit -n относится к текущей оболочке и её потомкам. Сервис, запущенный systemd раньше, имеет собственные soft и hard limits. После restart PID меняется; повторно получи его, прежде чем сравнивать значения.
systemctl show notify-gateway -p MainPID -p LimitNOFILE
PID=$(systemctl show -p MainPID --value notify-gateway)
grep "open files" /proc/$PID/limitsMax open files 1024 4096 filesВ примере рабочий soft limit — 1024; наличие hard limit 4096 само по себе не даёт процессу 4096 доступных дескрипторов.
Посчитай и классифицируй расход
Каталог /proc/PID/fd содержит ссылки на открытые дескрипторы. Повтори счёт несколько раз при примерно одинаковой нагрузке. Сокеты должны сопоставляться с клиентами; тысячи ссылок на один лог при неизменном числе клиентов требуют другого объяснения.
sudo ls /proc/$PID/fd | wc -l
sudo ls -l /proc/$PID/fd | head -n 25
sudo lsof -p "$PID" | head -n 25lsof может отсутствовать; /proc достаточно для первого сравнения. Небольшая разница между последовательными снимками нормальна для живого процесса.
Раздели две причины
Низкий предел при предсказуемом числе клиентских соединений — задача настройки ёмкости. Непрерывный рост без роста нагрузки — признак утечки. Поднятие лимита в последнем случае лишь отложит отказ и увеличит потенциальный расход ресурсов.
В этом инциденте исследуй и политику ресурсов, и режим аудита: одна строка EMFILE не выбирает между ними.
Сделай изменение устойчивым
Для systemd смотри исходный unit и drop-in, определяющий LimitNOFILE. Изменение limits.conf для PAM-сессий не меняет уже работающий сервис. После редактирования unit нужны перечитывание определений и перезапуск, затем проверка нового процесса.
systemctl cat notify-gateway
systemctl show notify-gateway -p LimitNOFILEЗначение выбирай по профилю нагрузки и запасу, а не по самому большому доступному числу. Если причина в утечке, исправляй её источник.
Докажи устойчивость на клиентах
После исправления дождись подключения ожидаемого числа клиентов и проверь health. Затем повтори счёт fd: важно, что число стабилизировалось, а не только упало сразу после restart. Ещё один restart проверяет сохранение настройки, но не заменяет наблюдение под нагрузкой.
От симптома к проверке
| Наблюдение | Следующая проверка | Как читать результат |
|---|---|---|
| fd близко к soft limit, клиенты растут | Лимит процесса и модель нагрузки | Возможен недостаточный предел для ожидаемой работы. |
| fd растут, клиенты не меняются | Типы fd и повторяющиеся пути | Ищи удержание ресурсов или утечку. |
| После restart лимит прежний | Unit, drop-in и новый /proc/PID/limits | Проверь, что изменился источник и применился новый процесс. |
Типовые ошибки
- Повысить ulimit только в своей SSH-оболочке.
- Поднять лимит, не объяснив рост ссылок на один файл.
- Считать мгновенное падение fd после restart доказательством устранения утечки.
Как доказать восстановление
- Получи актуальный MainPID и его фактический soft limit.
- Дождись подключения ожидаемых клиентов.
- Проверь health и несколько снимков fd при той же нагрузке.
- Проверь устойчивость настройки после штатного перезапуска.
МИНИ-ИНЦИДЕНТ
Ещё больше лимит — или другая причина?
Клиентов постоянно 300, soft limit 4096. Число fd выросло с 500 до 3000 за две минуты, большинство новых ссылок ведут в audit.log. Какую гипотезу проверишь раньше увеличения лимита?
clients=300
fd: 500 -> 1500 -> 3000
new references: audit.logРазобрать ход диагностики
Проверь, закрывается ли файл после операций аудита и какая настройка включает этот режим. Расход не объясняется ростом клиентов; увеличение предела лишь отложит отказ. После исправления нужно стабильное число fd при полезной работе шлюза.
ПРАКТИКУМ
Практикум: объясни данные и выбери действие
Лимит один и тот же, а использование растёт после одинаковых пачек запросов. Раздели нехватку бюджета и удержание ресурса.
soft limit=1024
after 100 requests: fd=180
after 200 requests: fd=380
after 300 requests: fd=580Какую тенденцию стоит проверить ещё раз?
Сверить рассуждение
Проверь, возвращается ли число дескрипторов к исходному после завершения запросов. Рост сам по себе может быть пулом или кешем, но отсутствие плато и освобождения усиливает версию удержания.
Какие типы объектов нужно различить?
Сверить рассуждение
Обычные файлы, сокеты и pipes дают разные направления расследования. Снимок /proc/PID/fd и lsof для текущего PID связывает расход с ресурсом, а не только с числом.
Почему увеличение лимита не завершает проверку?
Сверить рассуждение
Оно может лишь отложить отказ. Повтори сопоставимую серию и проверь плато расхода, действующий предел нового процесса и пользовательские ответы.
ПРОВЕРЬ СЕБЯ
Почему ulimit -n в SSH-сессии не доказывает исправление notify-gateway?
Показать объяснение
Это другой процесс и другой контекст запуска. Проверь /proc нового PID/limits, число его fd и обслуживание клиентов.
Пока без комментариев. Поделись первым впечатлением или задай вопрос по теме.