Повтор помогает при кратковременной ошибке, но становится усилителем, если клиент повторяет быстрее, чем зависимость восстанавливается. В каскадном кейсе исправление длинного ожидания открывает второй симптом: быстрые неограниченные повторы. Наблюдай весь путь, а не только первую зелёную метрику.
Свяжи скорость запросов со временем ожидания
При устойчивом потоке грубая оценка числа одновременно занятых запросов — скорость поступления, умноженная на среднее время удержания. Если 25 запросов в секунду удерживаются 8 секунд, это около 200 незавершённых запросов, ещё до дополнительных повторов. Реальные очереди и лимиты могут ограничивать или менять эту картину.
Эта оценка помогает объяснить расход соединений, памяти и потоков. Она не заменяет измерения и не является расчётом точного размера пула.
Найди, что именно ограничивает таймаут
Connect timeout, ожидание ответа и общий deadline запроса — разные интервалы. Проверь единицы и семантику настройки приложения. Значение 0 у разных библиотек может означать разные вещи; в учебном API проверь его трактовку по журналу и конфигурации.
systemctl cat api
tail -n 50 /var/log/api.logПуть к конфигурации бери из запуска сервиса. Не переноси параметры другого варианта кейса вслепую.
Ограничь попытки общим бюджетом
Нужны конечное число попыток и пауза между ними. Backoff увеличивает задержку, а jitter разносит клиентов по времени, чтобы они не атаковали зависимость синхронно. Общий срок должен учитывать все ожидания; повтор после истечения пользовательского deadline уже не помогает этому запросу.
В учебном кейсе предусмотрены параметры числа повторов и задержки. Более сложную промышленную политику с jitter и общим deadline применяют там, где её поддерживает клиент.
Проверь вложенные повторы и повторяемость операции
Если три уровня каждый допускает три попытки, при последовательных отказах нижний уровень может получить до 27 обращений на один исходный запрос. Для изменения данных дополнительно нужна идемпотентность: сетевой таймаут не доказывает, что первый запрос ничего не выполнил.
Не проверяй восстановление нагрузочной лавиной. Используй ограниченные наблюдения и безопасный маршрут чтения, предусмотренный учебным кейсом.
Наблюдай после первого улучшения
После изменения сравни ошибки, задержку, число соединений, CPU, RAM и рост логов. Подожди несколько циклов клиента: база может уже отвечать, но API ещё создавать волну повторов. В кейсе с балансировкой повторяющиеся ошибки также требуют проверки каждого backend.
tail -n 30 /var/log/api.log
pg_lsclusters
free -mУспех — устойчивое обслуживание бизнес-запросов и прекращение роста давления, а не одна удачная проверка health.
От симптома к проверке
| Наблюдение | Следующая проверка | Как читать результат |
|---|---|---|
| Много ожидающих запросов, память растёт | Connect timeout и время удержания | Долгое ожидание накапливает незавершённую работу. |
| Быстрые повторяющиеся ошибки в логах | Предел попыток и пауза | Быстрый отказ может превратиться в retry storm. |
| Один 200, затем снова деградация | Несколько циклов нагрузки и все зависимости | Мгновенная проверка не показывает устойчивость каскада. |
Типовые ошибки
- Сократить таймаут и не посмотреть повторы.
- Добавить повторы на каждом уровне без общего бюджета.
- Повторять изменяющую операцию без понимания идемпотентности.
Как доказать восстановление
- Проверь конечный бюджет ожидания и попыток.
- Сопоставь логи с динамикой подключений и ресурсов.
- Дождись нескольких нормальных циклов клиента без нового роста давления.
- Проверь полезный бизнес-запрос, сохранив работающие компоненты.
МИНИ-ИНЦИДЕНТ
Сколько обращений получает зависимость?
Три последовательных слоя каждый допускают три попытки при отказе следующего. Сколько обращений к нижнему слою возможно на один пользовательский запрос, если отказы вызывают все повторы?
client: up to 3 attempts
API: up to 3 attempts
dependency client: up to 3 attemptsРазобрать ход диагностики
До 27: 3 × 3 × 3. Это верхняя оценка для описанной вложенности, а не универсальная формула для любой системы. Ограничь повторы в осознанном месте, общий deadline и задержки; затем проверь реальную частоту запросов и восстановление зависимости.
ПРАКТИКУМ
Практикум: объясни данные и выбери действие
Три слоя повторяют один запрос. Посчитай верхнюю границу обращений к зависимости и общий бюджет времени.
edge: up to 3 total attempts
API: up to 3 total attempts
client: up to 2 total attempts
user deadline: 5 secondsСколько обращений возможно при вложенных повторах?
Сверить рассуждение
До 3 × 3 × 2 = 18 обращений, если каждый слой исчерпывает все попытки. Здесь заданы полные числа попыток, поэтому не нужно ещё раз прибавлять исходный запрос.
Почему локальные таймауты не гарантируют дедлайн пользователя?
Сверить рассуждение
Они могут складываться с ожиданием очереди, соединения и задержками между повторами. Нужен общий оставшийся бюджет, а не одинаковое число секунд на каждом слое.
Как проверить безопасность повтора записи?
Сверить рассуждение
Установи, могла ли первая попытка уже завершить действие при потерянном ответе. Нужен идемпотентный контракт или ключ операции; новый запрос не должен создавать второй заказ только из-за timeout.
ПРОВЕРЬ СЕБЯ
После сокращения таймаута база поднялась, но CPU API остаётся высоким. Что проверить?
Показать объяснение
Проверь частоту повторов, их предел и паузы; сопоставь лог с числом подключений. Быстрый отказ без ограничений способен создать новую волну нагрузки.
Пока без комментариев. Поделись первым впечатлением или задай вопрос по теме.