Практика дежурств в безопасном окружении
Прод упал.
Твоя смена.
Тренажёр инцидентов для SRE и DevOps
Чини сломанные серверы в настоящей консоли Linux: алерт, поиск причины, починка — и разбор, как это делают опытные SRE.
Первый кейс «Магазин недоступен» — самостоятельная практика на 3–5 минут: выясни причину недоступности и верни магазин в строй.
- 24живых кейсов
- 0установок
- Linuxв браузере
- Freeбез оплаты
ALERT shop-api: 502 · диск заполнен на 100% $ df -h /var/lib/shop tmpfs 512M 512M 0 100% /var/lib/shop $ sudo du -sh /var/lib/shop/* | sort -h 494M /var/lib/shop/export-nightly.csv $ sudo rm /var/lib/shop/export-nightly.csv $ sudo systemctl restart shop-api $ curl -sI localhost:8080/health HTTP/1.1 200 OK RESOLVED закрыт за 3:41 · +100 очков
Как это устроено
-
ALERT
Приходит инцидент
Получаешь симптомы и контекст последних изменений.
-
$ _
Разбираешься в консоли
Исследуешь настоящий Linux прямо в браузере.
-
RESOLVED
Проверка и разбор
Восстанавливаешь сервис и получаешь разбор решения.
Библиотека · 24 инцидентов
Не теория. Сломанный прод.
Каждый кейс — отдельный Linux-сервер, реальные симптомы и автоматическая проверка починки.
Фильтры: уровень и теги
Под выбранные фильтры кейсов нет.
Трек 1 Основы
Магазин недоступен
После обновления покупатели не могут открыть магазин: вместо страницы — 502 Bad Gateway. Сервер доступен, nginx работает, но приложение shop-api не отвечает. Выясни причину и восстанови магазин — от первой проверки до успешного запроса покупателя.
Приложение не запускается
Теперь shop-api не запускается. В журнале есть причина: найди её, освободи место для приложения и верни магазин в строй. Одна поломка — один понятный путь диагностики.
База данных не отвечает
PostgreSQL упал после деплоя. Пользователи получают 500 ошибки.
Высокая нагрузка на CPU
Серверы API потребляют 95% CPU. Latency выросла в 10 раз.
OOM Killer убивает процессы
Память закончилась, система убивает критичные сервисы.
Диск заполнен на 100%
Раздел /var/log заполнен логами. Сервис не может записывать новые данные.
Kubernetes поды в CrashLoopBackOff
После обновления конфигурации все поды падают в цикле.
SSL сертификат истёк
Пользователи не могут зайти на сайт, браузеры блокируют соединение.
Сайт отвечает 502 Bad Gateway
После релиза приложения nginx отдаёт покупателям 502, хотя сам работает.
Места нет, а df показывает свободное
API пишет «No space left on device», хотя на разделе свободно три четверти места.
Платёжный шлюз недоступен
Сервис оплаты не может достучаться до шлюза по имени, хотя шлюз работает.
Ночной бэкап не создаётся
После изменения окружения перестали появляться резервные копии магазина. Восстанови автоматическое резервное копирование и проверь данные.
HTTP 200, но белый экран
После обновления сайт показывает пустую страницу, хотя мониторинг видит 200 OK. Восстанови загрузку интерфейса и данных.
Маленькие файлы загружаются, большие — нет
Небольшой файл товара сохраняется, а обычная фотография получает 413. Свободное место есть, media-api работает. Найди ограничение в цепочке и восстанови загрузки до 4 МиБ.
Трек 2 Продвинутые
API исчерпал подключения к PostgreSQL
Долгие подключения перегружают PostgreSQL; исправление таймаута выявляет retry storm.
Too many open files
Шлюз уведомлений перестал принимать подключения, в журнале — Too many open files.
Сбитое время на сервере
Пользователи не могут войти — сервис считает токены «ещё не действительными».
Сайт работает через раз
После обновления магазина часть запросов завершается ошибками. Найди причину нестабильной работы и восстанови все экземпляры приложения.
Микросервисы перестали доверять друг другу
Внешний API работает, но запросы к внутреннему сервису завершаются 401. Восстанови доверенное взаимодействие сервисов.
Kubernetes Service не видит поды
После обновления поды запущены, но приложение через Service недоступно. Учебная симуляция Kubernetes с настоящими HTTP-процессами и редактируемыми манифестами.
API завис, но PostgreSQL работает
Магазин открывается, но оформление заказа заканчивается таймаутом. База принимает подключения и почти не использует CPU. Найди, кто удерживает рабочие запросы, и верни оформление заказов.
Заказы принимаются, обработка остановилась
API возвращает 202, RabbitMQ доступен, обработчик запущен. Но новые заказы не исполняются. Проследи доставку сообщения до подтверждения обработки и разбери очередь без потери заказов.
Кеш перепутал покупателей
После ускорения магазина покупатели видят чужие корзины или получают отказ после входа. Backend различает пользователей. Найди, где персональные ответы стали общими, и восстанови изоляцию сессий.
Авария есть, оповещение не приходит
Тестовая проверка оформления заказа падает, но дежурный не получает сообщение. Пройди цепочку Prometheus → Alertmanager → пейджер и восстанови настоящую доставку оповещений.
Частые вопросы
Это бесплатно?
Да, все кейсы бесплатные. Кейс 0 проходится без регистрации, для остальных нужен аккаунт — только имя и пароль, без почты и телефона.
Нужно что-то устанавливать?
Нет. Консоль открывается прямо в браузере, на твой компьютер ничего не ставится.
Это настоящий Linux?
Да. Каждому игроку поднимается отдельный изолированный сервер с Linux, где сломан сервис. Запускай любые команды: ни твой компьютер, ни других игроков это не затронет.
Что, если застряну?
У каждого кейса три подсказки: направление → где искать → конкретная команда. Они снижают очки, но решение всё равно засчитается. Окружение можно сбросить и начать заново.
Можно с телефона?
Кейс 0 — да. Остальные удобнее проходить с компьютера: команд много, а печатать их с телефонной клавиатуры неудобно.
Для кого это?
Для начинающих SRE, DevOps-инженеров и системных администраторов, дежурных и всех, кто готовится к первому дежурству или собеседованию. Начать можно с нуля: кейс 0 знакомит с самостоятельной диагностикой простого инцидента.