ПостКак я тестирую отказоустойчивость сервисов без боли и слёз

Как я тестирую отказоустойчивость сервисов без боли и слёз Один из самых частых вопросов в работе SRE а что будет, если упадёт X? Чтобы не гадать, я регулярно использую небольшой собственный «чеклист хаоса». Он простой, но реально спасает от катастроф. 1. Отключаю один из инстансов сервиса Если балансировщик начинает вести себя странно - фиксирую. Часто проблемы всплывают именно в момент деградации, а не отказа. 2. Имитирую деградацию базы Замедление на 200–400 мс показывает, насколько хорошо сервисы работают с connection pool и retry-логикой. 3. Убиваю DNS на 30 секунд Большинство проблем в проде - из-за DNS. Люблю тестировать, как приложение переживает недоступность резолвера. 4. Перегружаю сеть на 20–30% Трафик растёт, очереди растут. Отличный способ понять, где узкое место: балансировщик, ingress или сам backend. 5. Проверяю автоскейлинг Самая частая ошибка - красивые метрики, но неправильные триггеры. Тестирую всплесками нагрузки, а не «в теории». Совет: запускай такие тесты маленькими порциями, но регулярно. Так инфраструктура становится предсказуемой, а инциденты - скучными. Подпишись 👉@devopslib