ПостГладко было на бумаге, но забыли про овраги...

Гладко было на бумаге, но забыли про овраги... Про то, что резервные копии нужно не только делать, но и регулярно проверять, вроде бы знают все. Но одной лишь проверки архивов абсолютно недостаточно для нормального восстановления в аварийной ситуации. Чтобы оценить реальные возможности инфраструктуры и людей, рекомендуется проводить учения — стресс-тесты по подъему сервисов, максимально приближенные к реальности. Некоторое время назад одни мои коллеги такие учения провели. И с треском их провалили. Причины оказались поучительными и весьма далекими от высоких технологий. По сценарию учения стартовали во второй половине дня субботы, когда на предприятии остался только линейный персонал. Руководство отсутствует, начальник IT-отдела «в отпуске» (доступен только по телефону). Оборудование подготовили заранее: сымитировали отказ дискового массива с частичным повреждением данных. Дежурные сотрудники про учения знали, но без деталей — им предстояло самостоятельно диагностировать сбой и поднять тестовую копию сервиса. И тут начался реальный мир: 1️⃣ Физический доступ в серверную. Ключ от серверной оказался заперт в кабинете начальника охраны, а сам кабинет — опечатан. Начальник службы безопасности к этому моменту уже благополучно добрался до дачи и успел принять рюмочку. Узнав, что тревога учебная, срываться обратно в город он наотрез отказался. В итоге начальник IT был вынужден лично приехать в офис и вместе с присутствующими менеджерами составлять комиссионный акт, вскрывать опечатанную дверь и добывать ключ. 2️⃣ ЗИП под замком. Когда в серверную наконец прорвались, выяснилось: резервные диски и комплектующие лежат на складе. Склад на выходных закрыт, а материально ответственные лица отдыхают. Вскрывать склад даже коллективно под акт желающих не нашлось: дураков нет. 3️⃣ План «Б» и высота. Родилась идея: в цеху висит ненагруженный сервисный NAS, с которого можно безболезненно сдернуть рабочий донорский диск. Побежали в цех. Но телекоммуникационный шкаф смонтирован под самым потолком — снизу руками не дотянуться, нужна стремянка. А где заперта стремянка? Правильно, на том же самом складе… На этом этапе учения признали официально проваленными. После чего техническое руководство и топ-менеджмент дружно сели думать над жизнью. Понятно, что при реальной катастрофе и склад бы разнесли, и замок с печатью срезали. Но аварийный регламент не должен держаться на выбивании дверей фомкой. Доступ к первичным точкам отказа, аварийный ЗИП «первой линии» и банальный инструмент обязаны быть доступны дежурной смене круглосуточно — без звонков на дачи нетрезвым начальникам охраны.