Вы когда нибудь испытывали учащенное сердцебиение, подкашивающиеся колени, как только вам приходила мысль, что однажды, вам придётся восстанавливать упавший продакшен и пропавшие базы данных?
У меня обычно такое состояние и случается.
Тут появилась мысль, что мы можем проводить «учения по безопасности», прямо как в школе 🙂
Пост был написан ещё неделю назад, но сегодня у Коли вышел пост о том, как можно вайбкодить с телефона, Валера его репостнул и в комментах у парней много народа переживает о том, что агент может что-нибудь снести и потом пиши-пропало. Так вот, есть решение этой проблемы
Весь описанный путь дальше мы проходим с агентами и просим помочь разобраться. Если не знаем, какое решение выбрать, задаем вопросы агенту.
1. Определяем, какие бэкапы нам нужно делать.
Базы данных? Конфигов приложений? Сервера?
2. Создаем инструментарий
1) Ищем существующие инструменты бэкапов или создаем свои, чтобы делать эти бэкапы. Пример такого инструмента.
Для себя я ещё давно подготовил cli tool, который делает бэкап БД из моего docker postgres container и заливает в s3 storage.
2) Подготавливаем инфраструктуру для этого.
Настраиваем доступы к хранению бэкапов (s3), настраиваем пермишены к папкам/тулам и т. д.
3. Описываем нашу инфру
(OS, db, docker, все инструменты, которые участвуют в этом, etc)
Сохраняем памятку где-нибудь на сервере или в том месте, куда мы сразу пойдем, в случае аварии.
4. Сохраняем бэкапы
5. Теперь, нам нужно понять, насколько хорошо мы вообще подготовились.
Для этого мы можем провести учения.
Я посовещался с Опусом и он мне предложил самый действенный путь, как такое провернуть.
1. Копируем наш продакшен сервер на новый сервер (как это сделать с вашим сервером — спросите своего опуса)
2. После подготовки второго продакшена, запускаем на него нового агента и говорим — смотри, у нас внезапно пропала БД, надо восстановить, вот тебе памятка, что делать в таком случае, выполни задачу.
3. Отходим подальше и смотрим как агент в роли МЧСника тушит пожар и восстанавливает нашу систему 🤞
4. Запускаем систему и убеждаемся что, всё работает. Если нет, то говорим об этом агенту.
Важно в конце попросить его подготовить отчет о том, насколько эффективным был процесс восстановления и что стоит улучшить
Идем и улучшаем наш процесс восстановления — обновляем инструменты, дорабатываем памятку
5. Готово! Вы подготовлены к аварии!
Лайк, репост,
✔️ Тимур Хахалев про AI Coding, подписывайтесь!
Добавить комментарий