infosec
@it_secur
infosec
Фото:
• В 1998 году, на финальном этапе производства мультика "История игрушек 2" кто-то в Pixar выполнил /bin/rm -r -f * не в том каталоге, и примерно 90% фильма удалилось на глазах у команды. Бэкапы, конечно, были, но есть два "но". Система резервного копирования не работала (переполненный диск маскировал ошибки), а восстановленная копия оказалась частично битой, и это вскрылось не сразу.
• Фильм спасла копия на домашнем компьютере технического директора Галин Сусман, которая работала из дома после рождения ребенка. ПК аккуратно упаковали и привезли в студию на автомобиле, как самый ценный груз в истории компании.
• Однако домашняя копия оказалась лишь самой свежей из нескольких неполных версий. Команда сравнила ее с двухмесячным бэкапом и деревом, собранным из уцелевших файлов на компьютерах аниматоров, результатов тестовых рендеров и других кусков. Из условных 100 тыс. файлов принять сразу удалось около 70 тыс., а оставшиеся 30 тыс. сотрудники Pixar проверяли вручную. Даже после этого часть материалов восстановить все равно не удалось.
• Ирония в том, что спустя несколько месяцев сценарий "Истории игрушек 2" почти полностью переписали, после чего значительную часть фильма сняли заново... Такая вот история.
Источники [1], [2].
#Разное
• Еще одна история - 31 января 2017 года инженер GitLab, чиня реплику PostgreSQL, выполнил (классика) . Команду остановили через пару секунд, но из 300 ГБ осталось только 4,5 ГБ. А вот дальше началось самое интересное...
• Дампы
https://about.gitlab.com/blog/postmortem-of-database-outage
• А когда вы в последний раз проверяли свои бэкапы?
#Разное
rm -rf каталога данных не на вторичном сервере, а на основном • Дампы
pg_dump создавались бинарниками версии 9.2 против PostgreSQL 9.6, из-за несовпадения major-версий завершались ошибкой, свежих дампов в S3 не было, а письма об ошибках отклонялись из-за DMARC. GitLab спас ручной LVM-снапшот, сделанный за шесть часов до инцидента для совершенно другой задачи. Однако были потеряны данные, созданные между 17:20 и 00:00 UTC, а это как минимум 5 тыс. проектов, 5 тыс. комментариев и около 700 пользователей. https://about.gitlab.com/blog/postmortem-of-database-outage• А когда вы в последний раз проверяли свои бэкапы?
#Разное
🔥 40
15
8
👍 3
😐 3
❤ 2
😱 1
😭 1
63 7.7K
Обсуждение 0
Обсуждение не доступно в веб-версии. Чтобы написать комментарий, перейдите в приложение Telegram.
Обсудить в Telegram