35
Архитектуры Backup & Recovery решений Илья Космодемьянский [email protected] Москва 2011

Архитектуры Backup&recovery решений (Илья Космодемьянский)

  • Upload
    ontico

  • View
    934

  • Download
    2

Embed Size (px)

Citation preview

Page 1: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Архитектуры Backup & Recovery решенийИлья Космодемьянский[email protected]

Москва 2011

Page 2: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Падения неизбежны

• Не бывает абсолютной отказоустойчивости• “Быстро поднятое не считается упавшим”

Page 3: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

“Поднятая” система

• Доступна• Восстановлена производительность• Не потеряны данные

Page 4: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

время0падение

восстановление доступности

восстановление производительности

Page 5: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

время0падение

восстановление доступности

восстановление производительности

ww

w

ww

w

w

w

w

При работе системы проиходят изменения(копируем файлы, пишем в базу)

Page 6: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

время0падение

восстановление доступности

восстановление производительности

ww

w

ww

w

w

w

w

При работе системы проиходят изменения(копируем файлы, пишем в базу) На момент падения:

• Завершились успешно• Не завершились / не известно

Page 7: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Данные:

Page 8: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Процедура восстановления

• Восстановлены данные, которые не изменялись

• Восстановлены данные, которые изменялись в момент падения

• Восстановлена работоспособность системы

Page 9: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Восстановлены данные, которые изменялись в момент падения?

• Обычно это означает, что изменения вычищены из системы

• В транзакционных системах: откатить изменения

Page 10: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Восстановление непротиворечивого состояния системы на момент падения

Page 11: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Восстановление непротиворечивого состояния системы на момент падения

Backup & Recovery

Page 12: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Восстановление непротиворечивого состояния системы на момент падения

Backup & Recovery

Page 13: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Recovery objectives

• RTO

• RPO

• SLA

Page 14: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Что бэкапить?

• Всё?• Системный раздел ОС?

• Данные?• Важные конфиги?

Page 15: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Что бэкапить?

Page 16: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Что бэкапить?

+

Архив

Page 17: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

20Tb20Tb

1Tb2Tb

3Tb4Tb

5Tb6Tb

7Tb8Tb

9Tb10Tb

данныеполный backup

Diff -1 дняDiff - 2 дня

Diff - 10 дней

differential backup

Page 18: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Инкрементальный бэкап20Tb

1Tb

1Tb

1Tb

1Tb

1Tb

1Tb

20Tb

полный backup

полный backup

2й день - инкремент

инкремент от полного бэкапа!

Page 19: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Restore set20Tbполный backup

1Tb2й день - инкремент

1Tb3й день - инкремент

Page 20: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Restore set20Tbполный backup

1Tb2й день - инкремент

1Tb3й день - инкремент

Page 21: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Level backup20Tbполный backup - L0

полный backup

2й день - L1

3й день - L2

4й день - L3

20Tb

Page 22: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Backup retentionплн. инк. инк. инк. инк. инк. инк.

1 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

2 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

3 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

4 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

5 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

6 нед 20Tb

120Tb 5Tb 5Tb 5Tb 5Tb 5Tb 5Tb 150Tb

Page 23: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Backup retentionплн. инк. инк. инк. инк. инк. инк.

1 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

2 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

3 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

4 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

5 нед 20Tb 1Tb 1Tb 1Tb 1Tb 1Tb 1Tb

6 нед 20Tb

120Tb 5Tb 5Tb 5Tb 5Tb 5Tb 5Tb 150Tb

Период - 4 недели!

Page 24: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Бэкап файловой системы

• dump/restore

• cpio и tar (GNU!!)

• dd

• rsync

Page 25: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Базы данных

• Заточены под backup&recovery

• Холодный и горячий backup

Page 26: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Архивирование WAL

redoundo

WAL

Archivelog

Page 27: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Как выглядит бэкап?

• Копируем датафайл

• Он (возможно) неконсистентен• Для восстановления нужны архивные логи

Page 28: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Oracle

• RMAN

• Уровни• параллелизм• работа с железом• каталог

Page 29: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

PostgreSQL

• Полный бэкап• Архивирование WAL

• Нет уровней (вернее есть но один)

Page 30: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

MySQL

• Enterprise Backup и Percona XtraBackup

• Только для транзакционных энджинов

Page 31: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Вредные советы

• Падения бывают не только от сбоя железа, но и от кривых рук• Проблемы от кривых рук очень быстро расползаются с мастера

• За самой репликацией нужен глаз да глаз

Заменяйте бэкап репликацией!

Page 32: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Вредные советы

• Пока не понадобилось восстановление, про бэкап никто не помнит

• Часто это обязанность самого младшего админа

Выделяйте человеческие ресурсы на обеспечение бэкапа по остаточному принципу!

Page 33: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Вредные советы

• Любой бэкап может быть битым• Проверить можно только восстановлением

Тестовое восстановление придумали трусы!

Page 34: Архитектуры Backup&recovery решений  (Илья Космодемьянский)

Вредные советы

• C backup & recovery мелочей не бывает

• “В системе было предусмотрено решение HP DataProtector стоимостью $$$$$$, но никто не вспомнил настройки LVM”

• Сервер с каталогом RMAN восстановить не удалось

Главное чтобы в целом все как-то работало!