Резервные копии в Yandex MPP Analytics for PostgreSQL
Примечание
В регионе Казахстан доступна только зона доступности kz1-a.
Yandex MPP Analytics for PostgreSQL обеспечивает автоматическое и ручное резервное копирование баз данных.
Для кластеров с неподдерживаемой версией СУБД восстановление из резервных копий недоступно.
Чтобы восстановить кластер из резервной копии, следуйте инструкциям. Вы также можете восстановить кластер, чтобы перенести его хосты в другую зону доступности.
Создание резервной копии
Первая и каждая седьмая автоматические резервные копии, а также все резервные копии, созданные вручную, — полные резервные копии всех баз данных. Остальные резервные копии — инкрементные, хранится только разница с предыдущей резервной копией, что позволяет экономить место в хранилище и снижать нагрузку на кластер в процессе создания резервной копии.
Резервная копия автоматически создается раз в день. Отключить автоматическое создание резервной копии невозможно. Однако при создании или изменении кластера для таких резервных копий можно задать промежуток времени, в течение которого начинается резервное копирование. По умолчанию — 22:00 - 23:00 UTC (Coordinated Universal Time).
После создания резервная копия сжимается для дальнейшего хранения. Для append-optimized таблиц используется технология дедупликации данных — копируются только новые добавленные данные или старые, если прошло более 30 дней с момента их последней архивации. Размер дедуплицированной части не включается в размер резервной копии, поэтому отображаемое значение может быть существенно меньше размера данных в кластере.
Резервные копии создаются только на работающих кластерах. Если вы используете кластер Yandex MPP Analytics for PostgreSQL не круглосуточно, проверьте настройки времени начала резервного копирования.
О том, как вручную создать резервную копию, читайте в разделе Управление резервными копиями.
Хранение резервной копии
Особенности хранения резервных копий в Yandex MPP Analytics for PostgreSQL:
-
Резервные копии хранятся в объектном хранилище в виде бинарных файлов и шифруются с помощью GPG. У каждого кластера свои ключи шифрования.
-
Общий объем резервной копии определяется как сумма объемов копии данных и журнала WAL. Объем копии не включает объем дедуплицированных данных append-optimized таблиц. Объем данных журнала WAL зависит от количества вносимых изменений и может быть сопоставим с объемом копии. Оба значения можно получить со списком резервных копий.
-
Автоматические резервные копии хранятся 7 дней. Созданные вручную — бессрочно, до момента их ручного удаления.
-
После удаления кластера все его резервные копии хранятся 7 дней.
-
На хранилище резервных копий не распространяется действие квот и лимитов для хранилища кластера.
Восстановление из резервной копии
Восстанавливая кластер из резервной копии, вы создаете новый кластер с данными из резервной копии. При этом понадобится задать все его параметры, как и при обычном создании кластера. Если в каталоге не хватает ресурсов для создания такого кластера, восстановиться из резервной копии не получится.
При помощи восстановления из резервной копии также можно переместить хосты кластера Yandex MPP Analytics for PostgreSQL из одной зоны доступности в другую. Для этого во время восстановления укажите новую зону доступности. Если ваш кластер выступает в роли эндпоинта Yandex Data Transfer, после восстановления из резервной копии создайте заново эндпоинт и трансфер.
Если в качестве времени восстановления выбран текущий момент, состояние нового кластера будет соответствовать последней доступной точке восстановления.
Совет
Проводите плановые тесты восстановления кластера из резервных копий.
Ограничения
Существуют ограничения на параметры нового кластера при восстановлении из резервной копии:
- Общее количество сегментов должно совпадать с исходным кластером.
- Размер диска на один сегмент в новом кластере должен быть не меньше, чем у исходного кластера.
Предположим, что в исходном кластере было 4 хоста-сегмента, в каждом хосте-сегменте содержалось 4 сегмента. Общее количество сегментов — 16. При восстановлении кластера можно выбрать 2 хоста-сегмента по 8 сегментов на хост, чтобы общее количество сегментов осталось равным 16.
Чтобы размер диска на один сегмент не уменьшился, в каждом хосте-сегменте размер диска должен увеличиться по крайней мере в 2 раза.
PITR в Yandex MPP Analytics for PostgreSQL
Yandex MPP Analytics for PostgreSQL позволяет вернуть состояние кластера на точку восстановления, в которой данные консистентны (Point-in-Time-Recovery, PITR). Точки восстановления создаются раз в час. Если задать время восстановления, будет использована ближайшая точка, созданная до этого времени. При восстановлении выбранной резервной копии кластера ее данные будут дополняться записями из журналов WAL (Write-Ahead Log) до ближайшей точки восстановления включительно.
Например, если создание резервной копии завершилось 10.11.2022 в 12:00:00 UTC, текущая дата — 15.11.2022 19:00:00 UTC, а последняя точка восстановления была создана 15.11.2022 в 18:00:00 UTC, кластер может быть восстановлен в любую точку восстановления в промежутке времени с 10.11.2022 12:00:01 UTC до 15.11.2022 18:00:00 UTC включительно. Если указать время восстановления 15.11.2022 17:30:00 UTC, то кластер будет восстановлен на точку восстановления 15.11.2022 17:00:00 UTC.
По умолчанию режим PITR включен. Он работает только с автоматическими резервными копиями.