Резервное копирование кластера Managed Service for Kubernetes в Object Storage

Данные в кластерах Managed Service for Kubernetes надежно хранятся и реплицируются в инфраструктуре Yandex Cloud. Однако в любой момент вы можете сделать резервные копии данных из групп узлов кластеров Managed Service for Kubernetes и хранить их в Yandex Object Storage или другом хранилище.

Вы можете создавать резервные копии данных из групп узлов кластера Managed Service for Kubernetes с помощью инструмента Velero. Этот инструмент поддерживает работу с дисками Yandex Cloud с помощью CSI-драйвера Kubernetes, и позволяет создавать моментальные снимки дисков томов.

При работе с Velero, установленным вручную, вы можете использовать nfs, emptyDir, локальный или любой другой тип тома, в котором нет встроенной поддержки моментальных снимков. Чтобы использовать такой тип тома, задействуйте плагин restic при установке Velero. Плагин restic не включен в Velero, установленный из Cloud Marketplace.

Из этой статьи вы узнаете, как создать резервную копию группы узлов одного кластера Managed Service for Kubernetes с помощью Velero, сохранить ее в Object Storage, а затем восстановить в группе узлов другого кластера:

1. Создайте резервную копию группы узлов Managed Service for Kubernetes.
2. Восстановите группу узлов другого кластера Managed Service for Kubernetes из резервной копии.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за каждый кластер Managed Service for Kubernetes: использование мастера и исходящий трафик (см. тарифы Managed Service for Kubernetes).
• Плата за ВМ (две группы узлов и ВМ для управления кластером без публичного доступа): использование вычислительных ресурсов, операционной системы и хранилища (см. тарифы Compute Cloud).
• Плата за публичные IP-адреса для узлов кластеров (см. тарифы Virtual Private Cloud).
• Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).

Перед началом работыПеред началом работы

Подготовьте инфраструктуруПодготовьте инфраструктуру

Выполните дополнительные настройкиВыполните дополнительные настройки

1. Выберите клиентскую часть Velero для своей платформы согласно таблице совместимости.

2. Скачайте клиентскую часть Velero, распакуйте архив и установите программу. Подробнее об установке программы читайте в документации Velero.

3. Убедитесь, что клиентская часть Velero установлена. Для этого выполните команду:

   velero version
   

   Результат:

   Client:
           Version: v1.10.3
           Git commit: 18ee078dffd9345df610e0ca9f61b31124e93f50
   

Резервное копированиеРезервное копирование

Чтобы выполнить резервное копирование данных группы узлов Managed Service for Kubernetes:

1. Установите kubectl и настройте его на работу с первым кластером Managed Service for Kubernetes.

   Если для кластера не предоставлен публичный адрес и kubectl настроен через внутренний адрес кластера, выполняйте команды kubectl на ВМ Yandex Cloud, находящейся в одной сети с кластером.

2. Установите приложение Velero:

   Yandex Cloud Marketplace

   Вручную

   Установите приложение Velero согласно инструкции. В поле Имя бакета Object Storage укажите созданный ранее бакет.

   Важно

   Если имя пространства имен, где установлено приложение Velero, отличается от velero, для всех последующих команд дополнительно используйте параметр --namespace <пространство_имен_приложения_Velero>.

   Примечание

   Плагин restic для создания снимков томов nfs, emptyDir, локальных и любых других типов томов без встроенной поддержки моментальных снимков, не включен в приложение Velero.

   1. Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

      По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

   2. Создайте сервисный аккаунт, необходимый для работы Velero.

   3. Назначьте ему роль storage.editor для доступа к Yandex Object Storage.

   4. Создайте статический ключ доступа для сервисного аккаунта в формате JSON и сохраните его в файл sa-key.json:

      yc iam access-key create \
         --service-account-name=<имя_сервисного_аккаунта> \
         --format=json > sa-key.json
      

   5. Создайте файл credentials с данными статического ключа доступа, полученными ранее:

      [default]
      aws_access_key_id=<идентификатор_ключа>
      aws_secret_access_key=<секретная_часть_ключа>
      

   6. Установите серверную часть Velero в кластер Managed Service for Kubernetes:

      kubectl label volumesnapshotclasses.snapshot.storage.k8s.io yc-csi-snapclass \
      velero.io/csi-volumesnapshot-class="true" && \
      velero install \
        --backup-location-config s3Url=https://storage.yandexcloud.net,region=ru-central1 \
        --bucket <имя_бакета> \
        --plugins velero/velero-plugin-for-aws:v1.5.2 \
        --provider aws \
        --secret-file <путь_к_файлу_credentials> \
        --features=EnableCSI \
        --use-volume-snapshots=true \
        --snapshot-location-config region=ru-central1 \
        --uploader-type=restic
      

      Где:

      • --backup-location-config — параметры хранилища резервных копий. URL-адрес хранилища Object Storage и регион.
      • --bucket — имя бакета Object Storage для хранения резервных копий, созданного ранее.
      • --plugins — образы плагина для совместимости с AWS API.
      • --provider — имя провайдера объектного хранилища.
      • --secret-file — полный путь к файлу с данными статического ключа доступа.
      • --features — список активных функциональных возможностей.
      • --snapshot-location-config — зона доступности, в которой будут размещены снимки дисков.
      • (опционально) --uploader-type=restic — включение плагина restic для создания снимков томов nfs, emptyDir, локальных и любых других типов томов без встроенной поддержки моментальных снимков.

      Результат:

      CustomResourceDefinition/backups.velero.io: attempting to create resource
      CustomResourceDefinition/backups.velero.io: already exists, proceeding
      CustomResourceDefinition/backups.velero.io: created
      ...
      Velero is installed! ⛵ Use 'kubectl logs deployment/velero -n velero' to view the status.
      

   7. Убедитесь, что под Velero перешел в состояние Running:

      kubectl get pods --namespace velero
      

3. Убедитесь, что квот на количество снимков дисков и их объем достаточно для создания резервной копии данных. Для этого можно использовать сервис проверки квот.

4. Выполните резервное копирование данных с группы узлов кластера Managed Service for Kubernetes:

   velero backup create my-backup
   

   Результат:

   Backup request "my-backup" submitted successfully.
   Run `velero backup describe my-backup` or `velero backup logs my-backup` for more details.
   

5. Дождитесь завершения резервного копирования. В графе STATUS появится значение Completed.

   velero backup get
   

   Результат:

   NAME       STATUS     ERRORS  WARNINGS  CREATED                        EXPIRES  STORAGE LOCATION  SELECTOR
   my-backup  Completed  0       0         2020-10-19 17:13:25 +0300 MSK  29d      default           <none>
   

Восстановление данных из резервной копииВосстановление данных из резервной копии

Чтобы восстановить данные группы узлов кластера Managed Service for Kubernetes:

1. Настройте kubectl на работу со вторым кластером Managed Service for Kubernetes.

   Если для кластера не предоставлен публичный адрес и kubectl настроен через внутренний адрес кластера, выполняйте команды kubectl на ВМ Yandex Cloud, находящейся в одной сети с кластером.

2. Установите приложение Velero:

   Yandex Cloud Marketplace

   Вручную

   Установите приложение Velero согласно инструкции. В поле Имя бакета Object Storage укажите созданный ранее бакет.

   Важно

   Если имя пространства имен, где установлено приложение Velero, отличается от velero, для всех последующих команд дополнительно используйте параметр --namespace <пространство_имен_приложения_Velero>.

   Примечание

   Плагин restic для создания снимков томов nfs, emptyDir, локальных и любых других типов томов без встроенной поддержки моментальных снимков, не включен в приложение Velero.

   1. Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

      По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

   2. Создайте сервисный аккаунт, необходимый для работы Velero.

   3. Назначьте ему роль storage.editor для доступа к Yandex Object Storage.

   4. Создайте статический ключ доступа для сервисного аккаунта в формате JSON и сохраните его в файл sa-key.json:

      yc iam access-key create \
         --service-account-name=<имя_сервисного_аккаунта> \
         --format=json > sa-key.json
      

   5. Создайте файл credentials с данными статического ключа доступа, полученными ранее:

      [default]
      aws_access_key_id=<идентификатор_ключа>
      aws_secret_access_key=<секретная_часть_ключа>
      

   6. Установите серверную часть Velero в кластер Managed Service for Kubernetes:

      kubectl label volumesnapshotclasses.snapshot.storage.k8s.io yc-csi-snapclass \
      velero.io/csi-volumesnapshot-class="true" && \
      velero install \
        --backup-location-config s3Url=https://storage.yandexcloud.net,region=ru-central1 \
        --bucket <имя_бакета> \
        --plugins velero/velero-plugin-for-aws:v1.5.2 \
        --provider aws \
        --secret-file <путь_к_файлу_credentials> \
        --features=EnableCSI \
        --use-volume-snapshots=true \
        --snapshot-location-config region=ru-central1 \
        --uploader-type=restic
      

      Где:

      • --backup-location-config — параметры хранилища резервных копий. URL-адрес хранилища Object Storage и регион.
      • --bucket — имя бакета Object Storage для хранения резервных копий, созданного ранее.
      • --plugins — образы плагина для совместимости с AWS API.
      • --provider — имя провайдера объектного хранилища.
      • --secret-file — полный путь к файлу с данными статического ключа доступа.
      • --features — список активных функциональных возможностей.
      • --snapshot-location-config — зона доступности, в которой будут размещены снимки дисков.
      • (опционально) --uploader-type=restic — включение плагина restic для создания снимков томов nfs, emptyDir, локальных и любых других типов томов без встроенной поддержки моментальных снимков.

      Результат:

      CustomResourceDefinition/backups.velero.io: attempting to create resource
      CustomResourceDefinition/backups.velero.io: already exists, proceeding
      CustomResourceDefinition/backups.velero.io: created
      ...
      Velero is installed! ⛵ Use 'kubectl logs deployment/velero -n velero' to view the status.
      

   7. Убедитесь, что под Velero перешел в состояние Running:

      kubectl get pods --namespace velero
      

3. Проверьте, что в новом кластере Managed Service for Kubernetes отображается резервная копия данных:

   velero backup get
   

   Результат:

   NAME       STATUS     ERRORS  WARNINGS  CREATED                        EXPIRES  STORAGE LOCATION  SELECTOR
   my-backup  Completed  0       0         2020-10-19 17:13:25 +0300 MSK  29d      default           <none>
   

4. Восстановите данные из резервной копии:

   velero restore create my-restore \
     --exclude-namespaces velero \
     --from-backup my-backup
   

   Где:

   • --exclude-namespaces — список пространств имен, которые необходимо исключить из процесса восстановления.
   • --from-backup — имя резервной копии для восстановления.

   Результат:

   Restore request "my-restore" submitted successfully.
   Run `velero restore describe my-restore` or `velero restore logs my-restore` for more details.
   

5. Дождитесь завершения восстановления данных из резервной копии. В графе STATUS появится значение Completed.

   velero get restore
   

   Результат:

   NAME        BACKUP     STATUS     STARTED                        COMPLETED                      ERRORS  WARNINGS  CREATED                        SELECTOR
   my-restore  my-backup  Completed  2020-10-20 14:04:55 +0300 MSK  2020-10-20 14:05:22 +0300 MSK  0       23        2020-10-20 14:04:55 +0300 MSK  <none>
   

Удалите созданные ресурсыУдалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их: