Управление резервными копиями в Managed Service for OpenSearch

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список всех резервных копий в каталоге, выполните команду:

yc managed-opensearch backup list

Результат:

+----------------------+---------------------+-------------------+---------------------+
|          ID          |      CREATED AT     | SOURCE CLUSTER ID |      STARTED AT     |
+----------------------+---------------------+-------------------+---------------------+
| c9qlk4v13uq7******** | 2024-01-09 14:38:34 | c9qpm4i********   | 2024-01-09 14:38:28 |
| c9qpm90p3pcg******** | 2024-01-09 13:38:31 | c9qpm4i********   | 2024-01-09 13:38:28 |
+----------------------+---------------------+-------------------+---------------------+

Если вы хотите ограничить список резервных копий, который выводится после запуска команды, передайте в команде флаг --limit <количество_записей>. Например, если вывод команды yc managed-opensearch backup list занимает несколько экранов, выполните команду yc managed-opensearch backup list --limit 5. Тогда вывод будет содержать список из последних пяти резервных копий.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Чтобы получить список резервных копий кластера:

   1. Воспользуйтесь методом Cluster.ListBackups и выполните запрос, например, с помощью cURL:

      curl \
          --request GET \
          --header "Authorization: Bearer $IAM_TOKEN" \
          --url 'https://mdb.api.cloud.yandex.net/managed-opensearch/v1/clusters/<идентификатор_кластера>/backups'
      

      Идентификатор кластера можно запросить со списком кластеров в каталоге.

   2. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

3. Чтобы получить список резервных копий всех кластеров в каталоге:

   1. Воспользуйтесь методом Backup.List и выполните запрос, например, с помощью cURL:

      curl \
          --request GET \
          --header "Authorization: Bearer $IAM_TOKEN" \
          --url 'https://mdb.api.cloud.yandex.net/managed-opensearch/v1/backups' \
          --url-query folderId=<идентификатор_каталога>
      

      Идентификатор каталога можно запросить со списком каталогов в облаке.

   2. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Чтобы получить список резервных копий кластера:

   1. Воспользуйтесь вызовом ClusterService.ListBackups и выполните запрос, например, с помощью gRPCurl:

      grpcurl \
          -format json \
          -import-path ~/cloudapi/ \
          -import-path ~/cloudapi/third_party/googleapis/ \
          -proto ~/cloudapi/yandex/cloud/mdb/opensearch/v1/cluster_service.proto \
          -rpc-header "Authorization: Bearer $IAM_TOKEN" \
          -d '{
                "cluster_id": "<идентификатор_кластера>"
              }' \
          mdb.api.cloud.yandex.net:443 \
          yandex.cloud.mdb.opensearch.v1.ClusterService.ListBackups
      

      Идентификатор кластера можно запросить со списком кластеров в каталоге.

   2. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

4. Чтобы получить список резервных копий всех кластеров в каталоге:

   1. Воспользуйтесь вызовом BackupService.List и выполните запрос, например, с помощью gRPCurl:

      grpcurl \
          -format json \
          -import-path ~/cloudapi/ \
          -import-path ~/cloudapi/third_party/googleapis/ \
          -proto ~/cloudapi/yandex/cloud/mdb/opensearch/v1/backup_service.proto \
          -rpc-header "Authorization: Bearer $IAM_TOKEN" \
          -d '{
                "folder_id": "<идентификатор_каталога>"
              }' \
          mdb.api.cloud.yandex.net:443 \
          yandex.cloud.mdb.opensearch.v1.BackupService.List
      

      Идентификатор каталога можно запросить со списком каталогов в облаке.

   2. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить информацию о резервной копии кластера:

1. Получите идентификатор резервной копии вместе со списком всех резервных копий в каталоге:

   yc managed-opensearch backup list
   

   Идентификатор указан в столбце ID в выводе команды.

2. Получите информацию о нужной резервной копии:

   yc managed-opensearch backup get <идентификатор_резервной_копии>
   

   Пример результата команды:

   id: c9qlk4v13uq7********
   folder_id: b1g86q4m5vej********
   source_cluster_id: c9qpm4i********
   started_at: "2024-01-09T10:38:28.683Z"
   created_at: "2024-01-09T10:38:31.685Z"
   indices:
     - .mdb-sli
     - .opendistro_security
     - .kibana_1
     - .opendistro-job-scheduler-lock
     - .opensearch-observability
     - .opendistro-ism-config
   opensearch_version: 2.8.0
   indices_total: "6"
   

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Backup.Get и выполните запрос, например, с помощью cURL:

   curl \
       --request GET \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --url 'https://mdb.api.cloud.yandex.net/managed-opensearch/v1/backups/<идентификатор_резервной_копии>'
   

   Идентификатор резервной копии можно запросить со списком резервных копий.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом BackupService.Get и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/opensearch/v1/backup_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "backup_id": "<идентификатор_резервной_копии>"
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.opensearch.v1.BackupService.Get
   

   Идентификатор резервной копии можно запросить со списком резервных копий.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать резервную копию данных кластера, выполните команду:

yc managed-opensearch cluster backup <имя_или_идентификатор_кластера>

Имя и идентификатор кластера можно запросить со списком кластеров в каталоге.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.Backup и выполните запрос, например, с помощью cURL:

   curl \
       --request POST \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.cloud.yandex.net/managed-opensearch/v1/clusters/<идентификатор_кластера>:backup'
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.Backup и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/opensearch/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>"
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.opensearch.v1.ClusterService.Backup
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы восстановить кластер из резервной копии:

1. Получите идентификатор резервной копии вместе со списком всех резервных копий в каталоге:

   yc managed-opensearch backup list
   

   Результат:

   +----------------------+---------------------+-------------------+---------------------+
   |          ID          |      CREATED AT     | SOURCE CLUSTER ID |      STARTED AT     |
   +----------------------+---------------------+-------------------+---------------------+
   | c9qlk4v13uq7******** | 2024-01-09 14:38:34 | c9qpm4i********   | 2024-01-09 14:38:28 |
   | ...                                                                                  |
   +----------------------+---------------------+-------------------+---------------------+
   

   Идентификатор резервной копии указан в столбце ID. Время завершения создания резервной копии указано в столбце CREATED AT в формате yyyy-mm-dd hh:mm:ss.

2. Запросите создание кластера из резервной копии:

   yc managed-opensearch cluster restore --backup-id <идентификатор_резервной_копии>
   

   В команде также можно передать параметры, которые задаются при создании кластера. Описание таких параметров читайте в разделе Создание кластера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Создайте файл body.json и добавьте в него следующее содержимое:

   {
       "backupId": "<идентификатор_резервной_копии>",
       "folderId": "<идентификатор_каталога>",
       "name": "<имя_кластера>",
       "environment": "<окружение>",
       "networkId": "<идентификатор_сети>",
       "configSpec": {
           "version": "<версия_OpenSearch>",
           "adminPassword": "<пароль_пользователя-администратора>",
           "opensearchSpec": {
               "nodeGroups": [
                   {
                       "name": "<имя_группы_хостов_OpenSearch>",
                       "resources": {
                           "resourcePresetId": "<класс_хостов>",
                           "diskSize": "<размер_хранилища_в_байтах>",
                           "diskTypeId": "<тип_диска>"
                       },
                       "roles": ["<роль_1>","<роль_2>"],
                       "hostsCount": "<число_хостов>",
                       "zoneIds": [
                           "<зона_доступности_1>",
                           "<зона_доступности_2>",
                           "<зона_доступности_3>"
                       ],
                       "subnetIds": [
                           "<идентификатор_подсети_1>",
                           "<идентификатор_подсети_2>",
                           "<идентификатор_подсети_3>"
                       ]
                   }
               ]
           },
           "dashboardsSpec": {
               "nodeGroups": [
                   {
                       "name": "<имя_группы_хостов_Dashboards>",
                       "resources": {
                           "resourcePresetId": "<класс_хостов>",
                           "diskSize": "<размер_хранилища_в_байтах>",
                           "diskTypeId": "<тип_диска>"
                       },
                       "hostsCount": "<число_хостов>",
                       "zoneIds": [
                           "<зона_доступности_1>",
                           "<зона_доступности_2>",
                           "<зона_доступности_3>"
                       ],
                       "subnetIds": [
                           "<идентификатор_подсети_1>",
                           "<идентификатор_подсети_2>",
                           "<идентификатор_подсети_3>"
                       ]
                   }
               ]
           }
       }
   }
   

   Где:

   • backupId — идентификатор резервной копии, из которой восстанавливаете кластер. Идентификатор можно запросить со списком резервных копий.

   • folderId — идентификатор каталога. Его можно запросить со списком каталогов в облаке.

   • name — имя кластера.

   • environment — окружение кластера: PRODUCTION или PRESTABLE.

   • networkId — идентификатор сети, в которой будет размещен кластер.

   • configSpec — настройки кластера:

     • version — версия OpenSearch.

     • adminPassword — пароль пользователя admin.

     • opensearchSpec — настройки групп хостов OpenSearch. Содержат массив элементов nodeGroups. Каждый элемент соответствует отдельной группе хостов и имеет следующую структуру:

       • name — имя группы хостов.

       • resources — ресурсы кластера:

         • resourcePresetId — класс хостов;
         • diskSize — размер диска в байтах;
         • diskTypeId — тип диска.

       • roles — список ролей хостов. Кластер должен содержать хотя бы по одной группе хостов DATA и MANAGER. Это может быть одна группа, на которую назначены две роли, или несколько групп с разными ролями.

       • hostsCount — количество хостов в группе. Миниальное число хостов DATA — один, хостов MANAGER — три.

       • zoneIds — список зон доступности, где размещаются хосты кластера.

       • subnetIds — список идентификаторов подсетей.

     • dashboardsSpec — настройки групп хостов Dashboards. Содержат массив элементов nodeGroups, структура которого совпадает со структурой opensearchSpec.nodeGroups. Исключение — параметр roles: у хостов Dashboards есть только одна роль DASHBOARDS, поэтому ее не нужно указывать.

3. Воспользуйтесь методом Cluster.Restore и выполните запрос, например, с помощью cURL:

   curl \
       --request POST \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.cloud.yandex.net/managed-opensearch/v1/clusters:restore' \
       --data "@body.json"
   

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Создайте файл body.json и добавьте в него следующее содержимое:

   {
       "backup_id": "<идентификатор_резервной_копии>",
       "folder_id": "<идентификатор_каталога>",
       "name": "<имя_кластера>",
       "environment": "<окружение>",
       "network_id": "<идентификатор_сети>",
       "config_spec": {
           "version": "<версия_OpenSearch>",
           "admin_password": "<пароль_пользователя-администратора>",
           "opensearch_spec": {
               "node_groups": [
                   {
                       "name": "<имя_группы_хостов_OpenSearch>",
                       "resources": {
                           "resource_preset_id": "<класс_хостов>",
                           "disk_size": "<размер_хранилища_в_байтах>",
                           "disk_type_id": "<тип_диска>"
                       },
                       "roles": ["<роль_1>","<роль_2>"],
                       "hosts_count": "<число_хостов>",
                       "zone_ids": [
                           "<зона_доступности_1>",
                           "<зона_доступности_2>",
                           "<зона_доступности_3>"
                       ],
                       "subnet_ids": [
                           "<идентификатор_подсети_1>",
                           "<идентификатор_подсети_2>",
                           "<идентификатор_подсети_3>"
                       ]
                   }
               ]
           },
           "dashboards_spec": {
               "node_groups": [
                   {
                       "name": "<имя_группы_хостов_Dashboards>",
                       "resources": {
                           "resource_preset_id": "<класс_хостов>",
                           "disk_size": "<размер_хранилища_в_байтах>",
                           "disk_type_id": "<тип_диска>"
                       },
                       "hosts_count": "<число_хостов>",
                       "zone_ids": [
                           "<зона_доступности_1>",
                           "<зона_доступности_2>",
                           "<зона_доступности_3>"
                       ],
                       "subnet_ids": [
                           "<идентификатор_подсети_1>",
                           "<идентификатор_подсети_2>",
                           "<идентификатор_подсети_3>"
                       ]
                   }
               ]
           }
       }
   }
   

   Где:

   • backup_id — идентификатор резервной копии, из которой восстанавливаете кластер. Идентификатор можно запросить со списком резервных копий.

   • folder_id — идентификатор каталога. Его можно запросить со списком каталогов в облаке.

   • name — имя кластера.

   • environment — окружение кластера: PRODUCTION или PRESTABLE.

   • network_id — идентификатор сети, в которой будет размещен кластер.

   • config_spec — настройки кластера:

     • version — версия OpenSearch.

     • admin_password — пароль пользователя admin.

     • opensearch_spec — настройки групп хостов OpenSearch. Содержат массив элементов nodeGroups. Каждый элемент соответствует отдельной группе хостов и имеет следующую структуру:

       • name — имя группы хостов.

       • resources — ресурсы кластера:

         • resource_preset_id — класс хостов;
         • disk_size — размер диска в байтах;
         • disk_type_id — тип диска.

       • roles — список ролей хостов. Кластер должен содержать хотя бы по одной группе хостов DATA и MANAGER. Это может быть одна группа, на которую назначены две роли, или несколько групп с разными ролями.

       • hosts_count — количество хостов в группе. Миниальное число хостов DATA — один, хостов MANAGER — три.

       • zone_ids — список зон доступности, где размещаются хосты кластера.

       • subnet_ids — список идентификаторов подсетей.

     • dashboards_spec — настройки групп хостов Dashboards. Содержат массив элементов node_groups, структура которого совпадает со структурой opensearch_spec.node_groups. Исключение — параметр roles: у хостов Dashboards есть только одна роль DASHBOARDS, поэтому ее не нужно указывать.

4. Воспользуйтесь вызовом ClusterService.Restore и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/opensearch/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d @ \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.opensearch.v1.ClusterService.Restore \
       < body.json
   

5. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.