Управление хостами ZooKeeper

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список хостов в кластере, выполните команду:

yc managed-clickhouse host list \
   --cluster-name=<имя_кластера>

+----------------------------+--------------+---------+--------+---------------+
|            NAME            |  CLUSTER ID  |  ROLE   | HEALTH |    ZONE ID    |
+----------------------------+--------------+---------+--------+---------------+
| rc1b...mdb.yandexcloud.net | c9qp71dk1... | MASTER  | ALIVE  | ru-central1-b |
| rc1a...mdb.yandexcloud.net | c9qp71dk1... | REPLICA | ALIVE  | ru-central1-a |
+----------------------------+--------------+---------+--------+---------------+

Имя кластера можно запросить со списком кластеров в каталоге.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.listHosts и выполните запрос, например, с помощью cURL:

   curl \
       --request GET \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --url 'https://mdb.api.cloud.yandex.net/managed-clickhouse/v1/clusters/<идентификатор_кластера>/hosts'
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/ListHosts и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/clickhouse/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
               "cluster_id": "<идентификатор_кластера>"
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.clickhouse.v1.ClusterService.ListHosts
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы включить отказоустойчивость для кластера:

1. Посмотрите описание команды CLI для добавления хостов ZooKeeper:

   yc managed-clickhouse cluster add-zookeeper --help
   

2. Запустите операцию с характеристиками хостов по умолчанию:

   yc managed-clickhouse cluster add-zookeeper <имя_кластера> \
      --host zone-id=ru-central1-d,subnet-name=default-d \
      --host zone-id=ru-central1-a,subnet-name=default-a \
      --host zone-id=ru-central1-b,subnet-name=default-b
   

   Если в сети, в которой расположен кластер, ровно 3 подсети, по одной в каждой зоне доступности, то явно указывать подсети для хостов необязательно: Managed Service for ClickHouse® автоматически распределит хосты по этим подсетям.

   Для преобразования нереплицируемых таблиц в реплицируемые добавьте в команду параметр --convert-tables-to-replicated.

   Имя кластера можно запросить со списком кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Убедитесь, что в конфигурационном файле описаны три подсети — по одной для каждой зоны доступности. При необходимости добавьте недостающие:

   resource "yandex_vpc_network" "<имя_сети>" {
     name = "<имя_сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети_в_зоне_ru-central1-a>" {
     name           = "<имя_подсети_в_зоне_ru-central1-a>"
     zone           = "ru-central1-a"
     network_id     = yandex_vpc_network.<имя_сети>.id
     v4_cidr_blocks = [ "<диапазон_адресов_подсети_в_зоне_ru-central1-a>" ]
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети_в_зоне_ru-central1-b>" {
     name           = "<имя_подсети_в_зоне_ru-central1-b>"
     zone           = "ru-central1-b"
     network_id     = yandex_vpc_network.<имя_сети>.id
     v4_cidr_blocks = [ "<диапазон_адресов_подсети_в_зоне_ru-central1-b>" ]
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети_в_зоне_ru-central1-d>" {
     name           = "<имя_подсети_в_зоне_ru-central1-d>"
     zone           = "ru-central1-d"
     network_id     = yandex_vpc_network.<имя_сети>.id
     v4_cidr_blocks = [ "<диапазон_адресов_подсети_в_зоне_ru-central1-d>" ]
   }
   

3. Добавьте к описанию кластера ClickHouse® необходимое количество блоков host с типом CLICKHOUSE.

   Требования к хостам ClickHouse®:

   • Минимальный класс хоста — b1.medium.
   • Если хостов больше одного, они должны размещаться в разных зонах доступности.

   При необходимости измените класс существующих хостов ClickHouse® и зоны доступности, добавьте необходимое количество новых хостов.

   resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
     name = "<имя_кластера>"
     ...
     clickhouse {
       resources {
         resource_preset_id = "<класс_хоста>"
         disk_type_id       = "<тип_диска>"
         disk_size          = <размер_хранилища_ГБ>
       }
     }
     ...
     host {
       type      = "CLICKHOUSE"
       zone      = "ru-central1-a"
       subnet_id = yandex_vpc_subnet.<имя_подсети_в_зоне_ru-central1-a>.id
     }
     ...
   }
   

   Где resource_preset_id — класс хоста: b1.medium или выше.

4. Добавьте к описанию кластера ClickHouse® не меньше трех блоков host с типом ZOOKEEPER.

   Требования к хостам ZooKeeper:

   • В каждой зоне доступности должно быть минимум по одному хосту.
   • Минимальный класс хоста — b1.medium.
   • Тип диска — network-ssd.
   • Минимальный размер хранилища — 10 гигабайт.

   resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
     ...
     zookeeper {
       resources {
         resource_preset_id = "<класс_хоста>"
         disk_type_id       = "network-ssd"
         disk_size          = <размер_хранилища_ГБ>
       }
     }
     ...
     host {
       type      = "ZOOKEEPER"
       zone      = "ru-central1-a"
       subnet_id = yandex_vpc_subnet.<имя_подсети_в_зоне_ru-central1-a>.id
     }
     host {
       type      = "ZOOKEEPER"
       zone      = "ru-central1-b"
       subnet_id = yandex_vpc_subnet.<имя_подсети_в_зоне_ru-central1-b>.id
     }
     host {
       type      = "ZOOKEEPER"
       zone      = "ru-central1-d"
       subnet_id = yandex_vpc_subnet.<имя_подсети_в_зоне_ru-central1-d>.id
     }
   }
   

   Где resource_preset_id — класс хоста: b1.medium или выше.

5. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

6. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы включить отказоустойчивость для кластера, воспользуйтесь методом addZookeeper для ресурса Cluster или вызовом gRPC API ClusterService/AddZookeeper и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Настройки для трех хостов ZooKeeper в параметре hostSpecs.
• Необходимость преобразования нереплицируемых таблиц в реплицируемые в параметре convertTablesToReplicated.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы добавить хост в кластер:

1. Соберите необходимую информацию:

   • Запросите идентификатор подсети, выполнив команду:

     yc vpc subnet list
     

     Если нужной подсети в списке нет, создайте ее.

   • Запросите имя кластера со списком кластеров в каталоге.

2. Посмотрите описание команды CLI для добавления хостов:

   yc managed-clickhouse host add --help
   

3. Выполните команду добавления хоста ZooKeeper:

   yc managed-clickhouse hosts add \
     --cluster-name <имя_кластера> \
     --host zone-id=<зона_доступности>,subnet-id=<идентификатор_подсети>,type=zookeeper
   

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Добавьте к описанию кластера Managed Service for ClickHouse® блок host с типом ZOOKEEPER:

   resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
     ...
     host {
       type      = "ZOOKEEPER"
       zone      = "<зона_доступности>"
       subnet_id = yandex_vpc_subnet.<имя_подсети_в_выбранной_зоне_доступности>.id
     }
     ...
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы добавить хост ZooKeeper, воспользуйтесь методом REST API addHosts для ресурса Cluster или вызовом gRPC API ClusterService/AddHosts и передайте в запросе:

• Идентификатор кластера, в котором нужно разместить хост, в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Настройки для хоста в параметре hostSpecs (в том числе укажите тип ZOOKEEPER в параметре hostSpecs.type). Не указывайте настройки для нескольких хостов в этом параметре — хосты ZooKeeper добавляются в кластер по одному, в отличие от хостов ClickHouse®, которых можно добавить сразу несколько.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы перезапустить хост, выполните команду:

yc managed-clickhouse host restart <имя_хоста> \
   --cluster-name=<имя_кластера>

Имя хоста можно запросить со списком хостов в кластере, имя кластера — со списком кластеров в каталоге.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.restartHosts и выполните запрос, например, с помощью cURL:

   curl \
       --request POST \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.cloud.yandex.net/managed-clickhouse/v1/clusters/<идентификатор_кластера>/hosts:restartHosts' \
       --data '{
                 "hostNames": [
                   <перечень_имен_хостов>
                 ]
               }'
   

   Где hostNames — массив строк. Каждая строка — имя хоста, который нужно перезапустить. Имена хостов можно запросить со списком хостов в кластере.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/RestartHosts и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/clickhouse/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
               "cluster_id": "<идентификатор_кластера>",
               "host_names": [
                 <перечень_имен_хостов>
               ]
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.clickhouse.v1.ClusterService.RestartHosts
   

   Где host_names — массив строк. Каждая строка — имя хоста, который нужно перезапустить. Имена хостов можно запросить со списком хостов в кластере.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы преобразовать нереплицируемые таблицы в реплицируемые, выполните команду:

yc managed-clickhouse cluster add-zookeeper \
   --name <имя_кластера> \
   --resource-preset <класс_хостов> \
   --disk-size <размер_хранилища_ГБ> \
   --disk-type <тип_диска> \
   --host zone-id=<зона_доступности>,subnet-name=<имя_подсети> \
   --host <аналогичный_набор_настроек_для_создаваемого_хоста_2> \
   --host ... \
   --host <аналогичный_набор_настроек_для_создаваемого_хоста_N> \
   --convert-tables-to-replicated

В команде укажите не меньше трех параметров --host, так как в кластере должно быть минимум три хоста ZooKeeper.

Параметр --convert-tables-to-replicated включает преобразование нереплицируемых таблиц на движке семейства MergeTree в реплицируемые на движке семейства ReplicatedMergeTree.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.addZookeeper и выполните запрос, например, с помощью cURL:

   curl \
     --request POST \
     --header "Authorization: Bearer $IAM_TOKEN" \
     --header "Content-Type: application/json" \
     --url 'https://mdb.api.cloud.yandex.net/managed-clickhouse/v1/clusters/<идентификатор_кластера>:addZookeeper' \
     --data '{
              "resources": {
                "resourcePresetId": "<класс_хостов>",
                "diskSize": "<размер_хранилища_в_байтах>",
                "diskTypeId": "<тип_диска>"
              },
              "hostSpecs": [
                {
                  "zoneId": "<зона_доступности>",
                  "type": "ZOOKEEPER",
                  "subnetId": "<идентификатор_подсети>",
                  "shardName": "<имя_шарда>",
                  "assignPublicIp": <публичный_доступ_к_хосту>
                },
                { <аналогичный_набор_настроек_для_создаваемого_хоста_2> },
                { ... },
                { <аналогичный_набор_настроек_для_создаваемого_хоста_N> }
              ],
              "convertTablesToReplicated": true
            }'
   

   Где:

   • resources — набор ресурсов для хостов ZooKeeper:

     • resourcePresetId — класс хостов.
     • diskSize — размер диска в байтах.
     • diskTypeId — тип диска.

   • hostSpecs — массив, содержащий настройки создаваемых хостов. Один элемент массива содержит настройки для одного хоста, в кластере должно быть минимум три хоста ZooKeeper. Элемент массива имеет следующую структуру:

     • type — тип хоста, всегда ZOOKEEPER для хостов ZooKeeper.
     • zoneId — зона доступности.
     • subnetId — идентификатор подсети.
     • shardName — имя шарда, к которому добавляется хост.
     • assignPublicIp — доступность хоста из интернета по публичному IP-адресу: true или false.

   • convertTablesToReplicated — преобразование нереплицируемых таблиц на движке семейства MergeTree в реплицируемые на движке семейства ReplicatedMergeTree: true или false.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/AddZookeeper и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/mdb/clickhouse/v1/cluster_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
           "cluster_id": "<идентификатор_кластера>",
           "resources": {
             "resource_preset_id": "<класс_хостов>",
             "disk_size": "<размер_хранилища_в_байтах>",
             "disk_type_id": "<тип_диска>"
           },
           "host_specs": [
             {
               "type": "ZOOKEEPER",
               "zone_id": "<зона_доступности>",
               "subnet_id": "<идентификатор_подсети>",
               "shard_name": "<имя_шарда>",
               "assign_public_ip": <публичный_доступ_к_хосту>
             },
             { <аналогичный_набор_настроек_для_создаваемого_хоста_2> },
             { ... },
             { <аналогичный_набор_настроек_для_создаваемого_хоста_N> }
           ],
           "convert_tables_to_replicated": true
         }' \
     mdb.api.cloud.yandex.net:443 \
     yandex.cloud.mdb.clickhouse.v1.ClusterService.AddZookeeper
   

   Где:

   • resources — набор ресурсов для хостов ZooKeeper:

     • resource_preset_id — класс хостов.
     • disk_size — размер диска в байтах.
     • disk_type_id — тип диска.

   • host_specs — массив, содержащий настройки создаваемых хостов. Один элемент массива содержит настройки для одного хоста, в кластере должно быть минимум три хоста ZooKeeper.

     Элемент массива имеет следующую структуру:

     • type — тип хоста, всегда ZOOKEEPER для хостов ZooKeeper.
     • zone_id — зона доступности.
     • subnet_id — идентификатор подсети.
     • shard_name — имя шарда, к которому добавляется хост.
     • assign_public_ip — доступность хоста из интернета по публичному IP-адресу: true или false.

   • convert_tables_to_replicated — преобразование нереплицируемых таблиц на движке семейства MergeTree в реплицируемые на движке семейства ReplicatedMergeTree: true или false.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы удалить хост из кластера, выполните команду:

yc managed-clickhouse hosts delete <имя_хоста> \
  --cluster-name=<имя_кластера>

Имя хоста можно запросить со списком хостов в кластере, имя кластера — со списком кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Удалите из описания кластера Managed Service for ClickHouse® блок host с типом ZOOKEEPER.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Введите слово yes и нажмите Enter.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы удалить хост ZooKeeper, воспользуйтесь методом REST API deleteHosts для ресурса Cluster или вызовом gRPC API ClusterService/DeleteHosts и передайте в запросе:

• Идентификатор кластера, в котором находится хост, в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Имя хоста в параметре hostNames. Чтобы узнать имя, получите список хостов в кластере.