Создание кластера ClickHouse®

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер Managed Service for ClickHouse®:

1. Проверьте, есть ли в каталоге подсети для хостов кластера:

   yc vpc subnet list
   

   Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе VPC.

2. Посмотрите описание команды CLI для создания кластера:

   yc managed-clickhouse cluster create --help
   

3. Укажите параметры кластера в команде создания (в примере приведены не все доступные параметры):

   yc managed-clickhouse cluster create \
     --name <имя_кластера> \
     --environment <окружение> \
     --network-name <имя_сети> \
     --host type=<тип_хоста>,`
          `zone-id=<зона_доступности>,`
          `subnet-id=<идентификатор_подсети>,`
          `assign-public-ip=<публичный_доступ_к_хосту> \
     --clickhouse-resource-preset <класс_хоста> \
     --clickhouse-disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
     --clickhouse-disk-size <размер_хранилища_ГБ> \
     --user name=<имя_пользователя>,password=<пароль_пользователя> \
     --database name=<имя_базы_данных> \
     --security-group-ids <список_идентификаторов_групп_безопасности> \
     --websql-access=<true_или_false> \
     --deletion-protection
   

   Идентификатор подсети subnet-id необходимо указывать, если в выбранной зоне доступности создано 2 и больше подсетей.

   Где:

   • --environment — окружение кластера: prestable или production.

   • --host — параметры хоста:

     • type — тип хоста: clickhouse или zookeeper.
     • zone-id — зона доступности.
     • assign-public-ip — доступность хоста из интернета по публичному IP-адресу: true или false.

   • --clickhouse-disk-type — тип диска.

     Важно

     Тип диска нельзя изменить после создания кластера.

   • --websql-access — разрешает выполнять SQL-запросы к базам данных кластера из консоли управления Yandex Cloud с помощью сервиса Yandex WebSQL. Значение по умолчанию — false.

   • --deletion-protection — защита от удаления кластера.

   Включенная защита от удаления не помешает подключиться вручную и удалить содержимое базы данных.

   Пользователями и базами данных в кластере можно управлять через SQL.

   Внимание

   Включенные настройки управления пользователями и базами данных через SQL невозможно выключить. При необходимости их можно включить позже при изменении настроек кластера.

   1. Чтобы включить режим управления пользователями через SQL:

      • задайте значение true для параметра --enable-sql-user-management;
      • задайте пароль для пользователя admin в параметре --admin-password.

      yc managed-clickhouse cluster create \
        ...
        --enable-sql-user-management true \
        --admin-password "<пароль_пользователя_admin>"
      

   2. Чтобы включить режим управления базами данных через SQL:

      • задайте значение true для параметров --enable-sql-user-management и --enable-sql-database-management;
      • задайте пароль для пользователя admin в параметре --admin-password.

      yc managed-clickhouse cluster create \
        ...
        --enable-sql-user-management true \
        --enable-sql-database-management true \
        --admin-password "<пароль_пользователя_admin>"
      

   3. Чтобы разрешить доступ к кластеру из сервиса Yandex Cloud Functions, передайте параметр --serverless-access. Подробнее о настройке доступа см. в документации Cloud Functions.

   4. Чтобы разрешить доступ к кластеру из сервиса Yandex Query, передайте параметр --yandexquery-access=true. Функциональность находится на стадии Preview.

   5. Чтобы включить ClickHouse® Keeper в кластере, задайте значение true для параметра --embedded-keeper.

      yc managed-clickhouse cluster create \
        ...
        --embedded-keeper true
      

      Внимание

      ClickHouse® Keeper невозможно выключить после создания кластера. Использование хостов ZooKeeper также станет недоступно.

   6. Чтобы задать настройки гибридного хранилища:

      • Включите гибридное хранилище, задав значение true для параметра --cloud-storage.

        Примечание

        Включенное однажды гибридное хранилище нельзя отключить.

      • Передайте настройки гибридного хранилища в соответствующих параметрах:

        • --cloud-storage-data-cache — разрешает временное хранение файлов в кластерном хранилище. По умолчанию — true (разрешено).
        • --cloud-storage-data-cache-max-size — определяет максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения файлов. По умолчанию — 1073741824 (1 ГБ).
        • --cloud-storage-move-factor — устанавливает минимальную долю свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в Yandex Object Storage. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.
        • --cloud-storage-prefer-not-to-merge — отключает слияние кусков данных в кластерном и объектном хранилищах. Чтобы отключить слияние, укажите значение true или передайте параметр без значения. Чтобы оставить слияние включенным, укажите значение false или не передавайте параметр в команде CLI при создании кластера.

      yc managed-clickhouse cluster create \
         ...
         --cloud-storage=true \
         --cloud-storage-data-cache=<хранение_файлов> \
         --cloud-storage-data-cache-max-size=<объем_памяти_в_байтах> \
         --cloud-storage-move-factor=<доля_свободного_места> \
         --cloud-storage-prefer-not-to-merge=<слияние_кусков_данных>
        ...
      

      Где:

      • --cloud-storage-data-cache — хранение файлов в кластерном хранилище: true или false.
      • --cloud-storage-prefer-not-to-merge — отключает слияние кусков данных в кластерном и объектном хранилищах: true или false.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ей с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). Terraform и его провайдеры распространяются под лицензией Business Source License.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Чтобы создать кластер Managed Service for ClickHouse®:

1. В командной строке перейдите в каталог, в котором будут расположены конфигурационные файлы Terraform с планом инфраструктуры. Если такой директории нет — создайте ее.

2. Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

3. Создайте конфигурационный файл с описанием облачной сети и подсетей.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.
   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла, в котором описывается облачная сеть с одной подсетью:

   resource "yandex_vpc_network" "<имя_сети_в_Terraform>" { name = "<имя_сети>" }
   
   resource "yandex_vpc_subnet" "<имя_подсети_в_Terraform>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = yandex_vpc_network.<имя_сети_в_Terraform>.id
     v4_cidr_blocks = ["<подсеть>"]
   }
   

4. Создайте конфигурационный файл с описанием кластера и его хостов.

   • Кластер базы данных — описание кластера и его хостов. Здесь же при необходимости:

     • Задайте настройки СУБД. Их также можно указать позднее.

       Через интерфейсы Yandex Cloud можно управлять ограниченным набором настроек. С помощью SQL-запросов можно установить настройки ClickHouse® на уровне запроса.

     • Включите защиту от удаления.

       Включенная защита от удаления не помешает подключиться вручную и удалить содержимое базы данных.

   Пример структуры конфигурационного файла, в котором описывается кластер из одного хоста:

   resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
     name                = "<имя_кластера>"
     environment         = "<окружение>"
     network_id          = yandex_vpc_network.<имя_сети_в_Terraform>.id
     security_group_ids  = ["<список_идентификаторов_групп_безопасности>"]
     deletion_protection = <защита_от_удаления_кластера>
   
     clickhouse {
       resources {
         resource_preset_id = "<класс_хоста>"
         disk_type_id       = "<тип_диска>"
         disk_size          = <размер_хранилища_ГБ>
       }
     }
   
     database {
       name = "<имя_базы_данных>"
     }
   
     user {
       name     = "<имя_пользователя_БД>"
       password = "<пароль>"
       permission {
         database_name = "<имя_БД_в_которой_создается_пользователь>"
       }
     }
   
     host {
       type             = "CLICKHOUSE"
       zone             = "<зона_доступности>"
       subnet_id        = yandex_vpc_subnet.<имя_подсети_в_Terraform>.id
       assign_public_ip = <публичный_доступ_к_хосту>
     }
   }
   

   Включенная защита от удаления не помешает подключиться вручную и удалить содержимое базы данных.

   1. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

      resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
        ...
        maintenance_window {
          type = <тип_технического_обслуживания>
          day  = <день_недели>
          hour = <час_дня>
        }
        ...
      }
      

      Где:

      • type — тип технического обслуживания. Принимает значения:
        • ANYTIME — в любое время.
        • WEEKLY — по расписанию.
      • day — день недели для типа WEEKLY в формате DDD. Например, MON.
      • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

   2. Чтобы разрешить доступ из других сервисов и выполнение SQL-запросов из консоли управления с помощью Yandex WebSQL, добавьте блок access с нужными вам настройками:

      resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
        ...
        access {
          data_lens    = <доступ_из_DataLens>
          metrika      = <доступ_из_Метрики_и_AppMetrika>
          serverless   = <доступ_из_Cloud_Functions>
          yandex_query = <доступ_из_Yandex_Query>
          web_sql      = <выполнение_SQL-запросов_из_консоли_управления>
        }
        ...
      }
      

      Где:

      • data_lens — доступ из DataLens: true или false.

      • metrika — доступ из Метрики и AppMetrika: true или false.

      • serverless — доступ из Cloud Functions: true или false.

      • yandex_query — доступ из Yandex Query: true или false.

      • web_sql — выполнение SQL-запросов из консоли управления: true или false.

   3. Пользователями и базами данных в кластере можно управлять через SQL.

      Внимание

      Включенные настройки управления пользователями и базами данных через SQL невозможно выключить. При необходимости их можно включить позже при изменении настроек кластера.

      • Чтобы включить режим управления пользователями через SQL, добавьте к описанию кластера поле sql_user_management со значением true и поле admin_password с паролем пользователя admin:

        resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
          name                = "<имя_кластера>"
          ...
          admin_password      = "<пароль_пользователя_admin>"
          sql_user_management = true
          ...
        }
        

      • Чтобы включить режим управления базами данных через SQL, добавьте к описанию кластера поля sql_user_management и sql_database_management со значением true, а также поле admin_password с паролем пользователя admin:

        resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
          name                    = "<имя_кластера>"
          ...
          admin_password          = "<пароль_пользователя_admin>"
          sql_database_management = true
          sql_user_management     = true
          ...
        }
        

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

5. Проверьте корректность файлов конфигурации Terraform:

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

6. Создайте кластер:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы создать кластер Managed Service for ClickHouse®, воспользуйтесь методом REST API create для ресурса Cluster или вызовом gRPC API ClusterService/Create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер, в параметре folderId.

• Имя кластера в параметре name.

• Окружение кластера в параметре environment.

• Конфигурацию кластера в параметре configSpec.

• Конфигурацию хостов кластера в одном или нескольких параметрах hostSpecs.

• Идентификатор сети в параметре networkId.

• Идентификаторы групп безопасности в параметре securityGroupIds.

• Настройки доступа из других сервисов в параметре configSpec.access.

Чтобы разрешить подключение к хостам кластера из интернета, передайте значение true в параметре hostSpecs.assignPublicIp.

При необходимости включите управление пользователями и базами данных через SQL:

• configSpec.sqlUserManagement — задайте значение true для включения режима управления пользователями через SQL.
• configSpec.sqlDatabaseManagement — задайте значение true для включения режима управления базами данных через SQL. Необходимо, чтобы был включен режим управления пользователями через SQL.
• configSpec.adminPassword — задайте пароль пользователя admin, с помощью которого осуществляется управление.

Чтобы задать настройки гибридного хранилища:

• Включите гибридное хранилище, передав значение true в параметре configSpec.cloudStorage.enabled.

• Передайте настройки гибридного хранилища в параметрах configSpec.cloudStorage:

  • configSpec.cloudStorage.dataCacheEnabled — разрешает временное хранение файлов в кластерном хранилище. По умолчанию — true (разрешено).
  • configSpec.cloudStorage.dataCacheMaxSize — определяет максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения файлов. По умолчанию — 1073741824 (1 ГБ).
  • configSpec.cloudStorage.moveFactor — устанавливает минимальную долю свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в Yandex Object Storage. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.
  • configSpec.cloudStorage.preferNotToMerge — отключает слияние кусков данных в кластерном и объектном хранилищах. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false или не передавайте параметр в запросе API при создании кластера.

При создании кластера из нескольких хостов:

• Если для параметра embeddedKeeper указано значение true, для управления репликацией будет использоваться ClickHouse® Keeper.

  Внимание

  ClickHouse® Keeper невозможно выключить после создания кластера. Использование хостов ZooKeeper также станет недоступно.

• Если значение параметра embeddedKeeper не задано или равно false, для управления репликацией и распределением запросов будет использоваться ZooKeeper.

  Если в облачной сети кластера есть подсети в каждой из зон доступности, а настройки хостов ZooKeeper не заданы, в каждую подсеть будет автоматически добавлено по одному такому хосту.

  Если подсети в сети кластера есть только в некоторых зонах доступности, укажите настройки хостов ZooKeeper явно.

Создайте кластер Managed Service for ClickHouse® и сеть для него с тестовыми характеристиками:

• Имя mych.

• Окружение PRESTABLE.

• Облако с идентификатором b1gq90dgh25********.

• Каталог с идентификатором b1gia87mbaom********.

• Новая облачная сеть cluster-net.

• Новая группа безопасности по умолчанию cluster-sg (в сети cluster-net), разрешающая подключение к любому хосту кластера из любой сети (в том числе из интернета) по портам 8443, 9440.

• Один хост класса s2.micro в новой подсети cluster-subnet-ru-central1-a.

  Параметры подсети:

  • диапазон адресов — 172.16.1.0/24;
  • сеть — cluster-net;
  • зона доступности — ru-central1-a.

• Хранилище на сетевых SSD-дисках (network-ssd) размером 32 ГБ.

• Имя базы данных db1.

• Пользователь user1 с паролем user1user1.

Конфигурационные файлы для такого кластера выглядят так:

1. Конфигурационный файл с описанием настроек провайдера:

   provider.tf

   terraform {
     required_providers {
       yandex = {
         source = "yandex-cloud/yandex"
       }
     }
   }
   
   provider "yandex" {
     token     = "<OAuth_или_статический_ключ_сервисного_аккаунта>"
     cloud_id  = "b1gq90dgh25********"
     folder_id = "b1gia87mbaom********"
   }
   

   Для получения токена OAuth или статического ключа доступа см. инструкции Yandex Identity and Access Management.

2. Конфигурационный файл с описанием облачной сети и подсети:

   networks.tf

   resource "yandex_vpc_network" "cluster-net" { name = "cluster-net" }
   
   resource "yandex_vpc_subnet" "cluster-subnet-a" {
     name           = "cluster-subnet-ru-central1-a"
     zone           = "ru-central1-a"
     network_id     = yandex_vpc_network.cluster-net.id
     v4_cidr_blocks = ["172.16.1.0/24"]
   }
   

3. Конфигурационный файл с описанием группы безопасности:

   security-groups.tf

   resource "yandex_vpc_default_security_group" "cluster-sg" {
     network_id = yandex_vpc_network.cluster-net.id
   
     ingress {
       description    = "HTTPS (secure)"
       port           = 8443
       protocol       = "TCP"
       v4_cidr_blocks = ["0.0.0.0/0"]
     }
   
     ingress {
       description    = "clickhouse-client (secure)"
       port           = 9440
       protocol       = "TCP"
       v4_cidr_blocks = ["0.0.0.0/0"]
     }
   
     egress {
       description    = "Allow all egress cluster traffic"
       protocol       = "TCP"
       v4_cidr_blocks = ["0.0.0.0/0"]
     }
   }
   

4. Конфигурационный файл с описанием кластера и его хоста:

   cluster.tf

   resource "yandex_mdb_clickhouse_cluster" "mych" {
     name               = "mych"
     environment        = "PRESTABLE"
     network_id         = yandex_vpc_network.cluster-net.id
     security_group_ids = [yandex_vpc_default_security_group.cluster-sg.id]
   
     clickhouse {
       resources {
         resource_preset_id = "s2.micro"
         disk_type_id       = "network-ssd"
         disk_size          = 32
       }
     }
   
     host {
       type      = "CLICKHOUSE"
       zone      = "ru-central1-a"
       subnet_id = yandex_vpc_subnet.cluster-subnet-a.id
     }
   
     database {
       name = "db1"
     }
   
     user {
       name     = "user1"
       password = "user1user1"
       permission {
         database_name = "db1"
       }
     }
   }