Управление схемами формата данных в Managed Service for ClickHouse®

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать схему формата данных, выполните команду:

• для формата Cap'n Proto:

  yc managed-clickhouse format-schema create "<имя_схемы_формата>" \
    --cluster-name="<имя_кластера>" \
    --type="capnproto" \
    --uri="<ссылка_на_файл_в_Object_Storage>"
  

• для формата Protobuf:

  yc managed-clickhouse format-schema create "<имя_схемы_формата>" \
    --cluster-name="<имя_кластера>" \
    --type="protobuf" \
    --uri="<ссылка_на_файл_в_Object_Storage>"
  

Имя кластера можно запросить со списком кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Добавьте к описанию кластера Managed Service for ClickHouse® блок format_schema:

   resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
     ...
     format_schema {
       name = "<имя_схемы>"
       type = "<тип_схемы>"
       uri  = "<ссылка_на_файл_схемы_формата_данных_в_Object_Storage>"
     }
   }
   

   Где type — тип схемы: FORMAT_SCHEMA_TYPE_CAPNPROTO или FORMAT_SCHEMA_TYPE_PROTOBUF.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы создать схему формата данных, воспользуйтесь методом REST API create для ресурса FormatSchema или вызовом gRPC API FormatSchemaService/Create и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Идентификатор кластера можно получить со списком кластеров в каталоге.
• Имя схемы формата в параметре formatSchemaName.
• Тип схемы: FORMAT_SCHEMA_TYPE_CAPNPROTO или FORMAT_SCHEMA_TYPE_PROTOBUF в параметре type.
• Ссылку на файл в Yandex Object Storage в параметре uri.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить ссылку на файл в объектном хранилище со схемой формата данных, выполнив команду:

yc managed-clickhouse format-schema update "<имя_схемы_данных>" \
  --cluster-name="<имя_кластера>" \
  --uri="<новая_ссылка_на_файл_в_Object_Storage>"

Имя схемы можно запросить со списком схем формата данных в кластере; имя кластера можно запросить со списком кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for ClickHouse® значение параметра uri в блоке format_schema:

   resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
     ...
     format_schema {
       name = "<имя_схемы>"
       type = "<тип_схемы>"
       uri  = "<новая_ссылка_на_файл_схемы_в_Object_Storage>"
     }
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   Подробнее см. в документации провайдера Terraform.

   Ограничения по времени

   Провайдер Terraform ограничивает время на выполнение операций с кластером Managed Service for ClickHouse®:

   • создание, в т. ч. путем восстановления из резервной копии, — 60 минут;
   • изменение — 90 минут;
   • удаление — 30 минут.

   Операции, длящиеся дольше указанного времени, прерываются.

   Как изменить эти ограничения?

   Добавьте к описанию кластера блок timeouts, например:

   resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
     ...
     timeouts {
       create = "1h30m" # Полтора часа
       update = "2h"    # 2 часа
       delete = "30m"   # 30 минут
     }
   }
   

Чтобы изменить схему формата данных, воспользуйтесь методом REST API update для ресурса FormatSchema или вызовом gRPC API FormatSchemaService/Update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Идентификатор кластера можно получить со списком кластеров в каталоге.

• Имя схемы формата в параметре formatSchemaName. Имя схемы можно запросить со списком схем формата данных в кластере.

• Новую ссылку на файл в Yandex Object Storage в параметре uri.

• Список полей конфигурации кластера, подлежащих изменению, в параметре updateMask.

  Важно

  Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы отключить схему формата данных, выполните команду:

yc managed-clickhouse format-schema delete "<имя_схемы_формата>" \
  --cluster-name="<имя_кластера>"

Имя схемы можно запросить со списком схем формата данных в кластере; имя кластера можно запросить со списком кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Удалите из описания кластера Managed Service for ClickHouse® блок описания нужной схемы формата данных format_schema.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы удалить схему формата данных, воспользуйтесь методом REST API delete для ресурса FormatSchema или вызовом gRPC API FormatSchemaService/Delete и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Идентификатор кластера можно получить со списком кластеров в каталоге.
• Имя схемы формата в параметре formatSchemaName. Имя схемы можно запросить со списком схем формата данных в кластере.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список схем формата данных в кластере, выполните команду:

yc managed-clickhouse format-schema list --cluster-name="<имя_кластера>"

Имя кластера можно запросить со списком кластеров в каталоге.

Чтобы получить список схем формата данных, воспользуйтесь методом REST API list для ресурса FormatSchema или вызовом gRPC API FormatSchemaService/List и передайте в запросе идентификатор кластера в параметре clusterId.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Чтобы получить детальную информацию о схеме формата данных, воспользуйтесь методом REST API get для ресурса FormatSchema или вызовом gRPC API FormatSchemaService/Get и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Идентификатор кластера можно получить со списком кластеров в каталоге.
• Имя схемы формата в параметре formatSchemaName. Имя схемы можно запросить со списком схем формата данных в кластере.