Подключение собственной геобазы в Managed Service for ClickHouse®
Геобаза в ClickHouse® — это текстовые файлы, которые содержат иерархию и имена регионов. Вы можете добавить в ClickHouse® несколько альтернативных геобаз для поддержки разных точек зрения о принадлежности регионов странам. Подробнее читайте в документации ClickHouse®
Чтобы подключить к кластеру ClickHouse® собственную геобазу:
Создать геобазу
-
Создайте файл
regions_hierarchy.txt
с иерархией регионов. Файл должен представлять собой таблицу в формате TSV без заголовков и со столбцами:- идентификатор региона (UInt32);
- идентификатор родительского региона (UInt32);
- тип региона (UInt8):
1
— континент;3
— страна;4
— федеральный округ;5
— область;6
— город;
- население (UInt32) — необязательный столбец.
-
Чтобы добавить альтернативную иерархию регионов, создайте файлы
regions_hierarchy_<суффикс>.txt
с аналогичной структурой. Чтобы затем воспользоваться альтернативной геобазой, передайте этот суффикс при вызове функции. Например:regionToCountry(RegionID)
— использует словарь по умолчанию:regions_hierarchy.txt
;regionToCountry(RegionID, 'alt')
— использует словарь с суффиксомalt
:regions_hierarchy_alt.txt
.
-
Создайте файл
regions_names.txt
с именами регионов. Файл должен представлять собой таблицу в формате TSV без заголовков и со столбцами:- идентификатор региона (UInt32);
- имя региона (String) — не может содержать символы табуляции или переводы строк, даже экранированные.
-
Чтобы добавить в базу имена регионов на других языках, создайте файлы
regions_names_<код_языка>.txt
с аналогичной структурой. Например,regions_names_en.txt
для английского языка иregions_names_tr.txt
для турецкого. -
Создайте из файлов геобазы архив в формате
tar
,tar.gz
илиzip
.
Загрузить геобазу в Yandex Object Storage
Managed Service for ClickHouse® работает только с геобазами, которые загружены в Yandex Object Storage и к которым предоставлен доступ на чтение:
- Для привязки сервисного аккаунта к кластеру убедитесь, что вашему аккаунту в Yandex Cloud назначена роль iam.serviceAccounts.user или выше.
- Загрузите архив с геобазой в Yandex Object Storage.
- Подключите сервисный аккаунт к кластеру. С помощью сервисного аккаунта вы настроите доступ к архиву геобазы.
- Назначьте роль
storage.viewer
сервисному аккаунту. - В ACL бакета добавьте разрешение
READ
сервисному аккаунту. - Получите ссылку на архив с геобазой.
Подключить геобазу к кластеру ClickHouse®
- В консоли управления
перейдите на страницу каталога и выберите сервис Managed Service for ClickHouse. - Выберите кластер и нажмите кнопку Редактировать на панели сверху.
- В блоке Настройки СУБД нажмите кнопку Настроить.
- В поле Geobase uri укажите ссылку на архив с геобазой в Yandex Object Storage.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name
или --folder-id
.
Чтобы подключить геобазу:
-
Посмотрите описание команды CLI для изменения конфигурации кластера:
yc managed-clickhouse cluster update-config --help
-
Выполните команду, передав ссылку на архив с подключаемой геобазой в параметре
geobase_uri
:yc managed-clickhouse cluster update-config <имя_или_идентификатор_кластера> \ --set geobase_uri="<ссылка_на_архив_с_геобазой_в_Object_Storage>"
Идентификатор и имя кластера можно запросить со списком кластеров в каталоге.
-
Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.
О том, как создать такой файл, см. в разделе Создание кластера.
-
Добавьте в настройки кластера Managed Service for ClickHouse® параметр
geobase_uri
со ссылкой на архив с подключаемой геобазой в Yandex Object Storage:resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" { ... clickhouse { config { geobase_uri = "<ссылка_на_архив_с_геобазой_в_Object_Storage>" ... } ... } ... }
-
Проверьте корректность настроек.
-
В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
-
Выполните команду:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
-
Подтвердите изменение ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
Подробнее см. в документации провайдера Terraform
Ограничения по времени
Провайдер Terraform ограничивает время на выполнение операций с кластером Managed Service for ClickHouse®:
- создание, в т. ч. путем восстановления из резервной копии, — 60 минут;
- изменение — 90 минут;
- удаление — 30 минут.
Операции, длящиеся дольше указанного времени, прерываются.
Как изменить эти ограничения?
Добавьте к описанию кластера блок timeouts
, например:
resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
...
timeouts {
create = "1h30m" # Полтора часа
update = "2h" # 2 часа
delete = "30m" # 30 минут
}
}
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>"
-
Воспользуйтесь методом Cluster.Update и выполните запрос, например, с помощью cURL
:Важно
Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре
updateMask
(одной строкой через запятую).curl \ --request PATCH \ --header "Authorization: Bearer $IAM_TOKEN" \ --header "Content-Type: application/json" \ --url 'https://mdb.api.yandexcloud.kz/managed-clickhouse/v1/clusters/<идентификатор_кластера>' \ --data '{ "updateMask": "configSpec.clickhouse.config.geobaseUri", "configSpec": { "clickhouse": { "config": { "geobaseUri": "<ссылка>" } } } }'
Где:
-
updateMask
— перечень изменяемых параметров в одну строку через запятую.В данном случае указан только один параметр:
configSpec.clickhouse.config.geobaseUri
. -
configSpec.clickhouse.config.geobaseUri
— ссылка на архив с геобазой в Object Storage.
Идентификатор кластера можно запросить со списком кластеров в каталоге.
-
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>"
-
Клонируйте репозиторий cloudapi
:cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
Далее предполагается, что содержимое репозитория находится в директории
~/cloudapi/
. -
Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например, с помощью gRPCurl
:Важно
Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре
update_mask
(в виде массива строкpaths[]
).Формат перечисления настроек
"update_mask": { "paths": [ "<настройка_1>", "<настройка_2>", ... "<настройка_N>" ] }
grpcurl \ -format json \ -import-path ~/cloudapi/ \ -import-path ~/cloudapi/third_party/googleapis/ \ -proto ~/cloudapi/yandex/cloud/mdb/clickhouse/v1/cluster_service.proto \ -rpc-header "Authorization: Bearer $IAM_TOKEN" \ -d '{ "cluster_id": "<идентификатор_кластера>", "update_mask": { "paths": [ "config_spec.clickhouse.config.geobase_uri" ] }, "config_spec": { "clickhouse": { "config": { "geobase_uri": "<ссылка>" } } } }' \ mdb.api.yandexcloud.kz:443 \ yandex.cloud.mdb.clickhouse.v1.ClusterService.Update
Где:
-
update_mask
— перечень изменяемых параметров в виде массива строкpaths[]
.В данном случае указан только один параметр:
config_spec.clickhouse.config.geobase_uri
. -
config_spec.clickhouse.config.geobase_uri
— ссылка на архив с геобазой в Object Storage.
Идентификатор кластера можно запросить со списком кластеров в каталоге.
-
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc