Настройка Yandex Cloud DNS для доступа к кластеру Yandex Managed Service for ClickHouse® из других облачных сетей

В этом руководстве в качестве примера используется кластер Managed Service for ClickHouse®. Настройка доступности для других сервисов управляемых баз данных делается аналогично.

Ресурсные записи о кластерах Managed Service for ClickHouse® создаются в сервисных зонах DNS, которые работают в пределах одной облачной сети. Из-за этого клиенты, например виртуальные машины, которые находятся в другой облачной сети, не могут подключаться к хостам кластера по FQDN, даже если между облачными сетями настроена сетевая связность.

Чтобы клиенты из других облачных сетей могли подключаться к кластеру по FQDN, настройте общую DNS-зону в сервисе Yandex Cloud DNS:

1. Создайте зону в Yandex Cloud DNS.
2. Проверьте доступность кластера из другой облачной сети.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Плата за кластер Managed Service for ClickHouse®: использование выделенных хостам вычислительных ресурсов, объем хранилища и резервных копий (тарифы Managed Service for ClickHouse®).
• Плата за виртуальную машину: использование вычислительных ресурсов, хранилища, публичного IP-адреса и операционной системы (тарифы Yandex Compute Cloud).
• Плата за публичные DNS-запросы и зоны DNS (тарифы Cloud DNS).

Перед началом работыПеред началом работы

1. Подготовьте пару SSH-ключей для подключения к виртуальным машинам.

2. Подготовьте инфраструктуру:

   Вручную

   С помощью Terraform

   1. Создайте две облачные сети с именами mch-net и another-net.
   2. В каждой сети создайте подсеть.
   3. В сети mch-net создайте кластер Managed Service for ClickHouse® любой подходящей конфигурации с хостами без публичного доступа.
   4. (Опционально) В сети mch-net создайте виртуальную машину на базе Linux с именем mch-net-vm. При создании укажите подготовленный ранее публичный SSH-ключ.
   5. В сети another-net создайте виртуальную машину на базе Linux с именем another-net-vm. При создании укажите подготовленный ранее публичный SSH-ключ.
   6. Настройте правила групп безопасности кластера и ВМ по инструкции.

   1. Если у вас еще нет Terraform, установите его.

   2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

   3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

   4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

   5. Скачайте в ту же рабочую директорию файл конфигурации nets-vm-mch.tf.

      В этом файле описаны:

      • сети;
      • подсети;
      • группы безопасности, необходимые для кластера Managed Service for ClickHouse® и виртуальных машин;
      • виртуальные машины;
      • кластер Managed Service for ClickHouse®;
      • внутренняя зона DNS.

   6. Укажите в файле nets-vm-mch.tf:

      • ch_dbname — имя базы данных в кластере Managed Service for ClickHouse®.
      • ch_user — имя пользователя-администратора в кластере Managed Service for ClickHouse®.
      • ch_password — пароль пользователя-администратора в кластере Managed Service for ClickHouse®.
      • image_id — идентификатор публичного образа виртуальной машины. О том, как получить список доступных образов, смотрите в инструкции.
      • vm_username — имя пользователя виртуальной машины.
      • vm_ssh_key_path — абсолютный путь к публичному ключу для виртуальных машин, который вы подготовили ранее.
      • create_optional_vm — параметр, который отвечает за создание виртуальной машины в той же сети, в которой расположен кластер. Если в дальнейшем потребуется проверить доступность кластера из той же сети, установите 1.

   7. Создайте ресурсы:

      1. В терминале перейдите в директорию с конфигурационным файлом.

      2. Проверьте корректность конфигурации с помощью команды:

         terraform validate
         

         Если конфигурация является корректной, появится сообщение:

         Success! The configuration is valid.
         

      3. Выполните команду:

         terraform plan
         

         В терминале будет выведен список планируемых изменений: ресурсы и/или выходные переменные. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

      4. Примените изменения конфигурации:

         terraform apply
         

      5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

   В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

3. (Опционально) Подключитесь по SSH к виртуальной машине mch-net-vm и настройте подключение к кластеру через clickhouse-client, чтобы убедиться, что группы безопасности настроены верно и подключение к кластеру по FQDN из той же облачной сети доступно.

4. Настройте сетевую связность между облачными сетями mch-net и another-net, например, с помощью IPSec-шлюза. Другие способы настроить сетевую связность смотрите в разделе Руководства по работе с сетевой инфраструктурой в Yandex Cloud.

Создайте зону в Cloud DNSСоздайте зону в Cloud DNS

1. Создайте зону DNS:

   Вручную

   С помощью Terraform

   Создайте внутреннюю зону DNS с адресом mdb.yandexcloud.kz. по инструкции. В списке сетей укажите сети mch-net и another-net.

   1. Укажите в файле nets-vm-mch.tf значение 1 для параметра create_zone.

   2. Создайте ресурсы:

      1. В терминале перейдите в директорию с конфигурационным файлом.

      2. Проверьте корректность конфигурации с помощью команды:

         terraform validate
         

         Если конфигурация является корректной, появится сообщение:

         Success! The configuration is valid.
         

      3. Выполните команду:

         terraform plan
         

         В терминале будет выведен список планируемых изменений: ресурсы и/или выходные переменные. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

      4. Примените изменения конфигурации:

         terraform apply
         

      5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

2. Проверьте, что в зоне DNS автоматически появилась запись для кластера:

   1. В консоли управления выберите каталог, где находится зона DNS.
   2. Перейдите в сервис Cloud DNS.
   3. Выберите ранее созданную зону.
   4. Убедитесь, что в списке записей есть запись вида: c-<идентификатор_кластера>.rw.mdb.yandexcloud.kz..

Проверьте доступность кластера из другой облачной сетиПроверьте доступность кластера из другой облачной сети

1. Подключитесь по SSH к виртуальной машине another-net-vm.
2. Настройте подключение к кластеру через clickhouse-client и убедитесь, что подключение к кластеру из другой облачной сети по FQDN работает.

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы перестать платить за созданные ресурсы, удалите их:

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.