Настройка Yandex Cloud DNS для доступа к кластеру Yandex Managed Service for ClickHouse® из других облачных сетей

В этом руководстве в качестве примера используется кластер Managed Service for ClickHouse®. Настройка доступности для других сервисов управляемых баз данных делается аналогично.

Ресурсные записи о кластерах Managed Service for ClickHouse® создаются в сервисных зонах DNS, которые работают в пределах одной облачной сети. Из-за этого клиенты, например виртуальные машины, которые находятся в другой облачной сети, не могут подключаться к хостам кластера по FQDN, даже если между облачными сетями настроена сетевая связность.

Чтобы клиенты из других облачных сетей могли подключаться к кластеру по FQDN, настройте общую DNS-зону в сервисе Yandex Cloud DNS:

1. Создайте зону в Yandex Cloud DNS.
2. Проверьте доступность кластера из другой облачной сети.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for ClickHouse®: использование вычислительных ресурсов, выделенных хостам (в том числе хостам ZooKeeper), и дискового пространства (см. тарифы Managed Service for ClickHouse®).
• Плата за ВМ: использование вычислительных ресурсов, хранилища и публичного IP-адреса (опционально) (см. тарифы Compute Cloud).
• Плата за DNS-зону и DNS-запросы (см. тарифы Cloud DNS).

Перед началом работыПеред началом работы

1. Подготовьте пару SSH-ключей для подключения к виртуальным машинам.

2. Подготовьте инфраструктуру:

   Вручную

   С помощью Terraform

   1. Создайте две облачные сети с именами mch-net и another-net.
   2. В каждой сети создайте подсеть.
   3. В сети mch-net создайте кластер Managed Service for ClickHouse® любой подходящей конфигурации с хостами без публичного доступа.
   4. (Опционально) В сети mch-net создайте виртуальную машину на базе Linux с именем mch-net-vm. При создании укажите подготовленный ранее публичный SSH-ключ.
   5. В сети another-net создайте виртуальную машину на базе Linux с именем another-net-vm. При создании укажите подготовленный ранее публичный SSH-ключ.
   6. Настройте правила групп безопасности кластера и ВМ по инструкции

   1. Если у вас еще нет Terraform, установите его.

   2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

   3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

   4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

   5. Скачайте в ту же рабочую директорию файл конфигурации nets-vm-mch.tf.

      В этом файле описаны:

      • сети;
      • подсети;
      • группы безопасности, необходимые для кластера Managed Service for ClickHouse® и виртуальных машин;
      • виртуальные машины;
      • кластер Managed Service for ClickHouse®;
      • внутренняя зона DNS.

   6. Укажите в файле nets-vm-mch.tf:

      • ch_dbname — имя базы данных в кластере Managed Service for ClickHouse®.
      • ch_user — имя пользователя-администратора в кластере Managed Service for ClickHouse®.
      • ch_password — пароль пользователя-администратора в кластере Managed Service for ClickHouse®.
      • image_id — идентификатор публичного образа виртуальной машины. О том, как получить список доступных образов, см. в инструкции.
      • vm_username — имя пользователя виртуальной машины.
      • vm_ssh_key_path — абсолютный путь к публичному ключу для виртуальных машин, который вы подготовили ранее.
      • create_optional_vm — параметр, который отвечает за создание виртуальной машины в той же сети, в которой расположен кластер. Установите 1, чтобы в дальнейшем проверить доступность кластера из той же сети (опционально).

   7. Выполните команду terraform init в директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационном файле, и позволяет работать с ресурсами и источниками данных провайдера.

   8. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   9. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

3. (Опционально) Подключитесь по SSH к виртуальной машине mch-net-vm и настройте подключение к кластеру через clickhouse-client, чтобы убедиться, что группы безопасности настроены верно и подключение к кластеру по FQDN из той же облачной сети доступно.

4. Настройте сетевую связность между облачными сетями mch-net и another-net, например, с помощью IPSec-шлюза. Другие способы настроить сетевую связность см. в разделе Руководства по работе с сетевой инфраструктурой в Yandex Cloud.

Создайте зону в Cloud DNSСоздайте зону в Cloud DNS

1. Создайте зону DNS:

   Вручную

   С помощью Terraform

   Создайте внутреннюю зону DNS с адресом mdb.yandexcloud.net. по инструкции. В списке сетей укажите сети mch-net и another-net.

   1. Укажите в файле nets-vm-mch.tf значение 1 для параметра create_zone.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

2. Проверьте, что в зоне DNS автоматически появилась запись для кластера:

   1. В консоли управления выберите каталог, где находится зона DNS.
   2. Выберите сервис Cloud DNS.
   3. Выберите зону из списка.
   4. Убедитесь, что в списке записей есть запись вида: c-<идентификатор_кластера>.rw.mdb.yandexcloud.net..

Проверьте доступность кластера из другой облачной сетиПроверьте доступность кластера из другой облачной сети

1. Подключитесь по SSH к виртуальной машине another-net-vm.
2. Настройте подключение к кластеру через clickhouse-client и убедитесь, что подключение к кластеру из другой облачной сети по FQDN работает.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.