Создание кластера Elasticsearch

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы создать кластер Managed Service for Elasticsearch:

1. Проверьте, есть ли в каталоге подсети для хостов кластера Managed Service for Elasticsearch:

   yc vpc subnet list
   

   Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе Yandex Virtual Private Cloud.

2. Посмотрите описание команды CLI для создания кластера Managed Service for Elasticsearch:

   yc managed-elasticsearch cluster create --help
   

3. Укажите параметры кластера Managed Service for Elasticsearch в команде создания (в примере приведены не все параметры):

   yc managed-elasticsearch cluster create \
     --name <имя_кластера> \
     --environment <окружение> \
     --network-name <имя_сети> \
     --host zone-id=<зона_доступности>,subnet-id=<идентификатор_подсети>,assign-public-ip=<публичный_доступ>,type=<тип_хоста> \
     --datanode-resource-preset <класс_хостов_Data_node> \
     --datanode-disk-size <размер_хранилища_ГБ> \
     --datanode-disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
     --masternode-resource-preset <класс_хостов_Master_node> \
     --masternode-disk-size <размер_хранилища_ГБ_Master_node> \
     --masternode-disk-type <network-ssd> \
     --security-group-ids <список_идентификаторов_групп_безопасности> \
     --version <версия_Elasticsearch> \
     --edition <редакция_Elasticsearch> \
     --admin-password <пароль_пользователя_admin> \
     --plugins=<имя_плагина_1>,...,<имя_плагина_N> \
     --deletion-protection=<защита_от_удаления>
   

   Где:

   • --environment — окружение: prestable или production.
   • --host — параметры хоста:
     • zone-id — зона доступности.
     • subnet-id — идентификатор подсети. Необходимо указывать, если в выбранной зоне доступности создано две или больше подсетей.
     • assign-public-ip — доступность хоста из интернета по публичному IP-адресу: true или false.
     • type — роль хоста: datanode или masternode.
   • --datanode-resource-preset — класс хостов c ролью Data node.
   • --datanode-disk-size — размер хранилища в гигабайтах для хостов с ролью Data node.
   • --datanode-disk-type — тип хранилища для хостов с ролью Data node.
   • --masternode-resource-preset — класс хостов с ролью Master node.
   • --masternode-disk-size — размер хранилища в гигабайтах для хостов с ролью Master node.
   • --masternode-disk-type — тип хранилища для хостов с ролью Master node.
   • --version (опционально) — версия Elasticsearch: 7.10, 7.11, 7.12, 7.13, 7.14, 7.15, 7.16 или 7.17.
   • --edition (опционально) — редакция Elasticsearch: basic или platinum.
   • --deletion-protection — защита от удаления кластера: true или false.

   Идентификатор подсети subnet-id необходимо указывать, если в выбранной зоне доступности больше одной подсети.

   Включенная защита кластера от удаления не помешает подключиться к нему вручную и удалить данные.

   Примечание

   По умолчанию при создании кластера Managed Service for Elasticsearch устанавливается режим технического обслуживания anytime — в любое время. Вы можете установить конкретное время обслуживания при изменении настроек кластера Managed Service for Elasticsearch.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать кластер Managed Service for Elasticsearch:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер базы данных — описание кластера Managed Service for Elasticsearch и его хостов.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_elasticsearch_cluster" "<имя_кластера>" {
     name                = "<имя_кластера>"
     environment         = "<окружение>"
     network_id          = "<идентификатор_сети>"
     deletion_protection = "<защита_от_удаления>"
   
     config {
       version = "<версия_Elasticsearch>"
       edition = "<редакция_Elasticsearch>"
   
       admin_password = "<пароль_пользователя-администратора>"
   
       data_node {
         resources {
           resource_preset_id = "<класс_хоста>"
           disk_type_id       = "<тип_диска>"
           disk_size          = <размер_хранилища_ГБ>
         }
       }
   
       master_node {
         resources {
           resource_preset_id = "<класс_хоста>"
           disk_type_id       = "<тип_диска>"
           disk_size          = <размер_хранилища_ГБ>
         }
       }
   
       plugins = [ "<список_имен_плагинов>" ]
   
     }
   
     security_group_ids = [ "<список_идентификаторов_групп_безопасности>" ]
   
     host {
       name             = "<имя_хоста>"
       zone             = "<зона_доступности>"
       type             = "<роль_хоста>"
       assign_public_ip = <публичный_доступ>
       subnet_id        = "<идентификатор_подсети>"
     }
   }
   
   resource "yandex_vpc_network" "<имя_сети>" { name = "<имя_сети>" }
   
   resource "yandex_vpc_subnet" "<имя_подсети>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = "<идентификатор_сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Где:

   • environment — окружение: PRESTABLE или PRODUCTION.
   • deletion_protection — защита от удаления: true или false.
   • version (опционально) — версия Elasticsearch: 7.10, 7.11, 7.12, 7.13, 7.14, 7.15, 7.16 или 7.17.
   • edition (опционально) — редакция Elasticsearch: basic или platinum.
   • host — параметры хоста:
     • name — имя хоста.
     • zone — зона доступности.
     • type — роль хоста: DATA_NODE или MASTER_NODE.
     • assign_public_ip — публичный доступ к хосту: true или false.
     • subnet-id — идентификатор подсети. Необходимо указывать, если в выбранной зоне доступности создано две или больше подсетей.

   Включенная защита от удаления кластера Managed Service for Elasticsearch не защищает содержимое БД.

   1. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

      resource "yandex_mdb_elasticsearch_cluster" "<имя_кластера>" {
        ...
        maintenance_window {
          type = <тип_технического_обслуживания>
          day  = <день_недели>
          hour = <час_дня>
        }
        ...
      }
      

      Где:

      • type — тип технического обслуживания. Принимает значения:
        • ANYTIME — в любое время.
        • WEEKLY — по расписанию.
      • day — день недели для типа WEEKLY в формате DDD. Например, MON.
      • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера Terraform.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер Managed Service for Elasticsearch.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   Ограничения по времени

   Провайдер Terraform ограничивает время на выполнение операций с кластером Managed Service for Elasticsearch:

   • создание, в т. ч. путем восстановления из резервной копии, — 30 минут;
   • изменение — 60 минут;
   • удаление — 15 минут.

   Операции, длящиеся дольше указанного времени, прерываются.

   Как изменить эти ограничения?

   Добавьте к описанию кластера блок timeouts, например:

   resource "yandex_mdb_elasticsearch_cluster" "<имя_кластера>" {
     ...
     timeouts {
       create = "1h30m" # Полтора часа
       update = "2h"    # 2 часа
       delete = "30m"   # 30 минут
     }
   }
   

Чтобы создать кластер Managed Service for Elasticsearch, воспользуйтесь методом REST API create для ресурса Cluster или вызовом gRPC API ClusterService/Create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер Managed Service for Elasticsearch, в параметре folderId.

• Имя кластера Managed Service for Elasticsearch в параметре name.

• Версию Elasticsearch в параметре configSpec.version.

• Редакцию Elasticsearch в параметре configSpec.edition.

• Конфигурацию кластера Managed Service for Elasticsearch в параметре configSpec, в том числе:

  • Класс хостов с ролью Master node в параметре configSpec.elasticsearchSpec.masterNode.resources. Чтобы не создавать выделенных хостов с ролью Master node — не задавайте значения для группы параметров configSpec.elasticsearchSpec.masterNode.
  • Класс хостов с ролью Data node в параметре configSpec.elasticsearchSpec.dataNode.resources.

• Конфигурацию хостов кластера Managed Service for Elasticsearch в одном или нескольких параметрах hostSpecs.

• Идентификатор сети в параметре networkId.

• Идентификаторы групп безопасности в параметре securityGroupIds.

• Список плагинов в параметре configSpec.elasticsearchSpec.plugins.

• Настройки времени технического обслуживания (в т. ч. для выключенных кластеров Managed Service for Elasticsearch) в параметре maintenanceWindow.

• Настройки доступа из Yandex Data Transfer в параметре configSpec.access.dataTransfer.

Создайте кластер Managed Service for Elasticsearch. Конфигурационный файл для кластера Managed Service for Elasticsearch выглядит так:

resource "yandex_mdb_elasticsearch_cluster" "my-es-clstr" {
  name                = "my-es-clstr"
  environment         = "PRODUCTION"
  network_id          = yandex_vpc_network.mynet.id
  deletion_protection = "true"

  config {
    edition = "basic"
    version = "7.17"

    admin_password = "esadminpwd"

    data_node {
      resources {
        resource_preset_id = "s2.micro"
        disk_type_id       = "network-ssd"
        disk_size          = 20
      }
    }

  }

  security_group_ids = [ yandex_vpc_security_group.es-sg.id ]

  host {
    name             = "node"
    zone             = "ru-central1-a"
    type             = "DATA_NODE"
    assign_public_ip = true
    subnet_id        = yandex_vpc_subnet.mysubnet.id
  }

}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "es-sg" {
  name       = "es-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Kibana"
    port           = 443
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }

  ingress {
    description    = "Elasticsearch"
    port           = 9200
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}

Где применены тестовые характеристики:

• Имя my-es-clstr.

• Версия 7.17.

• Редакция Basic.

• Окружение PRODUCTION.

• Защита кластера Managed Service for Elasticsearch от удаления deletion_protection. Пока опция включена, кластер Managed Service for Elasticsearch удалить невозможно.

• Облако с идентификатором b1gq90dgh25********.

• Каталог с идентификатором b1gia87mbaom********.

• Новая сеть mynet.

• Новая группа безопасности es-sg, разрешающая подключение к кластеру Managed Service for Elasticsearch из интернета через порты 443 (Kibana) и 9200 (Elasticsearch).

• Один публично доступный хост с ролью Data node класса s2.micro в новой подсети mysubnet, в зоне доступности ru-central1-a. Подсеть mysubnet будет иметь диапазон 10.5.0.0/24.

• Хранилище на сетевых SSD-дисках (network-ssd) объемом 20 ГБ.

• Пароль esadminpwd для пользователя admin.