Создание кластера OpenSearch

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер Managed Service for OpenSearch:

1. Посмотрите описание команды CLI для создания кластера:

   yc managed-opensearch cluster create --help
   

2. Укажите параметры кластера в команде создания (в примере приведены не все доступные параметры):

   yc managed-opensearch cluster create \
      --name <имя_кластера> \
      --description <описание_кластера> \
      --labels <метки> \
      --environment <окружение:_production_или_prestable> \
      --network-name <имя_сети> \
      --security-group-ids <идентификаторы_групп_безопасности> \
      --service-account-name <имя_сервисного_аккаунта> \
      --delete-protection \
      --maintenance schedule=<тип_технического_обслуживания>,`
                   `weekday=<день_недели>,`
                   `hour=<час_дня> \
      --version <версия_OpenSearch> \
      --read-admin-password \
      --data-transfer-access=<true_или_false> \
      --serverless-access=<true_или_false> \
      --plugins <OpenSearch_плагины> \
      --advanced-params <дополнительные_параметры> \
      --opensearch-node-group name=<имя_группы_хостов_OpenSearch>,`
                             `resource-preset-id=<класс_хостов>,`
                             `disk-size=<размер_диска_в_байтах>,`
                             `disk-type-id=<network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd>,`
                             `hosts-count=<количество_хостов_в_группе>,`
                             `zone-ids=<зоны_доступности>,`
                             `subnet-names=<имена_подсетей>,`
                             `assign-public-ip=<назначить_публичный_адрес:_true_или_false>,`
                             `roles=<роли_хостов> \
      --dashboards-node-group name=<имя_группы_хостов_Dashboards>,`
                             `resource-preset-id=<класс_хостов>,`
                             `disk-size=<размер_диска_в_байтах>,`
                             `disk-type-id=<network-ssd>,`
                             `hosts-count=<количество_хостов_в_группе>,`
                             `zone-ids=<зоны_доступности>,`
                             `subnet-names=<имена_подсетей>,`
                             `assign-public-ip=<назначить_публичный_адрес:_true_или_false>
   

   Где:

   • --labels — метки Yandex Cloud в формате <ключ>=<значение>. Используются для логического разделения ресурсов.

   • --environment — окружение:

     • production — для стабильных версий ваших приложений.
     • prestable — для тестирования. Prestable-окружение аналогично Production-окружению и на него также распространяется SLA, но при этом на нем раньше появляются новые функциональные возможности, улучшения и исправления ошибок. В Prestable-окружении вы можете протестировать совместимость новых версий с вашим приложением.

   • --service-account-name — имя сервисного аккаунта для доступа к Yandex Object Storage в качестве репозитория снапшотов OpenSearch. Подробнее о сервисных аккаунтах см. в документации Yandex Identity and Access Management.

   • --delete-protection — защита кластера от непреднамеренного удаления пользователем. Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

   • --maintenance — настройки времени технического обслуживания:

     • Чтобы разрешить проведение технического обслуживания в любое время, не указывайте параметр --maintenance в команде (конфигурация по умолчанию) либо укажите --maintenance schedule=anytime.
     • Чтобы указать предпочтительное время начала обслуживания, укажите в команде параметр --maintenance schedule=weekly,weekday=<день_недели>,hour=<час_дня_по_UTC>. Тогда техническое обслуживание будет проходить каждую неделю в обозначенный день и время.

     Операции по обслуживанию проводятся для включенных и выключенных кластеров. Во время обслуживания могут, например, применяться патчи или обновляться СУБД.

   • --read-admin-password — пароль пользователя admin. Если указать параметр в команде, после ее ввода будет предложено ввести пароль.

   • --serverless-access — доступ из Yandex Serverless Containers: true или false.

   • --plugins — плагины OpenSearch, которые нужно установить в кластер.

   • --advanced-params — дополнительные параметры кластера. Возможные значения:

     • max-clause-count — максимально допустимое количество булевых выражений (boolean clauses) в запросе. Подробнее см. в документации OpenSearch.
     • fielddata-cache-size — объем кучи JVM, который выделен для структуры данных fielddata. Можно указать абсолютное значение или проценты, например, 512mb или 50%. Подробнее см. в документации OpenSearch.
     • reindex-remote-whitelist — список удаленных хостов, из индекса которых нужно скопировать документы для переиндексации. Укажите значение параметра в формате <адрес_хоста>:<порт>. Если нужно указать несколько хостов, перечислите значения через запятую. Подробнее см. в документации OpenSearch.

   • --opensearch-node-group — конфигурация группы хостов OpenSearch, где:

     • resource-preset-id — класс хостов. Он определяет технические характеристики виртуальных машин, на которых будут развернуты узлы OpenSearch. Все доступные варианты перечислены в разделе Классы хостов.

     • disk-size — размер диска в байтах. Минимальное и максимальное значения зависят от выбранного класса хостов.

     • disk-type-id — тип диска.

     • roles — роли хостов. Возможные значения:

       • data — предоставляется только роль DATA;
       • manager — предоставляется только роль MANAGER;
       • data+manager или manager+data — предоставляются обе роли.

       Совет

       Не рекомендуется включать публичный доступ для хостов с ролью MANAGER — это небезопасно.

   • --dashboards-node-group — конфигурация группы хостов Dashboards. Настраивается так же, как группа хостов OpenSearch, за исключением ролей хостов. Для группы Dashboards роли настраивать не нужно.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать кластер Managed Service for OpenSearch:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер БД — описание кластера Managed Service for OpenSearch и его хостов.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_opensearch_cluster" "<имя_кластера>" {
     name                = "<имя_кластера>"
     environment         = "<окружение>"
     network_id          = "<идентификатор_сети>"
     security_group_ids  = ["<список_идентификаторов_групп_безопасности>"]
     deletion_protection = "<защита_от_удаления>"
   
     config {
   
       version        = "<версия_OpenSearch>"
       admin_password = "<пароль_пользователя-администратора>"
   
       opensearch {
         node_groups {
           name             = "<имя_группы_виртуальных_хостов>"
           assign_public_ip = <публичный_доступ>
           hosts_count      = <количество_хостов>
           zone_ids         = ["<список_зон_доступности>"]
           subnet_ids       = ["<список_идентификаторов подсетей>"]
           roles            = ["<список_ролей>"]
           resources {
             resource_preset_id = "<класс_хоста>"
             disk_size          = <размер_хранилища_в_байтах>
             disk_type_id       = "<тип_диска>"
           }
         }
   
         plugins = ["<список_имен_плагинов>"]
   
       }
   
       dashboards {
         node_groups {
           name             = "<имя_группы_виртуальных_хостов>"
           assign_public_ip = <публичный_доступ>
           hosts_count      = <количество_хостов>
           zone_ids         = ["<список_зон_доступности>"]
           subnet_ids       = ["<список_идентификаторов подсетей>"]
           resources {
             resource_preset_id = "<класс_хоста>"
             disk_size          = <размер_хранилища_в_байтах>
             disk_type_id       = "<тип_диска>"
           }
         }
       }
     }
     maintenance_window {
       type = <тип_технического_обслуживания>
       day  = <день_недели>
       hour = <час_дня>
     }
   }
   
   resource "yandex_vpc_network" "<имя_сети>" { 
     name = "<имя_сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = "<идентификатор_сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Где:

   • environment — окружение: PRESTABLE или PRODUCTION.
   • deletion_protection — защита от удаления: true или false.
   • assign_public_ip — публичный доступ к хосту: true или false.
   • roles — роли хостов: DATA и MANAGER.
   • maintenance_window — время технического обслуживания (в т. ч. для выключенных кластеров):
     • type — тип технического обслуживания. Принимает значения:
       • ANYTIME — в любое время.
       • WEEKLY — по расписанию.
     • day — день недели для типа WEEKLY в формате DDD. Например, MON.
     • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

   Включенная защита от удаления не помешает подключиться вручную и удалить содержимое базы данных.

   Полный список доступных для изменения полей конфигурации кластера Managed Service for OpenSearch см. в документации провайдера Terraform.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   Ограничения по времени

   Провайдер Terraform ограничивает время на выполнение операций с кластером Managed Service for OpenSearch:

   • создание, в том числе путем восстановления из резервной копии, — 30 минут;
   • изменение — 60 минут;
   • удаление — 15 минут.

   Операции, длящиеся дольше указанного времени, прерываются.

   Как изменить эти ограничения?

   Добавьте к описанию кластера блок timeouts, например:

   resource "yandex_mdb_opensearch_cluster" "<имя_кластера>" {
     ...
     timeouts {
       create = "1h30m" # Полтора часа
       update = "2h"    # 2 часа
       delete = "30m"   # 30 минут
     }
   }
   

Чтобы создать кластер Managed Service for OpenSearch, воспользуйтесь методом REST API create для ресурса Cluster или вызовом gRPC API ClusterService/Create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер, в параметре folderId.

• Имя кластера в параметре name.

• Версию OpenSearch в параметре configSpec.version.

• Пароль пользователя admin в параметре configSpec.adminPassword.

• Конфигурацию одной или нескольких групп хостов с ролями DATA и MANAGER (опционально) в параметре configSpec.opensearchSpec.nodeGroups.

• Конфигурацию одной или нескольких групп хостов с ролью DASHBOARDS в параметре configSpec.dashboardsSpec.nodeGroups.

• Список плагинов в параметре configSpec.opensearchSpec.plugins.

• Настройки доступа из других сервисов в параметре configSpec.access.

• Идентификатор сети в параметре networkId.

• Идентификаторы групп безопасности в параметре securityGroupIds. Может потребоваться дополнительная настройка групп безопасности для того, чтобы можно было подключаться к кластеру.

• Идентификатор сервисного аккаунта, используемого для работы с кластером, в параметре serviceAccountId.

• Настройки защиты от удаления кластера в параметре deletionProtection.

  Включенная защита от удаления не помешает подключиться вручную и удалить содержимое базы данных.

• Настройки времени технического обслуживания (в т. ч. для выключенных кластеров) в параметре maintenanceWindow.

Создайте кластер Managed Service for OpenSearch с тестовыми характеристиками:

• Имя — my-os-clstr.
• Окружение — PRODUCTION.
• Версия OpenSearch — 2.8.
• Пароль пользователя admin — osadminpwd.
• Имя группы узлов OpenSearch — os-group.
• Класс хостов — s2.micro.
• Размер диска — 10737418240 (в байтах).
• Тип диска — network-ssd.
• Количество хостов — 1.
• Публичный адрес — выделен.
• Роли группы хостов — DATA и MANAGER.
• Время технического обслуживания — каждый понедельник с 13:00 до 14:00.
• Имя сети — mynet.
• Имя подсети — mysubnet.
• Зона доступности — ru-central1-a.
• Диапазон адресов — 10.1.0.0/16.
• Имя группы безопасности — os-sg. Группа безопасности разрешает подключение к хосту кластера из любой сети (в том числе из интернета) по порту 9200.

Конфигурационный файл для такого кластера выглядит так:

resource "yandex_mdb_opensearch_cluster" "my-os-clstr" {
  name               = "my-os-clstr"
  environment        = "PRODUCTION"
  network_id         = yandex_vpc_network.mynet.id
  security_group_ids = [yandex_vpc_security_group.os-sg.id]

  config {

    version        = "2.8"
    admin_password = "osadminpwd"

    opensearch {
      node_groups {
        name             = "os-group"
        assign_public_ip = true
        hosts_count      = 1
        zone_ids         = ["ru-central1-a"]
        subnet_ids       = [yandex_vpc_subnet.mysubnet.id]
        roles            = ["DATA", "MANAGER"]
        resources {
          resource_preset_id = "s2.micro"
          disk_size          = 10737418240
          disk_type_id       = "network-ssd"
        }
      }
    }
  }
  maintenance_window {
    type = "WEEKLY"
    day  = "MON"
    hour = 14
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.1.0.0/16"]
}

resource "yandex_vpc_security_group" "os-sg" {
  name       = "os-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Allow connections to the Managed Service for OpenSearch cluster from the Internet"
    protocol       = "TCP"
    port           = 9200
    v4_cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    description    = "The rule allows all outgoing traffic"
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
    from_port      = 0
    to_port        = 65535
  }
}