Создание кластера OpenSearch

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id. Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы создать кластер Managed Service for OpenSearch:

1. Посмотрите описание команды CLI для создания кластера:

   yc managed-opensearch cluster create --help
   

2. Укажите параметры кластера в команде создания (в примере приведены не все доступные параметры):

   yc managed-opensearch cluster create \
      --name <имя_кластера> \
      --description <описание_кластера> \
      --labels <метки> \
      --environment <окружение> \
      --network-name <имя_сети> \
      --security-group-ids <идентификаторы_групп_безопасности> \
      --service-account-name <имя_сервисного_аккаунта> \
      --delete-protection \
      --maintenance schedule=<тип_технического_обслуживания>,`
                   `weekday=<день_недели>,`
                   `hour=<порядковый_номер_часового_интервала> \
      --disk-encryption-key-id <идентификатор_ключа_KMS> \
      --version <версия_OpenSearch> \
      --read-admin-password \
      --serverless-access=<разрешить_доступ_из_Serverless_Containers> \
      --plugins <OpenSearch_плагины> \
      --advanced-params <дополнительные_параметры> \
      --opensearch-node-group name=<имя_группы_хостов_OpenSearch>,`
                             `resource-preset-id=<класс_хостов>,`
                             `disk-size=<размер_диска_в_байтах>,`
                             `disk-type-id=<network-hdd|network-ssd|network-ssd-io-m3|network-ssd-nonreplicated|local-ssd>,`
                             `hosts-count=<количество_хостов_в_группе>,`
                             `zone-ids=<зоны_доступности>,`
                             `subnet-names=<имена_подсетей>,`
                             `assign-public-ip=<разрешить_публичный_доступ_к_хостам>,`
                             `roles=<роли_хостов> \
      --dashboards-node-group name=<имя_группы_хостов_Dashboards>,`
                             `resource-preset-id=<класс_хостов>,`
                             `disk-size=<размер_диска_в_байтах>,`
                             `disk-type-id=<network-ssd>,`
                             `hosts-count=<количество_хостов_в_группе>,`
                             `zone-ids=<зоны_доступности>,`
                             `subnet-names=<имена_подсетей>,`
                             `assign-public-ip=<разрешить_публичный_доступ_к_хостам>
   

   Где:

   • --labels — метки Yandex Cloud в формате <ключ>=<значение>. Используются для логического разделения ресурсов.

   • --environment — окружение:

     • production — для стабильных версий ваших приложений.
     • prestable — для тестирования. Prestable-окружение аналогично Production-окружению и на него также распространяется SLA, но при этом на нем раньше появляются новые функциональные возможности, улучшения и исправления ошибок. В Prestable-окружении вы можете протестировать совместимость новых версий с вашим приложением.

   • --service-account-name — имя сервисного аккаунта для доступа к Yandex Object Storage в качестве репозитория снапшотов OpenSearch. Подробнее о сервисных аккаунтах в документации Yandex Identity and Access Management.

   • --deletion-protection — защита кластера от непреднамеренного удаления: true или false.

     Включенная защита кластера от удаления не помешает удалить пользователя или подключиться к кластеру вручную и удалить данные.

   • --maintenance — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). Передайте один из двух параметров:

     • anytime — в любое время.

     • weekly — по расписанию. Для этого значения дополнительно укажите:

       • weekday — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.

       • hour — порядковый номер часового интервала по UTC: от 1 до 24.

         Например, 1 соответствует интервалу с 00:00 до 01:00, 5 — с 04:00 до 05:00.

   • --disk-encryption-key-id — шифрование диска пользовательским ключом KMS.

     Подробнее о шифровании дисков в разделе Хранилище.

   • --read-admin-password — пароль пользователя admin. Если указать параметр в команде, после ее ввода будет предложено ввести пароль.

     Пароль должен содержать 3 из 4 групп символов:

     • строчные буквы латинского алфавита;
     • заглавные буквы латинского алфавита;
     • цифры;
     • специальные символы.

     Длина пароля — от 10 до 72 символов.

     admin — это специальный пользователь, который необходим для управления кластером и не может быть удален. Он наделен ролью superuser и может выполнять любые действия с кластером.

     Совет

     Для выполнения повседневных задач рекомендуется создавать отдельных пользователей. Подробнее в разделе Управление пользователями OpenSearch.

   • --serverless-access — доступ из Yandex Serverless Containers: true или false.

   • --plugins — плагины OpenSearch, которые нужно установить в кластер.

   • --advanced-params — дополнительные параметры кластера. Возможные значения:

     • max-clause-count — максимально допустимое количество булевых выражений (boolean clauses) в запросе. Подробнее в документации OpenSearch.
     • fielddata-cache-size — объем кучи JVM, который выделен для структуры данных fielddata. Можно указать абсолютное значение или проценты, например, 512mb или 50%. Подробнее в документации OpenSearch.
     • reindex-remote-whitelist — список удаленных хостов, из индекса которых нужно скопировать документы для переиндексации. Укажите значение параметра в формате <адрес_хоста>:<порт>. Если нужно указать несколько хостов, перечислите значения через запятую. Подробнее в документации OpenSearch.

   • --opensearch-node-group — конфигурация группы хостов OpenSearch, где:

     • resource-preset-id — класс хостов. Он определяет технические характеристики виртуальных машин, на которых будут развернуты узлы OpenSearch. Все доступные варианты перечислены в разделе Классы хостов.

     • disk-size — размер диска в байтах. Минимальное и максимальное значения зависят от выбранного класса хостов.

     • disk-type-id — тип диска.

     • zone-ids — зоны доступности. Несколько зон указываются через запятую и в квадратных скобках. Например:

       zone-ids=[ru-central1-a,ru-central1-b,ru-central1-d]
       

     • subnet-names — имена подсетей в указанных зонах доступности. Несколько подсетей указываются через запятую и в квадратных скобках. Например:

       subnet-names=[default-ru-central1-a,default-ru-central1-b,default-ru-central1-d]
       

       Вместо параметра subnet-names можно указать параметр subnet-ids с идентификаторами подсетей. Несколько идентификаторов указываются через запятую и в квадратных скобках. Например:

       subnet-ids=[e9bp8qmchqh2********,e2l963gkhobo********,fl8klaabecc3********]
       

     • roles — роли хостов. Возможные значения:

       • data — предоставляется только роль DATA;
       • manager — предоставляется только роль MANAGER;
       • data+manager или manager+data — предоставляются обе роли.

   • --dashboards-node-group — конфигурация группы хостов Dashboards. Настраивается так же, как группа хостов OpenSearch, за исключением ролей хостов. Для группы Dashboards роли настраивать не нужно.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробная информация о ресурсах провайдера в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы управлять инфраструктурой с помощью Terraform от имени сервисного аккаунта или пользовательских аккаунтов: аккаунта на Яндексе, федеративного аккаунта и локального пользователя, аутентифицируйтесь соответствующим способом.

Чтобы создать кластер Managed Service for OpenSearch:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер БД — описание кластера Managed Service for OpenSearch и его хостов.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_opensearch_cluster" "<имя_кластера>" {
     name                   = "<имя_кластера>"
     environment            = "<окружение>"
     network_id             = "<идентификатор_сети>"
     security_group_ids     = ["<список_идентификаторов_групп_безопасности>"]
     disk_encryption_key_id = <идентификатор_ключа_KMS>
     deletion_protection    = "<защитить_кластер_от_удаления>"
   
     config {
   
       version        = "<версия_OpenSearch>"
       admin_password = "<пароль_пользователя-администратора>"
   
       opensearch {
         node_groups {
           name             = "<имя_группы_виртуальных_хостов>"
           assign_public_ip = <разрешить_публичный_доступ_к_хостам>
           hosts_count      = <количество_хостов>
           zone_ids         = ["<список_зон_доступности>"]
           subnet_ids       = ["<список_идентификаторов подсетей>"]
           roles            = ["<список_ролей>"]
           resources {
             resource_preset_id = "<класс_хоста>"
             disk_size          = <размер_хранилища_в_байтах>
             disk_type_id       = "<тип_диска>"
           }
         }
   
         plugins = ["<список_имен_плагинов>"]
   
       }
   
       dashboards {
         node_groups {
           name             = "<имя_группы_виртуальных_хостов>"
           assign_public_ip = <разрешить_публичный_доступ_к_хостам>
           hosts_count      = <количество_хостов>
           zone_ids         = ["<список_зон_доступности>"]
           subnet_ids       = ["<список_идентификаторов подсетей>"]
           resources {
             resource_preset_id = "<класс_хоста>"
             disk_size          = <размер_хранилища_в_байтах>
             disk_type_id       = "<тип_диска>"
           }
         }
       }
     }
     maintenance_window {
       type = "<тип_технического_обслуживания>"
       day  = "<день_недели>"
       hour = <порядковый_номер_часового_интервала>
     }
   }
   
   resource "yandex_vpc_network" "<имя_сети>" { 
     name = "<имя_сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = "<идентификатор_сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Где:

   • environment — окружение: PRESTABLE или PRODUCTION.

   • disk_encryption_key_id — шифрование диска пользовательским ключом KMS.

     Подробнее о шифровании дисков в разделе Хранилище.

   • deletion_protection — защита кластера от непреднамеренного удаления: true или false.

     Включенная защита кластера от удаления не помешает удалить пользователя или подключиться к кластеру вручную и удалить данные.

   • admin_password— пароль пользователя admin.

     Пароль должен содержать 3 из 4 групп символов:

     • строчные буквы латинского алфавита;
     • заглавные буквы латинского алфавита;
     • цифры;
     • специальные символы.

     Длина пароля — от 10 до 72 символов.

     admin — это специальный пользователь, который необходим для управления кластером и не может быть удален. Он наделен ролью superuser и может выполнять любые действия с кластером.

     Совет

     Для выполнения повседневных задач рекомендуется создавать отдельных пользователей. Подробнее в разделе Управление пользователями OpenSearch.

   • assign_public_ip — публичный доступ к хосту: true или false.

   • roles — роли хостов: DATA и MANAGER.

   • maintenance_window — время технического обслуживания (в т. ч. для выключенных кластеров):

     • type — тип технического обслуживания. Принимает значения:

       • ANYTIME — в любое время.
       • WEEKLY — по расписанию.

     • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.

     • hour — порядковый номер часового интервала по UTC: от 1 до 24.

       Например, 1 соответствует интервалу с 00:00 до 01:00, 5 — с 04:00 до 05:00.

   Полный список доступных для изменения полей конфигурации кластера Managed Service for OpenSearch в документации провайдера Terraform.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   Ограничения по времени

   Провайдер Terraform ограничивает время на выполнение операций с кластером Managed Service for OpenSearch:

   • создание, в том числе путем восстановления из резервной копии, — 30 минут;
   • изменение — 60 минут;
   • удаление — 15 минут.

   Операции, длящиеся дольше указанного времени, прерываются.

   Как изменить эти ограничения?

   Добавьте к описанию кластера блок timeouts, например:

   resource "yandex_mdb_opensearch_cluster" "<имя_кластера>" {
     ...
     timeouts {
       create = "1h30m" # Полтора часа
       update = "2h"    # 2 часа
       delete = "30m"   # 30 минут
     }
   }
   

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Создайте файл body.json и добавьте в него следующее содержимое:

   {
       "folderId": "<идентификатор_каталога>",
       "name": "<имя_кластера>",
       "environment": "<окружение>",
       "networkId": "<идентификатор_сети>",
       "securityGroupIds": [
           "<идентификатор_группы_безопасности_1>",
           "<идентификатор_группы_безопасности_2>",
           ...
           "<идентификатор_группы_безопасности_N>"
       ],
       "serviceAccountId": "<идентификатор_сервисного_аккаунта>",
       "deletionProtection": <защитить_кластер_от_удаления>,
       "configSpec": {
           "version": "<версия_OpenSearch>",
           "adminPassword": "<пароль_пользователя-администратора>",
           "opensearchSpec": {
               "plugins": [
                   "<плагин_OpenSearch_1>",
                   "<плагин_OpenSearch_2>",
                   ...
                   "<плагин_OpenSearch_N>"
               ],
               "nodeGroups": [
                   {
                       "name": "<название_группы_хостов>",
                       "resources": {
                           "resourcePresetId": "<класс_хостов>",
                           "diskSize": "<размер_хранилища_в_байтах>",
                           "diskTypeId": "<тип_диска>"
                       },
                       "roles": ["<роль_1>","<роль_2>"],
                       "hostsCount": "<число_хостов>",
                       "zoneIds": [
                           "<зона_доступности_1>",
                           "<зона_доступности_2>",
                           "<зона_доступности_3>"
                       ],
                       "subnetIds": [
                           "<идентификатор_подсети_1>",
                           "<идентификатор_подсети_2>",
                           "<идентификатор_подсети_3>"
                       ],
                       "assignPublicIp": <разрешить_публичный_доступ_к_хостам>,
                       "diskSizeAutoscaling": {
                           "plannedUsageThreshold": "<процент_для_планового_увеличения>",
                           "emergencyUsageThreshold": "<процент_для_незамедлительного_увеличения>",
                           "diskSizeLimit": "<максимальный_размер_хранилища_в_байтах>"
                       }
                   },
                   ...
               ]
           },
           "dashboardsSpec": {
               "nodeGroups": [
                   {
                       "name": "<название_группы_хостов>",
                       "resources": {
                           "resourcePresetId": "<класс_хостов>",
                           "diskSize": "<размер_хранилища_в_байтах>",
                           "diskTypeId": "<тип_диска>"
                       },
                       "hostsCount": "<число_хостов>",
                       "zoneIds": ["<зона_доступности>"],
                       "subnetIds": ["<идентификатор_подсети>"],
                       "assignPublicIp": <разрешить_публичный_доступ_к_хостам>,
                       "diskSizeAutoscaling": {
                           "plannedUsageThreshold": "<процент_для_планового_увеличения>",
                           "emergencyUsageThreshold": "<процент_для_незамедлительного_увеличения>",
                           "diskSizeLimit": "<максимальный_размер_хранилища_в_байтах>"
                       }
                   }
               ]
           },
           "access": {
               "dataTransfer": <разрешить_доступ_из_Data_Transfer>,
               "serverless": <разрешить_доступ_из_Serverless_Containers>
           }
       },
       "maintenanceWindow": {
           "weeklyMaintenanceWindow": {
               "day": "<день_недели>",
               "hour": "<порядковый_номер_часового_интервала>"
           }
       }
   }
   

   Где:

   • folderId — идентификатор каталога. Его можно запросить со списком каталогов в облаке.

   • name — имя кластера.

   • environment — окружение кластера: PRODUCTION или PRESTABLE.

   • networkId — идентификатор сети, в которой будет размещен кластер.

   • securityGroupIds — идентификаторы групп безопасности.

   • serviceAccountId — идентификатор сервисного аккаунта, используемого для работы с кластером.

   • deletionProtection — защита кластера от непреднамеренного удаления: true или false.

     Включенная защита кластера от удаления не помешает удалить пользователя или подключиться к кластеру вручную и удалить данные.

   • configSpec — настройки кластера:

     • version — версия OpenSearch.

     • adminPassword — пароль пользователя admin.

       Пароль должен содержать 3 из 4 групп символов:

       • строчные буквы латинского алфавита;
       • заглавные буквы латинского алфавита;
       • цифры;
       • специальные символы.

       Длина пароля — от 10 до 72 символов.

       admin — это специальный пользователь, который необходим для управления кластером и не может быть удален. Он наделен ролью superuser и может выполнять любые действия с кластером.

       Совет

       Для выполнения повседневных задач рекомендуется создавать отдельных пользователей. Подробнее в разделе Управление пользователями OpenSearch.

     • opensearchSpec — настройки групп хостов OpenSearch:

       • plugins — список плагинов OpenSearch, которые надо установить в кластер дополнительно.

       • nodeGroups — настройки хостов в виде массива элементов. Каждый элемент соответствует отдельной группе хостов и имеет следующую структуру:

         • name — имя группы хостов.

         • resources — ресурсы кластера:

           • resourcePresetId — класс хостов;
           • diskSize — размер диска в байтах;
           • diskTypeId — тип диска.

         • roles — список ролей хостов. Кластер должен содержать хотя бы по одной группе хостов DATA и MANAGER. Это может быть одна группа, на которую назначены две роли, или несколько групп с разными ролями.

         • hostsCount — количество хостов в группе. Минимальное число хостов DATA — один, хостов MANAGER — три.

         • zoneIds — список зон доступности, где размещаются хосты кластера.

         • subnetIds — список идентификаторов подсетей.

         • assignPublicIp — разрешение на подключение к хосту из интернета: true или false.

         • diskSizeAutoscaling — настройки автоматического увеличения размера хранилища:

           • plannedUsageThreshold — процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

             Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

             Если вы задали этот параметр, настройте расписание окна технического обслуживания в параметре maintenanceWindow.

           • emergencyUsageThreshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

             Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

             Важно

             Если заданы оба порога, значение emergencyUsageThreshold должно быть не меньше plannedUsageThreshold.

           • diskSizeLimit — максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

           Важно

           • Размер хранилища не может быть уменьшен после автоматического увеличения.
           • Во время изменения размера хранилища хосты кластера будут недоступны.

     • dashboardsSpec — настройки групп хостов Dashboards. Содержат параметр nodeGroups, структура которого совпадает со структурой opensearchSpec.nodeGroups. Исключение — параметр roles: у хостов Dashboards есть только одна роль DASHBOARDS, поэтому ее не нужно указывать.

     • access — настройки доступа к кластеру из следующих сервисов Yandex Cloud:

       • serverless — Yandex Serverless Containers.

       Возможные значения настроек: true или false.

   • maintenance_window — расписание окна технического обслуживания (в т. ч. для выключенных кластеров). Передайте один из двух параметров:

     • anytime — техническое обслуживание проводится в любое время.

     • weeklyMaintenanceWindow — техническое обслуживание проводится раз в неделю в указанное время:

       • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.

       • hour — порядковый номер часового интервала по UTC: от 1 до 24.

         Например, 1 соответствует интервалу с 00:00 до 01:00, 5 — с 04:00 до 05:00.

3. Воспользуйтесь методом Cluster.Create и выполните запрос, например с помощью cURL:

   curl \
       --request POST \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.yandexcloud.kz/managed-opensearch/v1/clusters' \
       --data "@body.json"
   

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Создайте файл body.json и добавьте в него следующее содержимое:

   {
       "folder_id": "<идентификатор_каталога>",
       "name": "<имя_кластера>",
       "environment": "<окружение>",
       "network_id": "<идентификатор_сети>",
       "security_group_ids": [
           "<идентификатор_группы_безопасности_1>",
           "<идентификатор_группы_безопасности_2>",
           ...
           "<идентификатор_группы_безопасности_N>"
       ],
       "service_account_id": "<идентификатор_сервисного_аккаунта>",
       "deletion_protection": <защитить_кластер_от_удаления>,
       "config_spec": {
           "version": "<версия_OpenSearch>",
           "admin_password": "<пароль_пользователя-администратора>",
           "opensearch_spec": {
               "plugins": [
                   "<плагин_OpenSearch_1>",
                   "<плагин_OpenSearch_2>",
                   ...
                   "<плагин_OpenSearch_N>"
               ],
               "node_groups": [
                   {
                       "name": "<название_группы_хостов>",
                       "resources": {
                           "resource_preset_id": "<класс_хостов>",
                           "disk_size": "<размер_хранилища_в_байтах>",
                           "disk_type_id": "<тип_диска>"
                       },
                       "roles": ["<роль_1>","<роль_2>"],
                       "hosts_count": "<число_хостов>",
                       "zone_ids": [
                           "<зона_доступности_1>",
                           "<зона_доступности_2>",
                           "<зона_доступности_3>"
                       ],
                       "subnet_ids": [
                           "<идентификатор_подсети_1>",
                           "<идентификатор_подсети_2>",
                           "<идентификатор_подсети_3>"
                       ],
                       "assign_public_ip": <разрешить_публичный_доступ_к_хостам>,
                       "disk_size_autoscaling": {
                           "planned_usage_threshold": "<процент_для_планового_увеличения>",
                           "emergency_usage_threshold": "<процент_для_незамедлительного_увеличения>",
                           "disk_size_limit": "<максимальный_размер_хранилища_в_байтах>"
                       }
                   },
                   ...
               ]
           },
           "dashboards_spec": {
               "node_groups": [
                   {
                       "name": "<название_группы_хостов>",
                       "resources": {
                           "resource_preset_id": "<класс_хостов>",
                           "disk_size": "<размер_хранилища_в_байтах>",
                           "disk_type_id": "<тип_диска>"
                       },
                       "hosts_count": "<число_хостов>",
                       "zone_ids": ["<зона_доступности>"],
                       "subnet_ids": ["<идентификатор_подсети>"],
                       "assign_public_ip": <разрешить_публичный_доступ_к_хостам>,
                       "disk_size_autoscaling": {
                           "planned_usage_threshold": "<процент_для_планового_увеличения>",
                           "emergency_usage_threshold": "<процент_для_незамедлительного_увеличения>",
                           "disk_size_limit": "<максимальный_размер_хранилища_в_байтах>"
                       }
                   }
               ]
           },
           "access": {
               "serverless": <разрешить_доступ_из_Serverless_Containers>
           }
       },
       "maintenance_window": {
           "weekly_maintenance_window": {
               "day": "<день_недели>",
               "hour": "<порядковый_номер_часового_интервала>"
           }
       }
   }
   

   Где:

   • folder_id — идентификатор каталога. Его можно запросить со списком каталогов в облаке.

   • name — имя кластера.

   • environment — окружение кластера: PRODUCTION или PRESTABLE.

   • network_id — идентификатор сети, в которой будет размещен кластер.

   • security_group_ids — идентификаторы групп безопасности.

   • service_account_id — идентификатор сервисного аккаунта, используемого для работы с кластером.

   • deletion_protection — защита кластера от непреднамеренного удаления: true или false.

     Включенная защита кластера от удаления не помешает удалить пользователя или подключиться к кластеру вручную и удалить данные.

   • config_spec — настройки кластера:

     • version — версия OpenSearch.

     • admin_password — пароль пользователя admin.

       Пароль должен содержать 3 из 4 групп символов:

       • строчные буквы латинского алфавита;
       • заглавные буквы латинского алфавита;
       • цифры;
       • специальные символы.

       Длина пароля — от 10 до 72 символов.

       admin — это специальный пользователь, который необходим для управления кластером и не может быть удален. Он наделен ролью superuser и может выполнять любые действия с кластером.

       Совет

       Для выполнения повседневных задач рекомендуется создавать отдельных пользователей. Подробнее в разделе Управление пользователями OpenSearch.

     • opensearch_spec — настройки групп хостов OpenSearch:

       • plugins — список плагинов OpenSearch, которые надо установить в кластер дополнительно.

       • node_groups — настройки хостов в виде массива элементов. Каждый элемент соответствует отдельной группе хостов и имеет следующую структуру:

         • name — имя группы хостов.

         • resources — ресурсы кластера:

           • resource_preset_id — класс хостов;
           • disk_size — размер диска в байтах;
           • disk_type_id — тип диска.

         • roles — список ролей хостов. Кластер должен содержать хотя бы по одной группе хостов DATA и MANAGER. Это может быть одна группа, на которую назначены две роли, или несколько групп с разными ролями.

         • hosts_count — количество хостов в группе. Минимальное число хостов DATA — один, хостов MANAGER — три.

         • zone_ids — список зон доступности, где размещаются хосты кластера.

         • subnet_ids — список идентификаторов подсетей.

         • assign_public_ip — разрешение на подключение к хосту из интернета: true или false.

         • disk_size_autoscaling — настройки автоматического увеличения размера хранилища:

           • planned_usage_threshold — процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

             Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

             Если вы задали этот параметр, настройте расписание окна технического обслуживания в параметре maintenance_window.

           • emergency_usage_threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

             Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

             Важно

             Если заданы оба порога, значение emergency_usage_threshold должно быть не меньше planned_usage_threshold.

           • disk_size_limit — максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

           Важно

           • Размер хранилища не может быть уменьшен после автоматического увеличения.
           • Во время изменения размера хранилища хосты кластера будут недоступны.

     • dashboards_spec — настройки групп хостов Dashboards. Содержат параметр node_groups, структура которого совпадает со структурой opensearch_spec.node_groups. Исключение — параметр roles: у хостов Dashboards есть только одна роль DASHBOARDS, поэтому ее не нужно указывать.

     • access — настройки доступа к кластеру из следующих сервисов Yandex Cloud:

       • serverless — Yandex Serverless Containers.

       Возможные значения настроек: true или false.

   • maintenance_window — расписание окна технического обслуживания (в т. ч. для выключенных кластеров). Передайте один из двух параметров:

     • anytime — техническое обслуживание проводится в любое время.

     • weekly_maintenance_window — техническое обслуживание проводится раз в неделю в указанное время:

       • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.

       • hour — порядковый номер часового интервала по UTC: от 1 до 24.

         Например, 1 соответствует интервалу с 00:00 до 01:00, 5 — с 04:00 до 05:00.

4. Воспользуйтесь вызовом ClusterService.Create и выполните запрос, например с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/opensearch/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d @ \
       mdb.api.yandexcloud.kz:443 \
       yandex.cloud.mdb.opensearch.v1.ClusterService.Create \
       < body.json
   

5. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Создайте кластер Managed Service for OpenSearch с тестовыми характеристиками:

• Имя — my-os-clstr.

• Окружение — PRODUCTION.

• Версия OpenSearch — 2.12.

• Пароль пользователя admin — osAdminpwd1.

• Конфигурация группы узлов OpenSearch:

  • имя группы узлов OpenSearch — os-group;
  • класс хостов — s2.micro;
  • размер диска — 10737418240 (в байтах);
  • тип диска — network-ssd;
  • количество хостов — 3;
  • зона доступности — kz1-a;
  • публичный адрес — выделен;
  • роли группы хостов — DATA и MANAGER.

• Конфигурация группы хостов Dashboards:

  • имя группы хостов — dashboard-group;
  • класс хостов — s2.micro;
  • размер диска — 10737418240 (в байтах);
  • тип диска — network-ssd;
  • количество хостов — 1;
  • зона доступности — kz1-a;
  • публичный адрес — выделен.

• Время технического обслуживания — каждый понедельник с 13:00 до 14:00.

• Имя сети — mynet.

• Имя подсети — mysubnet.

• Зона доступности — kz1-a.

• Диапазон адресов — 10.1.0.0/16.

• Имя группы безопасности — os-sg. Группа безопасности разрешает подключение к хосту кластера из любой сети (в том числе из интернета) по порту 9200.

Конфигурационный файл для такого кластера выглядит так:

resource "yandex_mdb_opensearch_cluster" "my-os-clstr" {
  name               = "my-os-clstr"
  environment        = "PRODUCTION"
  network_id         = yandex_vpc_network.mynet.id
  security_group_ids = [yandex_vpc_security_group.os-sg.id]

  config {

    version        = "2.12"
    admin_password = "osAdminpwd1"

    opensearch {
      node_groups {
        name             = "os-group"
        assign_public_ip = true
        hosts_count      = 3
        zone_ids         = ["kz1-a"]
        subnet_ids       = [yandex_vpc_subnet.mysubnet.id]
        roles            = ["DATA", "MANAGER"]
        resources {
          resource_preset_id = "s2.micro"
          disk_size          = 10737418240
          disk_type_id       = "network-ssd"
        }
      }
    }

    dashboards {
      node_groups {
        name             = "dashboard-group"
        assign_public_ip = true
        hosts_count      = 1
        zone_ids         = ["ru-central1-a"]
        subnet_ids       = [yandex_vpc_subnet.mysubnet.id]
        resources {
          resource_preset_id = "s2.micro"
          disk_size          = 10737418240
          disk_type_id       = "network-ssd"
        }
      }
    }

  }

  maintenance_window {
    type = "WEEKLY"
    day  = "MON"
    hour = 14
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "kz1-a"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.1.0.0/16"]
}

resource "yandex_vpc_security_group" "os-sg" {
  name       = "os-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Allow connections to the Managed Service for OpenSearch cluster from the Internet"
    protocol       = "TCP"
    port           = 9200
    v4_cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    description    = "The rule allows all outgoing traffic"
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
    from_port      = 0
    to_port        = 65535
  }
}