Создание кластера PostgreSQL

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер Managed Service for PostgreSQL:

1. Проверьте, есть ли в каталоге подсети для хостов кластера:

   yc vpc subnet list
   

   Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе Yandex Virtual Private Cloud.

2. Посмотрите описание команды CLI для создания кластера:

   yc managed-postgresql cluster create --help
   

3. Укажите параметры кластера в команде создания (в примере приведены не все доступные параметры):

   yc managed-postgresql cluster create \
     --name <имя_кластера> \
     --environment <окружение> \
     --network-name <имя_сети> \
     --host zone-id=<зона_доступности>,`
              `subnet-id=<идентификатор_подсети>,`
              `assign-public-ip=<доступ_к_хосту_из_интернета> \
     --resource-preset <класс_хоста> \
     --user name=<имя_пользователя>,password=<пароль_пользователя> \
     --database name=<имя_БД>,owner=<имя_владельца_БД> \
     --disk-size <размер_хранилища_ГБ> \
     --disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
     --security-group-ids <список_идентификаторов_групп_безопасности> \
     --connection-pooling-mode=<режим_работы_менеджера_подключений> \
     --deletion-protection
   

   Где:

   • environment — окружение: prestable или production.

   • disk-type — тип диска.

     Важно

     Тип диска нельзя изменить после создания кластера.

   • assign-public-ip — доступ к хосту из интернета: true или false.

   • deletion-protection — защита от удаления кластера, его баз данных и пользователей.

     По умолчанию при создании пользователей и БД значение параметра наследуется от кластера. Значение также можно задать вручную, подробнее см. в разделах Управление пользователями и Управление БД.

   Идентификатор подсети subnet-id необходимо указывать, если в выбранной зоне доступности создано две и больше подсетей.

   Важно

   Выбранную для размещения кластера облачную сеть нельзя будет изменить. Если в дальнейшем вам потребуется переместить кластер в другую облачную сеть, воспользуйтесь функцией восстановления из резервной копии и укажите необходимую сеть для копии кластера.

   Доступные режимы работы менеджера подключений: SESSION, TRANSACTION или STATEMENT.

   Имя базы может содержать латинские буквы, цифры, подчеркивание и дефис. Максимальная длина имени 63 символа. Имена postgres, template0, template1 зарезервированы для собственных нужд Managed Service for PostgreSQL. Создавать базы с этими именами нельзя.

   Примечание

   Длина пароля от 8 до 128 символов.

   Включенная защита от удаления не помешает подключиться вручную и удалить содержимое базы данных.

   Также вы можете указать дополнительную опцию replication-source в параметре --host для того, чтобы вручную управлять потоками репликации.

   Чтобы разрешить доступ к кластеру из сервиса Yandex Cloud Functions, передайте параметр --serverless-access. Подробнее о настройке доступа см. в документации Cloud Functions.

   Чтобы разрешить доступ к кластеру из сервиса Yandex Query, передайте параметр --yandexquery-access=true. Функциональность находится на стадии Preview и предоставляется по запросу.

   Примечание

   По умолчанию при создании кластера устанавливается режим технического обслуживания anytime — в любое время. Вы можете установить конкретное время обслуживания при изменении настроек кластера.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать кластер Managed Service for PostgreSQL:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   • Кластер БД — описание кластера и его хостов.

   • База данных — описание БД кластера.

   • Пользователь — описание пользователя кластера.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Важно

   Выбранную для размещения кластера облачную сеть нельзя будет изменить. Если в дальнейшем вам потребуется переместить кластер в другую облачную сеть, воспользуйтесь функцией восстановления из резервной копии и укажите необходимую сеть для копии кластера.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_postgresql_cluster" "<имя_кластера>" {
     name                = "<имя_кластера>"
     environment         = "<окружение>"
     network_id          = "<идентификатор_сети>"
     security_group_ids  = [ "<список_идентификаторов_групп_безопасности>" ]
     deletion_protection = <защита_от_удаления>
   
     config {
       version = "<версия_PostgreSQL>"
       resources {
         resource_preset_id = "<класс_хоста>"
         disk_type_id       = "<тип_диска>"
         disk_size          = <размер_хранилища_ГБ>
       }
       pooler_config {
         pool_discard = <параметр_Odyssey>
         pooling_mode = "<режим_работы>"
       }
       ...
     }
   
     host {
       zone             = "<зона_доступности>"
       name             = "<имя_хоста>"
       subnet_id        = "<идентификатор_подсети>"
       assign_public_ip = <доступ_к_хосту_из_интернета>
     }
   }
   
   resource "yandex_mdb_postgresql_database" "<имя_БД>" {
     cluster_id = "<идентификатор_кластера>"
     name       = "<имя_БД>"
     owner      = "<имя_владельца_БД>"
     depends_on = [
       yandex_mdb_postgresql_user.<имя_пользователя>
     ]
   }
   
   resource "yandex_mdb_postgresql_user" "<имя_пользователя>" {
     cluster_id = "<идентификатор_кластера>"
     name       = "<имя_пользователя>"
     password   = "<пароль_пользователя>"
   }
   
   resource "yandex_vpc_network" "<имя_сети>" { name = "<имя_сети>" }
   
   resource "yandex_vpc_subnet" "<имя_подсети>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = "<идентификатор_сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Где:

   • environment — окружение: PRESTABLE или PRODUCTION.

   • assign_public_ip — доступ к хосту из интернета: true или false.

   • deletion_protection — защита от удаления кластера, его баз данных и пользователей: true или false.

     По умолчанию при создании пользователей и БД значение параметра наследуется от кластера. Значение также можно задать вручную, подробнее см. в разделах Управление пользователями и Управление БД.

   • version — версия PostgreSQL: 13, 13-1c, 14, 14-1c, 15, 15-1c, 16, 16-1c и 17.

   • pool_discard — параметр Odyssey pool_discard: true или false.

   • pooling_mode — режим работы: SESSION, TRANSACTION или STATEMENT.

   Имя базы может содержать латинские буквы, цифры, подчеркивание и дефис. Максимальная длина имени 63 символа. Имена postgres, template0, template1 зарезервированы для собственных нужд Managed Service for PostgreSQL. Создавать базы с этими именами нельзя.

   Примечание

   Длина пароля от 8 до 128 символов.

   Включенная защита от удаления не помешает подключиться вручную и удалить содержимое базы данных.

   Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_postgresql_cluster" "<имя_кластера>" {
     ...
     maintenance_window {
       type = <тип_технического_обслуживания>
       day  = <день_недели>
       hour = <час_дня>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания. Принимает значения:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY в формате DDD. Например, MON.
   • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

   Чтобы настроить сбор статистики, добавьте в блок config блок performance_diagnostics:

   resource "yandex_mdb_postgresql_cluster" "<имя_кластера>" {
     ...
     config {
       ...
       performance_diagnostics {
         enabled                      = <активация_сбора_статистики>
         sessions_sampling_interval   = <интервал_сбора_сессий>
         statements_sampling_interval = <интервала_сбора_запросов>
       }
       ...
     }
     ...
   }
   

   Где:

   • enabled — активация сбора статистики: true или false.
   • sessions_sampling_interval — интервал сбора сессий от 1 до 86400 секунд.
   • statements_sampling_interval — интервала сбора запросов от 60 до 86400 секунд.

   Полный список доступных для изменения полей конфигурации кластера Managed Service for PostgreSQL см. в документации провайдера Terraform.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   Ограничения по времени

   Провайдер Terraform ограничивает время на выполнение операций с кластером Managed Service for PostgreSQL:

   • создание, в том числе путем восстановления из резервной копии, — 30 минут;
   • изменение — 60 минут;
   • удаление — 15 минут.

   Операции, длящиеся дольше указанного времени, прерываются.

   Как изменить эти ограничения?

   Добавьте к описанию кластера блок timeouts, например:

   resource "yandex_mdb_postgresql_cluster" "<имя_кластера>" {
     ...
     timeouts {
       create = "1h30m" # Полтора часа
       update = "2h"    # 2 часа
       delete = "30m"   # 30 минут
     }
   }
   

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.create и выполните запрос, например, с помощью cURL:

   curl \
     --request POST \
     --header "Authorization: Bearer $IAM_TOKEN" \
     --header "Content-Type: application/json" \
     --url 'https://mdb.api.cloud.yandex.net/managed-postgresql/v1/clusters' \
     --data '{
               "folderId": "<идентификатор_каталога>",
               "name": "<имя_кластера>",
               "environment": "<окружение>",
               "networkId": "<идентификатор_сети>",
               "securityGroupIds": [
                 "<идентификатор_группы_безопасности_1>",
                 "<идентификатор_группы_безопасности_2>",
                 ...
                 "<идентификатор_группы_безопасности_N>"
               ],
               "deletionProtection": <защита_от_удаления:_true_или_false>,
               "configSpec": {
                 "version": "<версия_PostgreSQL>",
                 "resources": {
                   "resourcePresetId": "<класс_хостов>",
                   "diskSize": "<размер_хранилища_в_байтах>",
                   "diskTypeId": "<тип_диска>"
                 },
                 "access": {
                   "dataLens": <доступ_к_DataLens:_true_или_false>,
                   "webSql": <доступ_к_WebSQL:_true_или_false>,
                   "serverless": <доступ_к_Cloud_Functions:_true_или_false>,
                   "dataTransfer": <доступ_к_Data_Transfer:_true_или_false>,
                   "yandexQuery": <доступ_к_Query:_true_или_false>
                 },
                 "performanceDiagnostics": {
                   "enabled": <активация_сбора_статистики:_true_или_false>,
                   "sessionsSamplingInterval": "<интервал_сбора_сессий>",
                   "statementsSamplingInterval": "<интервал_сбора_запросов>"
                 }
               },
               "databaseSpecs": [
                 {
                   "name": "<имя_БД>",
                   "owner": "<имя_владельца_БД>"
                 },
                 { <аналогичный_набор_настроек_для_БД_2> },
                 { ... },
                 { <аналогичный_набор_настроек_для_БД_N> }
               ],
               "userSpecs": [
                 {
                   "name": "<имя_пользователя>",
                   "password": "<пароль_пользователя>",
                   "permissions": [
                     {
                       "databaseName": "<имя_БД>"
                     }
                   ],
                   "login": <разрешение_для_пользователя_на_подключение_к_БД:_true_или_false>
                 },
                 { <аналогичный_набор_настроек_для_пользователя_2> },
                 { ... },
                 { <аналогичный_набор_настроек_для_пользователя_N> }
               ],
               "hostSpecs": [
                 {
                   "zoneId": "<зона_доступности>",
                   "subnetId": "<идентификатор_подсети>",
                   "assignPublicIp": <публичный_адрес_хоста:_true_или_false>
                 },
                 { <аналогичный_набор_настроек_для_хоста_2> },
                 { ... },
                 { <аналогичный_набор_настроек_для_хоста_N> }
               ]
             }'
   

   Где:

   • folderId — идентификатор каталога. Его можно запросить со списком каталогов в облаке.

   • name — имя кластера.

   • environment — окружение кластера: PRODUCTION или PRESTABLE.

   • networkId — идентификатор сети, в которой будет размещен кластер.

     Важно

     Выбранную для размещения кластера облачную сеть нельзя будет изменить. Если в дальнейшем вам потребуется переместить кластер в другую облачную сеть, воспользуйтесь функцией восстановления из резервной копии и укажите необходимую сеть для копии кластера.

   • securityGroupIds — идентификаторы групп безопасности.

   • deletionProtection — защита от удаления кластера, его баз данных и пользователей.

   • configSpec — настройки кластера:

     • version — версия PostgreSQL.

     • resources — ресурсы кластера:

       • resourcePresetId — класс хостов;
       • diskSize — размер диска в байтах;
       • diskTypeId — тип диска.

     • access — настройки доступа кластера к следующим сервисам Yandex Cloud:

       • dataLens — Yandex DataLens;
       • webSql — Yandex WebSQL;
       • serverless — Yandex Cloud Functions;
       • dataTransfer — Yandex Data Transfer;
       • yandexQuery — Yandex Query.

     • performanceDiagnostics — настройки для сбора статистики:

       • enabled — активация сбора статистики.
       • sessionsSamplingInterval — интервал сбора сессий. Возможные значения: от 1 до 86400 секунд.
       • statementsSamplingInterval — интервал сбора запросов. Возможные значения: от 60 до 86400 секунд.

   • databaseSpecs — настройки баз данных в виде массива элементов. Каждый элемент соответствует отдельной БД и имеет следующую структуру:

     • name — имя БД.
     • owner — имя владельца БД. Должно совпадать с именем одного из пользователей, указанных в запросе.

   • userSpecs — настройки пользователей в виде массива элементов. Каждый элемент соответствует отдельному пользователю и имеет следующую структуру:

     • name — имя пользователя.
     • password — пароль пользователя.
     • permissions.databaseName — имя базы данных, к которой пользователь получает доступ.
     • login — разрешение для пользователя на подключение к БД.

   • hostSpecs — настройки хостов кластера в виде массива элементов. Каждый элемент соответствует отдельному хосту и имеет следующую структуру:

     • zoneId — зона доступности;
     • subnetId — идентификатор подсети;
     • assignPublicIp — разрешение на подключение к хосту из интернета.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/Create и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/mdb/postgresql/v1/cluster_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
           "folder_id": "<идентификатор_каталога>",
           "name": "<имя_кластера>",
           "environment": "<окружение>",
           "network_id": "<идентификатор_сети>",
           "security_group_ids": [
             "<идентификатор_группы_безопасности_1>",
             "<идентификатор_группы_безопасности_2>",
             ...
             "<идентификатор_группы_безопасности_N>"
           ],
           "deletion_protection": <защита_от_удаления:_true_или_false>,
           "config_spec": {
             "version": "<версия_PostgreSQL>",
             "resources": {
               "resource_preset_id": "<класс_хостов>",
               "disk_size": "<размер_хранилища_в_байтах>",
               "disk_type_id": "<тип_диска>"
             },
             "access": {
               "data_lens": <доступ_к_DataLens:_true_или_false>,
               "web_sql": <доступ_к_WebSQL:_true_или_false>,
               "serverless": <доступ_к_Cloud_Functions:_true_или_false>,
               "data_transfer": <доступ_к_Data_Transfer:_true_или_false>,
               "yandex_query": <доступ_к_Query:_true_или_false>
             },
             "performance_diagnostics": {
               "enabled": <активация_сбора_статистики:_true_или_false>,
               "sessions_sampling_interval": "<интервал_сбора_сессий>",
               "statements_sampling_interval": "<интервал_сбора_запросов>"
             }
           },
           "database_specs": [
             {
               "name": "<имя_БД>",
               "owner": "<имя_владельца_БД>"
             },
             { <аналогичный_набор_настроек_для_БД_2> },
             { ... },
             { <аналогичный_набор_настроек_для_БД_N> }
           ],
           "user_specs": [
             {
               "name": "<имя_пользователя>",
               "password": "<пароль_пользователя>",
               "permissions": [
                 {
                   "database_name": "<имя_БД>"
                 }
               ],
               "login": <разрешение_для_пользователя_на_подключение_к_БД:_true_или_false>
             },
             { <аналогичный_набор_настроек_для_пользователя_2> },
             { ... },
             { <аналогичный_набор_настроек_для_пользователя_N> }
           ],
           "host_specs": [
             {
               "zone_id": "<зона_доступности>",
               "subnet_id": "<идентификатор_подсети>",
               "assign_public_ip": <публичный_адрес_хоста:_true_или_false>
             },
             { <аналогичный_набор_настроек_для_хоста_2> },
             { ... },
             { <аналогичный_набор_настроек_для_хоста_N> }
           ]
         }' \
     mdb.api.cloud.yandex.net:443 \
     yandex.cloud.mdb.postgresql.v1.ClusterService.Create
   

   Где:

   • folder_id — идентификатор каталога. Его можно запросить со списком каталогов в облаке.

   • name — имя кластера.

   • environment — окружение кластера: PRODUCTION или PRESTABLE.

   • network_id — идентификатор сети, в которой будет размещен кластер.

     Важно

     Выбранную для размещения кластера облачную сеть нельзя будет изменить. Если в дальнейшем вам потребуется переместить кластер в другую облачную сеть, воспользуйтесь функцией восстановления из резервной копии и укажите необходимую сеть для копии кластера.

   • security_group_ids — идентификаторы групп безопасности.

   • deletion_protection — защита от удаления кластера, его баз данных и пользователей.

   • config_spec — настройки кластера:

     • version — версия PostgreSQL.

     • resources — ресурсы кластера:

       • resource_preset_id — класс хостов;
       • disk_size — размер диска в байтах;
       • disk_type_id — тип диска.

     • access — настройки доступа кластера к следующим сервисам Yandex Cloud:

       • data_lens — Yandex DataLens;
       • web_sql — Yandex WebSQL;
       • serverless — Yandex Cloud Functions;
       • data_transfer — Yandex Data Transfer;
       • yandex_query — Yandex Query.

     • performance_diagnostics — настройки для сбора статистики:

       • enabled — активация сбора статистики.
       • sessions_sampling_interval — интервал сбора сессий. Возможные значения: от 1 до 86400 секунд.
       • statements_sampling_interval — интервал сбора запросов. Возможные значения: от 60 до 86400 секунд.

   • database_specs — настройки баз данных в виде массива элементов. Каждый элемент соответствует отдельной БД и имеет следующую структуру:

     • name — имя БД.
     • owner — имя владельца БД. Должно совпадать с именем одного из пользователей, указанных в запросе.

   • user_specs — настройки пользователей в виде массива элементов. Каждый элемент соответствует отдельному пользователю и имеет следующую структуру:

     • name — имя пользователя.
     • password — пароль пользователя.
     • permissions.database_name — имя базы данных, к которой пользователь получает доступ.
     • login — разрешение для пользователя на подключение к БД.

   • host_specs — настройки хостов кластера в виде массива элементов. Каждый элемент соответствует отдельному хосту и имеет следующую структуру:

     • zone_id — зона доступности;
     • subnet_id — идентификатор подсети;
     • assign_public_ip — разрешение на подключение к хосту из интернета.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Создайте кластер Managed Service for PostgreSQL и сеть для него с тестовыми характеристиками:

• С именем mypg.

• Версии 17.

• В окружении PRESTABLE.

• В облаке с идентификатором b1gq90dgh25********.

• В каталоге с идентификатором b1gia87mbaom********.

• В новой сети mynet.

• В новой группе безопасности pgsql-sg, разрешающей подключение к кластеру из интернета через порт 6432.

• С одним хостом класса s2.micro в новой подсети mysubnet, в зоне доступности ru-central1-a. Подсеть mysubnet будет иметь диапазон 10.5.0.0/24.

• С хранилищем на сетевых SSD-дисках (network-ssd) размером 20 ГБ.

• С одним пользователем (user1), с паролем user1user1.

• С одной БД db1, принадлежащей пользователю user1.

• С защитой от случайного удаления кластера, его баз данных и пользователей.

Конфигурационный файл для такого кластера выглядит так:

resource "yandex_mdb_postgresql_cluster" "mypg" {
  name                = "mypg"
  environment         = "PRESTABLE"
  network_id          = yandex_vpc_network.mynet.id
  security_group_ids  = [ yandex_vpc_security_group.pgsql-sg.id ]
  deletion_protection = true

  config {
    version = 17
    resources {
      resource_preset_id = "s2.micro"
      disk_type_id       = "network-ssd"
      disk_size          = "20"
    }
  }

  host {
    zone      = "ru-central1-a"
    name      = "mypg-host-a"
    subnet_id = yandex_vpc_subnet.mysubnet.id
  }
}

resource "yandex_mdb_postgresql_database" "db1" {
  cluster_id = yandex_mdb_postgresql_cluster.mypg.id
  name       = "db1"
  owner      = "user1"
}

resource "yandex_mdb_postgresql_user" "user1" {
  cluster_id = yandex_mdb_postgresql_cluster.mypg.id
  name       = "user1"
  password   = "user1user1"
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "pgsql-sg" {
  name       = "pgsql-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "PostgreSQL"
    port           = 6432
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}