Связаться с намиПодключиться

Настройки Greenplum®

Статья создана
Обновлена 21 ноября 2024 г.

Для кластера Managed Service for Greenplum® можно задать настройки, которые относятся к Greenplum®. Часть настроек задается на уровне кластера, часть — на уровне внешних источников данных: S3, JDBC, HDFS, Hive.

Метки рядом с названием настройки позволяют определить, с помощью какого интерфейса задается значение этой настройки: консоль управления, CLI, API, SQL или Terraform. Метка Все интерфейсы указывает, что поддерживаются все перечисленные интерфейсы.

В зависимости от выбранного интерфейса, одна и та же настройка будет представлена по-разному. Например, Max connections в консоли управления соответствует:

  • max_connections в gRPC API;
  • maxConnections в REST API.

Зависимость настроек от размера хранилища

Значения некоторых настроек Greenplum® могут быть автоматически скорректированы при изменении размера хранилища:

  • Если значения не были заданы или не подходят новому размеру, будут применены настройки по умолчанию для этого размера.
  • Если заданные вручную настройки подходят для нового размера, они не будут изменены.

Список настроек, зависящих от размера хранилища:

Настройки СУБД уровня кластера

Доступны следующие настройки:

  • Gp add column inherits table setting Консоль управления Terraform API

    Определяет, применяются ли параметры сжатия данных (compresstype, compresslevel и blocksize), указанные для AOCO-таблицы, при добавлении столбца.

    По умолчанию настройка выключена (параметры сжатия данных, заданные для таблицы, не учитываются).

    Подробнее см. в документации Greenplum®.

  • Gp workfile compression Консоль управления Terraform API

    Определяет, будут ли сжаты временные файлы, созданные на диске в процессе хеш-соединения или агрегации хеша.

    По умолчанию настройка выключена (временные файлы не сжимаются).

    Подробнее см. в документации Greenplum®.

  • Gp workfile limits per query Консоль управления Terraform API

    Максимальный объем дискового пространства (в байтах), который могут занимать временные файлы активного запроса в каждом сегменте.

    Максимальное значение — 1099511627776 (1 ТБ), минимальное — 0 (объем не ограничен), по умолчанию — 0.

    Подробнее см. в документации Greenplum®.

  • Gp workfile limit files per query Консоль управления Terraform API

    Максимальное количество временных файлов, которые сервис создает в сегменте для обработки одного запроса. Если этот предел превышен, запрос будет отменен.

    Максимальное значение — 100000, минимальное — 0 (количество временных файлов не ограничено), по умолчанию — 10000.

    Подробнее см. в документации Greenplum®.

  • Gp workfile limit per segment Консоль управления Terraform API

    Максимальный объем дискового пространства (в байтах), который могут занимать временные файлы всех активных запросов в каждом сегменте.

    Максимальное значение — 1099511627776 (1 ТБ), минимальное — 0 (объем не ограничен). Значение по умолчанию зависит от размера хранилища хостов-сегментов и рассчитывается по формуле:

    0.1 × <размер_хранилища_хоста-сегмента> / <количество_сегментов_на_хост>

    Подробнее см. в документации Greenplum®.

  • Log connections Консоль управления

    Определяет, выводить ли в лог строку с подробным описанием каждого успешного подключения к серверу Greenplum®.

    По умолчанию настройка выключена (логирование не ведется).

    Подробнее см. в документации Greenplum®.

  • Log disconnections Консоль управления

    Определяет, логировать ли завершение сессий. Если настройка включена, то при завершении клиентской сессии в лог выводится строка, в которой указывается продолжительность сессии.

    По умолчанию настройка выключена (логирование не ведется).

    Подробнее см. в документации Greenplum®.

  • Log error verbosity Консоль управления

    Задает уровень детализации информации в логе Greenplum® для каждого сообщения. Уровни детализации лога в порядке увеличения информативности:

    • terse.
    • default (значение по умолчанию).
    • verbose.

    Подробнее см. в документации Greenplum®.

  • Log hostname Консоль управления

    Определяет, выводить ли в лог подключений имя хоста главного сервера базы данных Greenplum®. Если настройка включена, то в лог выводятся IP-адрес и имя хоста. Если настройка выключена, то в лог выводится только IP-адрес.

    По умолчанию настройка выключена.

    Подробнее см. в документации Greenplum®.

  • Log min duration statement Консоль управления

    Задает минимальное время работы команды (в миллисекундах), при котором команда будет записана в лог.

    При значении 0 логируется время работы всех команд.

    Минимальное значение — -1 (отключает логирование времени работы), максимальное значение — 2147483647, по умолчанию — -1.

    Подробнее см. в документации Greenplum®.

  • Log min messages Консоль управления

    Определяет уровень логирования Greenplum®. Записываются все сообщения выбранного уровня важности и выше. Возможные значения (по возрастанию важности): DEBUG5, DEBUG4, DEBUG3, DEBUG2, DEBUG1, INFO, NOTICE, WARNING, ERROR, LOG, FATAL и PANIC.

    По умолчанию используется WARNING. Это означает, что в лог будут записаны все сообщения с уровнем важности WARNING, ERROR, LOG, FATAL и PANIC.

    Чтобы отключить запись большинства сообщений, выберите значение PANIC.

    Подробнее см. в документации Greenplum®.

  • Log statement Консоль управления Terraform API

    Фильтр команд SQL, которые будут записаны в лог Greenplum®:

    • NONE — фильтр отключен, команды SQL не записываются в лог.
    • DDL — в лог записываются команды SQL, которые изменяют определения структур данных (CREATE, ALTER, DROP и т. п.).
    • MOD — в лог записываются команды SQL, попадающие под фильтр DDL, и команды, позволяющие изменять данные (INSERT, UPDATE, DELETE, TRUNCATE, и COPY FROM).
    • ALL — в лог записываются все команды SQL.

    Значение по умолчанию — DDL.

    Выражения PREPARE и EXPLAIN ANALYZE также записываются в лог, если содержат команды соответствующего типа.

    Подробнее см. в документации Greenplum®.

  • Log statement stats Консоль управления

    Определяет, выводить ли статистику по запросам (разбор, планирование, выполнение) в лог.

    По умолчанию настройка выключена (логирование не ведется).

    Подробнее см. в документации Greenplum®.

  • Master shared buffers Консоль управления

    Объем памяти, который хост-мастер Greenplum® использует для буферов общей памяти (в байтах).

    Минимальное значение — 1048576 (1 МБ). Значение по умолчанию — 134217728 (128 МБ).

    Максимальное значение рассчитывается по формуле:

    min(<размер_хранилища_хоста-мастера> / 4, 8 * <размер_данных_в_базе>)

    Подробнее см. в документации Greenplum®.

    Важно

    Изменение этого параметра приведет к перезапуску кластера.

  • Max connections Консоль управления Terraform API

    Максимальное количество одновременных подключений к хосту-мастеру.

    Максимальное значение — 1000, минимальное — 250, по умолчанию — 350. Для хостов-сегментов это значение автоматически умножается на пять.

    При увеличении значения этой настройки рекомендуется увеличить также Max prepared transactions.

    Подробнее см. в документации Greenplum®.

  • Max prepared transactions Консоль управления Terraform API

    Максимальное количество транзакций, которые могут одновременно находиться в подготовленном состоянии.

    Максимальное значение — 10000, минимальное — 350, по умолчанию — 350. Значения для хостов-мастеров и хостов-сегментов совпадают.

    Для настройки не рекомендуется выбирать значение ниже, чем у Max connections.

    Подробнее см. в документации Greenplum®.

  • Max slot wal keep size Консоль управления Terraform API

    Максимальный размер (в байтах) файлов лога WAL (Write-Ahead Log) при репликации.

    Минимальное значение — 0 (лог не ведется), максимальное — 214748364800 (200 ГБ). Значение по умолчанию зависит от размера хранилища хостов-сегментов и рассчитывается по формуле:

    0.1 × <размер_хранилища_хоста-сегмента> / <количество_сегментов_на_хост>

    Подробнее см. в документации Greenplum®.

  • Max statement mem Консоль управления Terraform API

    Максимальный объем памяти (в байтах), выделяемый для обработки запроса.

    Минимальное значение — 134217728 (128 МБ), максимальное — 1099511627776 (1 ТБ), по умолчанию — 2097152000 (2000 МБ).

    Подробнее см. в документации Greenplum®.

  • Segment shared buffers Консоль управления

    Объем памяти, который хосты-сегменты Greenplum® используют для буферов общей памяти (в байтах).

    Минимальное значение — 1048576 (1 МБ). Значение по умолчанию — 134217728 (128 МБ).

    Максимальное значение рассчитывается по формуле:

    min(<размер_хранилища_хоста-сегмента> / 4 / <количество_сегментов_на_хост>, 8 * <размер_данных_в_базе>)

    Подробнее см. в документации Greenplum®.

    Важно

    Изменение этого параметра приведет к перезапуску кластера.

Настройки внешнего источника данных S3

Доступны следующие настройки:

  • Access Key Консоль управления CLI API

    Публичный ключ доступа к S3-хранилищу.

    Подробнее см. в документации Greenplum®.

  • Secret Key Консоль управления CLI API

    Секретный ключ доступа к S3-хранилищу.

    Подробнее см. в документации Greenplum®.

  • Fast Upload Консоль управления CLI API

    Управляет быстрой загрузкой больших файлов в S3-хранилище. Если настройка выключена, PXF формирует файлы на диске перед отправкой в S3-хранилище. Если настройка включена, PXF формирует файлы в оперативной памяти (если ее не хватает, то записывает на диск).

    По умолчанию быстрая загрузка включена.

    Подробнее см. в документации Greenplum®.

  • Endpoint Консоль управления CLI API

    Адрес S3-хранилища. Значение для Yandex Object Storage — storage.yandexcloud.net. Это значение используется по умолчанию.

    Подробнее см. в документации Greenplum®.

Настройки внешнего источника данных JDBC

Доступны следующие настройки:

  • Driver Консоль управления CLI API

    Класс JDBC-драйвера в Java. Возможные значения:

    • com.simba.athena.jdbc.Driver
    • com.clickhouse.jdbc.ClickHouseDriver
    • com.ibm.as400.access.AS400JDBCDriver
    • com.microsoft.sqlserver.jdbc.SQLServerDriver
    • com.mysql.cj.jdbc.Driver
    • org.postgresql.Driver
    • oracle.jdbc.driver.OracleDriver
    • net.snowflake.client.jdbc.SnowflakeDriver
    • io.trino.jdbc.TrinoDriver

    Подробнее см. в документации Greenplum®.

  • Url Консоль управления CLI API

    URL базы данных. Примеры:

    • jdbc:mysql://mysqlhost:3306/testdb — для локальной БД MySQL®.
    • jdbc:postgresql://c-<идентификатор_кластера>.rw.mdb.yandexcloud.net:6432/db1 — для кластера Yandex Managed Service for PostgreSQL. Адрес содержит особый FQDN мастера в кластере.
    • jdbc:oracle:thin:@host.example:1521:orcl — для БД Oracle.

    Подробнее см. в документации Greenplum®.

  • User Консоль управления CLI API

    Имя пользователя, владельца БД.

    Подробнее см. в документации Greenplum®.

  • Password Консоль управления CLI API

    Пароль пользователя БД.

    Подробнее см. в документации Greenplum®.

  • Statement Batch Size Консоль управления CLI API

    Количество строк в пакете для чтения из внешней таблицы.

    Значение по умолчанию — 100.

    Подробнее см. в документации Greenplum®.

  • Statement Fetch Size Консоль управления CLI API

    Количество строк, которые нужно поместить в буфер при чтении из внешней таблицы.

    Значение по умолчанию — 1000.

    Подробнее см. в документации Greenplum®.

  • Statement Query Timeout Консоль управления CLI API

    Время (в секундах), в течение которого драйвер JDBC ожидает выполнения операции чтения или записи.

    Значение по умолчанию — 60.

    Подробнее см. в документации Greenplum®.

  • Pool Enabled Консоль управления CLI API

    Определяет, используется ли пул подключений JDBC. По умолчанию используется.

    Подробнее см. в документации Greenplum®.

  • Pool Maximum Size Консоль управления CLI API

    Максимальное количество подключений к серверу базы данных.

    Значение по умолчанию — 5.

    Подробнее см. в документации Greenplum®.

  • Pool Connection Timeout Консоль управления CLI API

    Максимальное время (в миллисекундах) для ожидания подключения из пула.

    Значение по умолчанию — 30000.

    Подробнее см. в документации Greenplum®.

  • Pool Idle Timeout Консоль управления CLI API

    Максимальное время (в миллисекундах), по истечении которого неактивное соединение считается простаивающим.

    Значение по умолчанию — 30000.

    Подробнее см. в документации Greenplum®.

  • Pool Minimum Idle Консоль управления CLI API

    Минимальное количество простаивающих подключений в пуле.

    Значение по умолчанию — 0.

    Подробнее см. в документации Greenplum®.

Настройки внешнего источника данных HDFS

Доступны следующие настройки:

  • Core Консоль управления API

    Настройки файловой системы и правил безопасности.

    Подробнее см. в документации Apache Hadoop.

    • Default Fs

      URI, который определяет файловую систему HDFS.

    • Security Auth To Local

      Правила сопоставления участников Kerberos с учетными записями пользователей операционной системы.

  • Kerberos Консоль управления API

    Настройки сетевого протокола аутентификации Kerberos.

    Подробнее см. в документации Greenplum®.

    • Enable

      Определяет, будет ли использоваться сервер аутентификации Kerberos. По умолчанию не используется.

    • Primary

      Хост основного сервера KDC (Key Distribution Center).

    • Realm

      Область Kerberos для базы данных Greenplum®.

    • Kdc Servers

      Хосты серверов KDC.

    • Admin server

      Хост сервера администрирования. Обычно это основной сервер Kerberos.

    • Default domain

      Домен, который используется для расширения имен хостов. Применим, когда участники-службы Kerberos 4 становятся участниками-службами Kerberos 5 (например, rcmd.hostname заменяется на host/hostname.domain).

    • Keytab Base64

      Содержимое keytab-файла в кодировке Base64.

  • User Impersonation Консоль управления API

    Определяет, можно ли аутентифицироваться во внешнем файловом хранилище или СУБД от лица пользователя Greenplum®.

    По умолчанию аутентификация запрещена.

    Подробнее см. в документации Greenplum®.

  • Username Консоль управления API

    Имя пользователя, с помощью которого выполняется подключение к внешнему файловому хранилищу или СУБД, если аутентификация от имени другого пользователя отключена.

    Подробнее см. в документации Greenplum®.

  • Sasl Connection Retries Консоль управления API

    Максимальное количество повторных попыток PXF выполнить запрос на подключение SASL, если возникла ошибка GSS initiate failed.

    Значение по умолчанию — 5.

    Подробнее см. в документации Greenplum®.

  • ZK Hosts Консоль управления API

    Хосты серверов ZooKeeper. Значения указываются в формате <адрес>:<порт>.

    Подробнее см. в документации Apache Hadoop.

  • Dfs Консоль управления API

    Настройки распределенной файловой системы.

    Подробнее см. в документации Apache Hadoop.

    • Ha Automatic Failover Enabled

      Определяет, включена ли автоматическая отказоустойчивость для высокой доступности файловой системы. По умолчанию включена.

    • Block Access Token Enabled

      Определяет, используются ли токены доступа. По умолчанию токены проверяются во время подключений к узлам для хранения данных (datanodes).

    • Use Datanode Hostname

      Определяет, используются ли имена узлов для хранения данных (datanodes) при подключении к этим узлам. По умолчанию используются.

    • Nameservices

      Список логических имен HDFS-служб. Имена могут быть произвольными, разделяются запятыми.

  • Yarn Консоль управления API

    Настройки службы ResourceManager, которая отслеживает ресурсы в кластере и планирует запуск приложений (например, заданий MapReduce).

    Подробнее см. в документации Apache Hadoop.

    • Resourcemanager Ha Enabled

      Определяет, включена ли высокая доступность для ResourceManager. По умолчанию включена.

    • Resourcemanager Ha Auto Failover Enabled

      Определяет, включен ли автоматический переход на другой ресурс, если активная служба вышла из строя или не отвечает. По умолчанию автоматический переход включен, только если включена настройка Resourcemanager Ha Enabled.

    • Resourcemanager Ha Auto Failover Embedded

      Определяет, использовать ли встроенный метод ActiveStandbyElector для выбора активной службы. Если текущая активная служба вышла из строя или не отвечает, ActiveStandbyElector делает активной другую службу ResourceManager, которая берет управление на себя.

      По умолчанию настройка включена, только если включены настройки Resourcemanager Ha Enabled и Resourcemanager Ha Auto Failover Enabled.

    • Resourcemanager Cluster Id

      Идентификатор кластера. Используется, чтобы служба ResourceManager не стала активной для другого кластера.

Настройки внешнего источника данных Hive

Доступны следующие настройки:

  • Core Консоль управления API

    Настройки файловой системы и правил безопасности.

    Подробнее см. в документации Apache Hadoop.

    • Default Fs

      URI, который определяет файловую систему HDFS.

    • Security Auth To Local

      Правила сопоставления участников Kerberos с учетными записями пользователей операционной системы.

  • Kerberos Консоль управления API

    Настройки сетевого протокола аутентификации Kerberos.

    Подробнее см. в документации Greenplum®.

    • Enable

      Определяет, будет ли использоваться сервер аутентификации Kerberos. По умолчанию не используется.

    • Primary

      Хост основного сервера KDC (Key Distribution Center).

    • Realm

      Область Kerberos для базы данных Greenplum®.

    • Kdc Servers

      Хосты серверов KDC.

    • Admin server

      Хост сервера администрирования. Обычно это основной сервер Kerberos.

    • Default domain

      Домен, который используется для расширения имен хостов. Применим, когда участники-службы Kerberos 4 становятся участниками-службами Kerberos 5 (например, rcmd.hostname заменяется на host/hostname.domain).

    • Keytab Base64

      Содержимое keytab-файла в кодировке Base64.

  • User Impersonation Консоль управления API

    Определяет, можно ли аутентифицироваться во внешнем файловом хранилище или СУБД от лица пользователя Greenplum®.

    По умолчанию аутентификация запрещена.

    Подробнее см. в документации Greenplum®.

  • Username Консоль управления API

    Имя пользователя, с помощью которого выполняется подключение к внешнему файловому хранилищу или СУБД, если аутентификация от имени другого пользователя отключена.

    Подробнее см. в документации Greenplum®.

  • Sasl Connection Retries Консоль управления API

    Максимальное количество повторных попыток PXF выполнить запрос на подключение SASL, если возникла ошибка GSS initiate failed.

    Значение по умолчанию — 5.

    Подробнее см. в документации Greenplum®.

  • ZK Hosts Консоль управления API

    Хосты серверов ZooKeeper. Значения указываются в формате <адрес>:<порт>.

    Подробнее см. в документации Apache Hadoop.

  • Ppd Консоль управления API

    Определяет, включено ли выталкивание предикатов (predicate pushdown) для запросов к внешним таблицам. По умолчанию включено.

    Подробнее см. в документации Greenplum®.

  • Metastore Uris Консоль управления API

    Список URI, разделенных запятыми. Чтобы запросить метаданные, внешняя СУБД подключается к Metastore по одному из этих URI.

  • Metastore Kerberos Principal Консоль управления API

    Участник службы для сервера Metastore Thrift.

  • Auth Kerberos Principal Консоль управления API

    Участник сервера Kerberos.

Предыдущая
Техническое обслуживание
Следующая
Управление доступом