Коннектор Greenplum®/Cloudberry

Коннектор Greenplum®/Cloudberry, разработанный Яндексом на основе коннектора PostgreSQL, позволяет Managed Service for Trino читать и записывать данные в кластер Greenplum®/Cloudberry.

Коннектор поддерживает параллельное чтение данных сразу с нескольких сегментов Greenplum® и чтение данных напрямую с сегментов по протоколу GPFDIST, что значительно увеличивает производительность запросов при чтении больших объемов данных. Оба способа чтения данных можно применять одновременно, чтобы наиболее эффективно использовать ресурсы кластера Trino и кластера Greenplum®.

Коннектор Greenplum®/Cloudberry доступен в Trino версии 476 и выше.

Параллельное чтение данныхПараллельное чтение данных

При параллельном чтении из таблицы данные разделяются по значению метаколонки gp_segment_id.

Уровень параллелизма определяется количеством сегментов в кластере Greenplum®. Максимальный уровень параллелизма ограничен настройкой коннектора greenplum.max-read-parallelism и соответствующим свойством сессии max_read_parallelism.

Схематично параллельное чтение представлено на диаграмме:

При использовании параллельного чтения коннектор выполняет только частичную фильтрацию строк при выталкивании оператора LIMIT (limit pushdown). Это не влияет на корректность результатов запроса.

Чтение данных по протоколу GPFDISTЧтение данных по протоколу GPFDIST

Коннектор позволяет читать данные напрямую с сегментов Greenplum® через серверы GPFDIST, созданные на воркерах Trino. Включение серверов GPFDIST контролируется настройкой коннектора greenplum.gpfdist.server.enabled.

В кластере Trino можно создать не больше восьми каталогов с включенными GPFDIST-серверами.

Чтение данных напрямую с сегментов Greenplum® состоит из следующих этапов:

1. Коннектор создает внешнюю таблицу с указанием адреса воркера Trino, читающего данные:

   CREATE WRITABLE EXTERNAL TEMPORARY TABLE <имя_внешней_таблицы>
          ...
          LOCATION('gpfdist://<адрес_воркера_Trino>');
   

2. Коннектор выполняет запрос:

   INSERT INTO <имя_внешней_таблицы>
   SELECT ... FROM <имя_таблицы_в_Greenplum®>;
   

3. Сегменты Greenplum® отправляют данные воркеру Trino на указанный адрес.

Схематично чтение данных с сегментов представлено на диаграмме:

Использование протокола GPFDIST для чтения данных вносит следующие ограничения в работу коннектора:

• Не поддерживается чтение многомерных массивов.
• Не поддерживается чтение массивов строковых типов.
• Не поддерживается режим обработки массивов AS_JSON.
• При одновременном выталкивании операторов LIMIT и ORDER BY (Top-N pushdown) коннектор выполняет только частичную сортировку данных. Это не влияет на корректность результатов запроса.

Настройки коннектораНастройки коннектора

Базовые настройки коннектора и соответствующие им свойства сессии совпадают с коннектором PostgreSQL соответствующей версии. Кроме этого доступны следующие настройки:

См. такжеСм. также

• Создание каталога Trino