Передача данных в эндпоинт-приемник Apache Iceberg™

Кластер Apache Hive™ Metastore — идентификатор кластера, каталог которого используется для таблиц Apache Iceberg™.

Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика. Это позволит применить указанные правила групп безопасности к ВМ и кластерам в выбранной сети без изменения их настроек. Подробнее читайте в разделе Сеть в Yandex Data Transfer.

Убедитесь, что выбранные группы безопасности настроены.

Политика очистки — выберите способ очистки данных в базе-приемнике перед переносом:

• Не очищать — существующие таблицы с данными будут использоваться для дальнейшей записи данных.

• DROP — полное удаление таблиц, участвующих в трансфере.

Используйте эту опцию, чтобы при любой активации трансфера в базу-приемник всегда передавалась самая последняя версия схемы таблиц из источника.

Параметры записи — настройки записи данных в таблицы Apache Iceberg™:

• Максимум строк в файле — максимальное число строк в одном файле данных. При значении 0 число строк не ограничено.
• Максимум байт в файле — максимальный размер (в байтах) одного файла данных. При значении 0 размер файлов не ограничен.
• Параметры Parquet — настройки формата данных Parquet:
  • Максимум байт в группе — максимальное число строк в группе. При значении 0 число строк в группе не ограничено.
  • Максимум строк в группе — максимальный размер (в байтах) группы строк. При значении 0 размер группы строк не ограничен.

Параметры репликации → Интервал коммитов — интервал (в секундах) между коммитами в таблицу Apache Iceberg™ при репликации.

Пространство имён по умолчанию — пространство имен в Apache Iceberg™, в которое будут переноситься таблицы, если у базы-источника отсутствует схема данных.