Расширенное партицирование

Партицирование позволяет подсказать для Yandex Query правила размещения данных в Yandex Object Storage.

Предположим, что данные в Yandex Object Storage хранятся в следующей структуре каталогов:

year=2021
    month=01
    month=02
    month=03
year=2022
    month=01

При выполнении запроса ниже Yandex Query выполнит следующие действия:

1. Получит полный список подкаталогов внутри '/'.
2. Для каждого подкаталога выполнит попытку обработать имя подкаталога в формате "year=<DIGITS>".
3. Для каждого подкаталога "year=<DIGITS>" получит список всех подкаталогов в формате "month=<DIGITS>".
4. Обработает считанные данные.

SELECT 
    * 
FROM 
    objectstorage.'/' 
    WITH
    (
        Schema =
        (
            data String, 
            year Int, 
            month Int
        ),
        partitioned_by = 
        (
            year,
            month
        )
    ) 
WHERE 
    year=2021 
    AND month=02

То есть при работе с партицированными данными выполняется полный листинг содержимого Yandex Object Storage, что может занимать продолжительное время на бакетах большого размера.

Для оптимизации работы на больших объемах данных следует использовать "расширенное партицирование". В этом режиме не происходит сканирования каталогов Yandex Object Storage, вместо этого все пути вычисляются заранее и обращение происходит только к ним.

Для работы расширенного партицирования необходимо задать правила работы через специальный параметр - "projection". В этом параметре описываются все правила размещения данных в каталога Yandex Object Storage.

СинтаксисСинтаксис

Расширенное партицирование называется "partition projection" и задается через параметр projection.

Пример указания расширенного партицирования:

$projection = 
@@ 
{
    "projection.enabled" : true,

    "projection.year.type" : "integer",
    "projection.year.min" : 2010,
    "projection.year.max" : 2022,
    "projection.year.interval" : 1,

    "projection.month.type" : "integer",
    "projection.month.min" : 1,
    "projection.month.max" : 12,
    "projection.month.interval" : 1,
    "projection.month.digits" : 2,

    "storage.location.template" : "${year}/${month}"
}
@@;

SELECT 
    * 
FROM 
    <соединение>.`/`
WITH 
(
    schema=
    (
        data String, 
        year Int, 
        month Int
    ), 
    partitioned_by=(year, month),
    projection=$projection
)

В примере выше указывается, что данные существуют за каждый год и каждый месяц с 2010 по 2022 годы, при этом в бакете данные размещены в каталогах вида 2022/12.

В общем виде настройка расширенного партицирования выглядит следующим образом:

$projection = 
@@ 
{
    "projection.enabled" : <доступность_расширенного_партицирования>,

    "projection.<имя_поля_1>.type" : "<тип>",
    "projection.<имя_поля_1>...." : "<свойства>",

    "projection.<имя_поля_2>.type" : "<тип>",
    "projection.<имя_поля_2>...." : "<свойства>",

    "storage.location.template" : ".../${<имя_поля_2>}/${<имя_поля_1>}/..."
}
@@;

SELECT 
    * 
FROM 
    <соединение>.<путь> 
WITH 
(
    schema=(<поля>, <поле_1>, <поле_2>), 
    partitioned_by=(<имя_поля_1>, <имя_поля_2>),
    projection=$projection
)

Описание полейОписание полей

Поле типа integerПоле типа integer

Используется для колонок, чьи значения можно представить в виде целых чисел диапазона -2⁶³ до 2⁶³-1.

Поле типа enumПоле типа enum

Используется для колонок, чьи значения можно представить в виде перечисления значений.

Поле типа dateПоле типа date

Используется для колонок, чьи значения можно представить в виде даты.

Шаблоны путейШаблоны путей

Данные в бакетах Yandex Object Storage могут быть размещены в каталогах с произвольными названием. С помощью настройки storage.location.template можно указать правила именования каталогов, где хранятся данные.