Создание строковых и колоночных таблиц в базе данных

Таблица в концепциях Terraform — это тоже ресурс, поэтому таблицы баз данных описываются отдельными блоками (resource "yandex_ydb_table") с указанием внутренней ссылки на созданную ранее базу данных.

Описание ресурса yandex_ydb_tableОписание ресурса yandex_ydb_table

Пример создания тестовой таблицы из 4 колонок в уже существующей базе данных:

resource "yandex_ydb_table" "test_table" {
  path = "test_dir/test_table_4_col"
  connection_string = yandex_ydb_database_serverless.database1.ydb_full_endpoint

  column {
    name = "a"
    type = "Utf8"
    not_null = true
  }
  column {
    name = "b"
    type = "Uint32"
    not_null = true
  }
  column {
    name = "c"
    type = "Int32"
    not_null = false
  }
  column {
    name = "d"
    type = "Timestamp"
  }

  primary_key = ["a","b"]

}

resource "yandex_ydb_table" "test_table" {
  path              = "test_dir/test_table_4_col"
  connection_string = yandex_ydb_database_serverless.database1.ydb_full_endpoint

  column {
    name     = "a"
    type     = "Utf8"
    not_null = true
  }
  column {
    name     = "b"
    type     = "Uint32"
    not_null = true
  }
  column {
    name     = "c"
    type     = "Int32"
    not_null = false
  }
  column {
    name = "d"
    type = "Timestamp"
  }

  primary_key = ["a", "b"]

  store = "column"

  partitioning_settings {
    partition_by = ["b", "a"]
  }
}

Свойства полей ресурса yandex_ydb_table:

1. path — путь в базе данных, где будет создана таблица. Название таблицы указывается без закрывающего слеша /. Если директория, где следует создать таблицу отсутствует — она будет создана;
2. connection_string — путь для подключения к базе данных. Используется совместно с параметром ydb_full_endpoint, который содержит полный путь до базы: grpcs://ydb.serverless.yandexcloud.net:2135/?database=/kz1/b1gv7kfcttio********/etn66ecf1qbt********. Для краткости и простоты записи можно использовать ссылку на ресурс "yandex_ydb_database_serverless" с указанием идентификатора и параметра ydb_full_endpoint. Например, yandex_ydb_database_serverless.database1.ydb_full_endpoint ;
3. primary_key — первичный ключ таблицы. Может быть составным.

Полный перечень полей ресурса yandex_ydb_table:

Внутри блока yandex_ydb_table заключены вложенные блоки column, которые описывают индивидуальные свойства колонок, такие как:

Пример полного описания колонки:

column {
  name     = "column_name"
  type     = "Utf8"
  family   = "some_family"
  not_null = true
}

Колонки могут быть объединены в группы (семейства/family), для того чтобы задать им общие поля, такие как:

• DATA — тип устройства хранения для данных колонок этой группы (допустимые значения: ssd, rot (от rotation — вращение шпинделя HDD));
• COMPRESSION — кодек сжатия данных (допустимые значения: off, lz4).

Для объединения колонок в группу используется блок family на одном уровне с блоком column:

family {
  name        = "my_family"
  data        = "ssd"
  compression = "lz4"
}

Описание полей блока family:

Пример группировки двух столбцов в одну группу может выглядеть так:

resource "yandex_ydb_table" "test_table" {
    path = "test_dir/test_table"
    connection_string = yandex_ydb_database_serverless.database1.ydb_full_endpoint
    column {
        name = "a"
        type = "Uint16"
        family = "test_family_group"
        not_null = true
    }
    column {
        name = "b"
        type = "Uint32"
        family = "test_family_group"
        not_null = true
    }
    family {
      name  = "test_family_group"
      data  = "ssd"
      compression = "lz4"
    }
}

YDB позволяет создавать специальный вид колонок — TTL-колонки, значения которой используются для определения времени жизни строк. TTL автоматически удаляет из таблицы строки, когда проходит указанное количество секунд от времени, записанного в TTL-колонку. Задать можно не более одной TTL-колонки. TTL-колонка может быть одного из следующих типов: Date, Datetime, Timestamp, Uint32, Uint64, DyNumber.

Задается TTL-колонка следующим блоком:

ttl {
  column_name     = "d"
  expire_interval = "PT1H" # 1 час
  unit            = "seconds" # для числовых типов колонок (non ISO 8601)
}

Описание значений полей ttl:

Партиционирование строковых таблицПартиционирование строковых таблиц

Партиционирование — это разделение данных таблицы на части для улучшения производительности запросов и оптимизации управления данными. В Terraform для партиционирования строковых таблиц YDB используется параметр partitioning_settings ресурса yandex_ydb_table.

Описание значений полей блока partitioning_settingsОписание значений полей блока partitioning_settings

Пример:

resource "yandex_ydb_table" "test_table" {
  path = "/test_dir/test_table_4_col"
  connection_string = yandex_ydb_database_serverless.database1.ydb_full_endpoint

  partitioning_settings {
    auto_partitioning_min_partitions_count = 5
    auto_partitioning_max_partitions_count = 8
    auto_partitioning_partition_size_mb    = 256
    auto_partitioning_by_load              = true
    ...
  }
 ...
}

Полное описание полей partitioning_settings для строковых таблиц:

Партиционирование колоночных таблицПартиционирование колоночных таблиц

Партиционирование — это разделение данных таблицы на части для улучшения производительности запросов и оптимизации управления данными. В отличие от строковых таблиц YDB, колоночные таблицы партицируют данные не по первичным ключам, а по специально выделенным ключам — ключам партицирования. Ключи партицирования являются подмножеством первичных ключей таблицы.

В Terraform для партиционирования колоночных таблиц YDB используются параметры в разделе partitioning_settings ресурса yandex_ydb_table.

Пример:

resource "yandex_ydb_table" "test_table" {
    path              = "test_dir/test_table_4_col"
    connection_string = yandex_ydb_database_serverless.database1.ydb_full_endpoint

    ...

    partitioning_settings {
        partition_by = ["b", "a"]
    }
}

Описание полей partitioning_settings для колоночных таблиц: