Связаться с намиПодключиться

Создание внешней таблицы на базе таблицы из бакета с помощью конфигурационного файла

Статья создана
Обновлена 7 мая 2025 г.

При создании внешней таблицы из таблицы, расположенной в бакете Yandex Object Storage, необходимо передать в запросе статический ключ доступа для сервисного аккаунта. Это можно сделать с помощью протокола S3 и конфигурационного файла, хранящегося на HTTP-сервере.

Чтобы создать внешнюю таблицу с помощью конфигурационного файла:

  1. Настройте веб-сервер с файлом конфигурации.
  2. Создайте внешнюю таблицу.

Если созданные ресурсы вам больше не нужны, удалите их.

В стоимость поддержки описываемого решения входят:

  • Плата за кластер Managed Service for Greenplum®: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы Greenplum®).
  • Плата за NAT-шлюз (см. тарифы Virtual Private Cloud).
  • Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).
  • Плата за ВМ: использование вычислительных ресурсов, хранилища и публичного IP-адреса (опционально) (см. тарифы Compute Cloud).
  • Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).

Перед началом работы

Подготовьте инфраструктуру:

  1. Создайте кластер Managed Service for Greenplum® любой подходящей конфигурации.

  2. В подсети кластера настройте NAT-шлюз и создайте группу безопасности, разрешающую весь входящий и исходящий трафик со всех адресов.

  3. Создайте виртуальную машину с Linux в той же облачной подсети, в которой расположен кластер Managed Service for Greenplum®.

  4. Создайте бакет в Object Storage с ограниченным доступом. Загрузите в него файл example.csv, содержащий тестовую таблицу:

    10,2010

  5. Создайте статический ключ доступа для сервисного аккаунта.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Создайте в рабочей директории файл example.csv, содержащий тестовую таблицу:

    10,2010

  6. Скачайте в ту же рабочую директорию файл конфигурации инфраструктуры.

    В этом файле описаны:

    • сеть;
    • подсеть;
    • сервисный аккаунт со статическим ключом доступа;
    • кластер Managed Service for Greenplum®;
    • бакет, в который будет помещен файл example.csv;
    • виртуальная машина с Ubuntu 20.04.

  7. Укажите в файле greenplum-s3-vm.tf:

    • Пароль пользователя user, который будет использоваться для доступа к кластеру Managed Service for Greenplum®.
    • Идентификатор образа виртуальной машины.
    • Имя пользователя и путь к SSH-ключу для доступа к виртуальной машине.
    • Идентификатор каталога для сервисного аккаунта, такой же как в настройках провайдера.
    • Имя бакета, которое должно быть уникальным во всем Object Storage.

  8. В терминале перейдите в директорию с планом инфраструктуры.

  9. Для проверки правильности файлов конфигурации выполните команду:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  10. Создайте инфраструктуру, необходимую для выполнения инструкций из этого руководства:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

  11. Чтобы получить параметры статического ключа, в рабочей директории выполните команду:

    terraform output -raw access_key > static-key.txt && \
echo \n >> static-key.txt && \
terraform output -raw secret_key >> static-key.txt

    Команда сохраняет в файл static-key.txt идентификатор статического ключа и статический ключ, они потребуются далее.

  12. Перейдите в консоль управления и настройте NAT-шлюз для подсети, в которой расположен кластер.

Настройте веб-сервер с файлом конфигурации

Настройте веб-сервер на виртуальной машине и создайте на нем файл конфигурации для протокола s3:

  1. Подключитесь к виртуальной машине по SSH.

  2. Создайте каталог /opt/gp_http_server и поместите в него файл s3.config, который содержит параметры статического ключа и другие настройки конфигурации для протокола s3:

    sudo mkdir /opt/gp_http_server

    Содержимое файла s3.config:

    [default]
accessid = "<идентификатор_статического_ключа>"
secret = "<статический_ключ>"
threadnum = 4
chunksize = 67108864
low_speed_limit = 10240
low_speed_time = 60
encryption = true
version = 2
proxy = ""
autocompress = true
verifycert = true
server_side_encryption = ""
# gpcheckcloud config
gpcheckcloud_newline = "\n"

  3. В каталог /etc/systemd/system/ поместите файл конфигурации веб-сервера gp_s3_config_http.service:

    [Unit]
Description=HTTP server config to connect Greenplum with Object Storage
After=network.target

[Service]
KillMode=process
Restart=on-failure
Type=simple
User=root
ExecStart=python3 -m http.server 8553 --directory /opt/gp_http_server

[Install]
WantedBy=multi-user.target

  4. Запустите веб-сервер:

    sudo systemctl daemon-reload && \
sudo systemctl enable gp_s3_config_http && \
sudo systemctl start gp_s3_config_http

  5. Чтобы проверить состояние веб-сервера, выполните команду:

    sudo systemctl status gp_s3_config_http

Создайте внешнюю таблицу

  1. Подключитесь к кластеру Managed Service for Greenplum®.

  2. Выполните запрос на создание внешней таблицы, которая ссылается на таблицу example.csv в бакете:

    CREATE READABLE EXTERNAL TABLE s3_ext_table(id int, year int)
LOCATION('s3://storage.yandexcloud.net/<имя_бакета>/example.csv config_server=http://<внутренний_IP-адрес_виртуальной_машины>:8553/s3.config region=ru-central1-a')
FORMAT 'csv';

    Успешный запрос вернет ответ:

    CREATE EXTERNAL TABLE

  3. Запросите данные из внешней таблицы:

    SELECT * FROM s3_ext_table;

    Ожидаемый результат выполнения команды:

     id | year
----+------
 10 | 2010
(1 row)

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. В терминале перейдите в директорию с планом инфраструктуры.

    Важно

    Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

  2. Удалите ресурсы:

    1. Выполните команду:

      terraform destroy

    2. Подтвердите удаление ресурсов и дождитесь завершения операции.

    Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.

Предыдущая
Поиск событий Yandex Cloud в Object Storage
Следующая
Миграция базы данных из Google BigQuery в Managed Service for ClickHouse®