Выгрузка данных Greenplum® в холодное хранилище Yandex Object Storage

Данные Yandex Managed Service for Greenplum® хранятся на дисках кластера. С помощью расширения Yezzey от Yandex Cloud эти данные можно перенести в холодное хранилище Yandex Object Storage. Тогда они будут храниться в служебном бакете в сжатом и зашифрованном виде. Это удобно, если данные нужно хранить долго, а работать с ними планируется редко. Так хранение будет дешевле.

Yezzey поддерживает таблицы AO и AOCO (append-optimized storage). Подробнее о таблицах см. в разделе Типы хранения данных и документации Greenplum®.

Чтобы перенести данные с дисков кластера Managed Service for Greenplum® в холодное хранилище Object Storage:

1. Перенесите таблицу Greenplum® в Object Storage.
2. Проверьте результат.

Также есть возможность перенести данные обратно на диски кластера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

1. Создайте кластер Managed Service for Greenplum®. При создании убедитесь, что включена опция Гибридное хранилище.

   Примечание

   Эту опцию нельзя отключить после сохранения настроек кластера.

2. Получите SSL-сертификат для подключения к базе данных Greenplum®:

   Linux (Bash)/macOS (Zsh)

   Windows (PowerShell)

   mkdir -p ~/.postgresql && \
   wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" \
        --output-document ~/.postgresql/root.crt && \
   chmod 0655 ~/.postgresql/root.crt
   

   Сертификат будет сохранен в файле ~/.postgresql/root.crt.

   mkdir $HOME\.postgresql; curl.exe -o $HOME\.postgresql\root.crt https://storage.yandexcloud.net/cloud-certs/CA.pem
   

   Сертификат будет сохранен в файле $HOME\.postgresql\root.crt.

   Корпоративные политики и антивирус могут блокировать скачивание сертификата. Подробнее см. в разделе Вопросы и ответы.

   Для использования графических IDE сохраните сертификат в локальную папку и укажите путь к нему в настройках подключения.

Выгрузите таблицу Greenplum® в Object StorageВыгрузите таблицу Greenplum® в Object Storage

1. Подключитесь к кластеру:

   psql "host=c-<идентификатор_кластера>.rw.mdb.yandexcloud.net \
         port=6432 \
         sslmode=verify-full \
         dbname=postgres \
         user=<имя_пользователя> \
         target_session_attrs=read-write"
   

2. Создайте БД db_with_yezzey:

   CREATE DATABASE db_with_yezzey;
   

   Для новой БД будут предоставлены права доступа на установку расширений. Такие права не выдаются для БД, установленной по умолчанию.

3. Подключитесь к новой БД:

   \connect db_with_yezzey
   

4. Создайте расширение Yezzey:

   CREATE EXTENSION yezzey;
   

5. Создайте AO-таблицу ao_table:

   CREATE TABLE ao_table (a int)
       WITH (appendoptimized=true)
       DISTRIBUTED BY (a);
   

6. Заполните таблицу рядом целых чисел от 1 до 10 000:

   INSERT INTO ao_table SELECT * FROM GENERATE_SERIES(1, 10000);
   

7. Перенесите данные таблицы ao_table в холодное хранилище Object Storage:

   SELECT yezzey_define_offload_policy('ao_table');
   

Проверьте результатПроверьте результат

1. Проверьте, сколько места в локальном кеше кластера и в хранилище Object Storage занимают:

   • таблица ao_table:

     SELECT * FROM yezzey_offload_relation_status('ao_table');
     

   • каждый сегментный файл таблицы ao_table:

     SELECT * FROM yezzey_offload_relation_status_per_filesegment('ao_table');
     

   Если столбец external_bytes в выводе команд содержит ненулевые значения, значит, таблица перенесена в холодное хранилище Object Storage.

2. Посмотрите, какие сегментные файлы таблицы перенесены в хранилище Object Storage:

   SELECT * FROM yezzey_relation_describe_external_storage_structure('ao_table');
   

3. Убедитесь, что доступно чтение данных из Object Storage:

   SELECT AVG(a) FROM ao_table;
   

   Результат:

             avg          
   -----------------------
    5000.5000000000000000
   (1 row)
   

4. Убедитесь, что доступна запись в Object Storage:

   1. Добавьте в таблицу ao_table ряд целых чисел от 1 до 10 000:

      INSERT INTO ao_table SELECT * FROM GENERATE_SERIES(1, 10000);
      

   2. Проверьте, что количество строк увеличилось вдвое:

      SELECT COUNT(1) FROM ao_table;
      

      Результат:

       count
      -------
       20000
      (1 row)
      

Перенесите таблицу из Object Storage на диски кластераПеренесите таблицу из Object Storage на диски кластера

Если нужно перенести таблицу ao_table из хранилища Object Storage обратно на диски кластера Managed Service for Greenplum®, выполните команду:

SELECT yezzey_load_relation('ao_table');

Удалите созданные ресурсыУдалите созданные ресурсы

Если созданный кластер вам больше не нужен, удалите его.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.