Связаться с намиПодключиться

Загрузка данных из Yandex Managed Service for YDB в Yandex Object Storage с помощью Yandex Data Transfer

Статья создана
Обновлена 2 декабря 2024 г.

Важно

Этот документ не применим для пользователей Yandex Cloud в регионе Казахстан. См. полный перечень поддерживаемых эндпоинтов в Data Transfer.

Вы можете перенести данные из Managed Service for YDB в объектное хранилище Object Storage с помощью сервиса Data Transfer. Для этого:

  1. Подготовьте тестовые данные.
  2. Подготовьте и активируйте трансфер.
  3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

  1. Создайте базу данных Managed Service for YDB любой подходящей конфигурации.

  2. Создайте бакет Object Storage.

  3. Создайте сервисный аккаунт с ролями storage.editor и ydb.editor. Трансфер будет использовать его для доступа к базе данных и бакету.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Скачайте в ту же рабочую директорию файл конфигурации ydb-to-object-storage.tf.

    В этом файле описаны:

  6. Укажите в файле ydb-to-object-storage.tf:

  7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  8. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте тестовые данные

  1. Создайте в базе данных Managed Service for YDB таблицу seasons:

    CREATE TABLE seasons
(
    series_id Uint64,
    season_id Uint64,
    title Utf8,
    first_aired Uint64,
    last_aired Uint64,
    PRIMARY KEY (series_id, season_id)
);

COMMIT;

  2. Заполните таблицу данными:

    REPLACE INTO seasons (series_id, season_id, title, first_aired, last_aired)
VALUES
    (1, 1, "Season 1", CAST(Date("2006-02-03") AS Uint64), CAST(Date("2006-03-03") AS Uint64)),
    (1, 2, "Season 2", CAST(Date("2007-08-24") AS Uint64), CAST(Date("2007-09-28") AS Uint64)),
    (1, 3, "Season 3", CAST(Date("2008-11-21") AS Uint64), CAST(Date("2008-12-26") AS Uint64)),
    (1, 4, "Season 4", CAST(Date("2010-06-25") AS Uint64), CAST(Date("2010-07-30") AS Uint64)),
    (2, 1, "Season 1", CAST(Date("2014-04-06") AS Uint64), CAST(Date("2014-06-01") AS Uint64)),
    (2, 2, "Season 2", CAST(Date("2015-04-12") AS Uint64), CAST(Date("2015-06-14") AS Uint64)),
    (2, 3, "Season 3", CAST(Date("2016-04-24") AS Uint64), CAST(Date("2016-06-26") AS Uint64)),
    (2, 4, "Season 4", CAST(Date("2017-04-23") AS Uint64), CAST(Date("2017-06-25") AS Uint64)),
    (2, 5, "Season 5", CAST(Date("2018-03-25") AS Uint64), CAST(Date("2018-05-13") AS Uint64));

COMMIT;

Подготовьте и активируйте трансфер

  1. Создайте эндпоинт для приемника типа Object Storage со следующими настройками:

    • Бакет — <имя_созданного_ранее_бакета>
    • Сервисный аккаунт — <имя_созданного_ранее_сервисного_аккаунта>.
    • Выходной формат — CSV.
    • Формат сжатия — UNCOMPRESSED.
    • Имя папки — from_YDB.

  2. Создайте эндпоинт для источника типа YDB и укажите в нем параметры подключения к базе данных:

    • База данных — выберите базу данных YDB из списка.
    • Идентификатор сервисного аккаунта — выберите созданный ранее сервисный аккаунт.

  3. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

  4. Активируйте трансфер и дождитесь его перехода в статус Завершен.

  1. Укажите в файле ydb-to-object-storage.tf переменные:

    • target_endpoint_id — значение идентификатора эндпоинта для приемника;
    • source_endpoint_id — значение идентификатора эндпоинта для источника;
    • transfer_enabled – значение 1 для создания трансфера.

  2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  3. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

  4. Активируйте трансфер и дождитесь его перехода в статус Завершен.

Проверьте работоспособность трансфера

Убедитесь, что данные перенеслись из базы данных Managed Service for YDB в бакет Object Storage:

  1. В консоли управления выберите каталог, в котором находится нужный бакет.
  2. В списке сервисов выберите Object Storage.
  3. Выберите бакет из списка.
  4. Перейдите на вкладку Объекты.
  5. Проверьте, что бакет Object Storage содержит папку from_YDB с объектом <seasons.csv> с тестовыми данными.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Удалите трансфер.
  2. Удалите эндпоинты.

Остальные ресурсы удалите в зависимости от способа их создания:

  1. В терминале перейдите в директорию с планом инфраструктуры.

    Важно

    Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

  2. Удалите ресурсы:

    1. Выполните команду:

      terraform destroy

    2. Подтвердите удаление ресурсов и дождитесь завершения операции.

    Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Предыдущая
Загрузка данных из Yandex Object Storage в YDB с помощью Yandex Data Transfer
Следующая
Загрузка данных из YDB в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer