Загрузка данных из Yandex Object Storage в Yandex Managed Service for YDB с помощью Yandex Data Transfer

Вы можете перенести данные из Object Storage в таблицу Managed Service for YDB с помощью сервиса Data Transfer. Для этого:

1. Подготовьте тестовые данные.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Бакет Object Storage: использование хранилища и выполнение операций с данными (см. тарифы Object Storage).

• База данных Managed Service for YDB (см. тарифы Managed Service for YDB). Стоимость зависит от режима использования:

  • Для бессерверного режима — оплачиваются операции с данными, объем хранимых данных и резервных копий.
  • Для режима с выделенными инстансами — оплачивается использование выделенных БД вычислительных ресурсов, объем хранилища и резервные копии.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте тестовые данныеПодготовьте тестовые данные

1. Подготовьте два CSV-файла с тестовыми данными:

   • demo_data1.csv:

     1,Anna
     2,Robert
     3,Umar
     4,Algul
     5,Viktor
     

   • demo_data2.csv:

     6,Maria
     7,Alex
     

2. Загрузите файл demo_data1.csv в бакет Object Storage.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт-источник типа Object Storage со следующими настройками:

   • Тип базы данных — Object Storage.

   • Бакет — имя бакета в Object Storage.

   • Идентификатор ключа доступа AWS — открытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.

   • Секретный ключ доступа AWS — закрытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.

   • Эндпоинт — https://storage.yandexcloud.kz.

   • Регион — kz1.

   • Формат данных — CSV.

   • Разделитель — знак запятой ,.

   • Таблица — table1.

   • Схема результирующей таблицы — выберите Вручную и укажите имена полей и тип данных:

     • Id: Int64;
     • Name: UTF8.

   Остальные параметры оставьте по умолчанию.

2. Создайте эндпоинт-приемник и трансфер:

   Вручную

   С помощью Terraform

   1. Создайте эндпоинт-приемник типа YDB и укажите в нем параметры подключения к кластеру:

      • База данных — выберите базу данных YDB из списка.

      • Идентификатор сервисного аккаунта — выберите сервисный аккаунт s3-ydb-account.

   2. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

   3. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

   1. Укажите в файле object-storage-to-ydb.tf значения параметров:

      • source_endpoint_id — идентификатор эндпоинта для источника.
      • transfer_enabled — значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

   4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

Чтобы убедиться в работоспособности трансфера, проверьте работу копирования и репликации.

Проверьте работу копированияПроверьте работу копирования

Проверьте работу репликацииПроверьте работу репликации

1. Загрузите файл demo_data2.csv в бакет Object Storage.

2. Убедитесь, что данные из файла demo_data2.csv появились в базе данных приемника:

   Консоль управления

   CLI

   1. В консоли управления выберите каталог, в котором находится нужная база данных.
   2. В списке сервисов выберите Managed Service for YDB.
   3. Выберите базу из списка.
   4. Перейдите на вкладку Навигация.
   5. Проверьте, что в таблицу table1 добавились новые данные.

   1. Подключитесь к базе данных Managed Service for YDB.

   2. Выполните запрос:

          SELECT * FROM table1;
      

      Пример ответа

      Id |   Name   |   __file_name    | __row_index 
      ---+----------+------------------+-------------
       1 | "Anna"   | "demo_data1.csv" | 1 
       2 | "Robert" | "demo_data1.csv" | 2 
       3 | "Umar"   | "demo_data1.csv" | 3 
       4 | "Algul"  | "demo_data1.csv" | 4 
       5 | "Viktor" | "demo_data1.csv" | 5 
       6 | "Maria"  | "demo_data2.csv" | 1 
       7 | "Alex"   | "demo_data2.csv" | 2 
      

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

1. Удалите трансфер.

2. Удалите эндпоинт-источник.

3. Удалите объекты из бакета.

4. Остальные ресурсы удалите в зависимости от способа их создания:

   Вручную

   С помощью Terraform

   1. Удалите эндпоинт-приемник.
   2. Удалите базу данных Managed Service for YDB.
   3. Удалите бакет Object Storage.

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.