Работа с данными в Yandex Object Storage

Yandex Query — это интерактивный сервис для бессерверного анализа данных. С его помощью можно обрабатывать информацию из различных хранилищ без необходимости создания выделенного кластера. Поддерживается работа с хранилищами данных Yandex Object Storage, Yandex Managed Service for PostgreSQL, Yandex Managed Service for ClickHouse®.

В этом руководстве вы подключитесь к источнику данных в Object Storage и выполните запросы к ним из ноутбука JupyterLab с помощью Query.

1. Подготовьте инфраструктуру.
2. Начните работу в Query.
3. Подключитесь к данным Object Storage.
4. Настройте партицирование данных в Object Storage.

Если созданные ресурсы вам больше не нужны, удалите их.

Ноутбук с примерами также доступен на GitHub.

Перед началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Необходимые платные ресурсы

В стоимость поддержки инфраструктуры для работы с данными Object Storage входит:

• плата за использование вычислительных ресурсов DataSphere;
• плата за хранение данных в бакете;
• плата за объем считанных данных при исполнении запросов Query.

Подготовьте инфраструктуру

Войдите в консоль управления Yandex Cloud и выберите организацию, в которой вы работаете с DataSphere. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт.

Если у вас есть активный платежный аккаунт, на странице облака вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура.

Создайте каталог

Создайте сервисный аккаунт для проекта DataSphere

Добавьте сервисный аккаунт в проект

Чтобы сервисный аккаунт мог запускать проект DataSphere, добавьте его в список участников проекта.

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. На вкладке Участники нажмите Добавить участника.
3. Выберите аккаунт yq-sa и нажмите Добавить.
4. Измените роль сервисного аккаунта на Editor.

Создайте авторизованный ключ для сервисного аккаунта

Чтобы сервисный аккаунт мог отправлять запросы Query, создайте авторизованный ключ.

Создайте секрет

Чтобы получить авторизованный ключ из ноутбука, создайте секрет с содержимым файла авторизованного ключа.

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Секрет.
3. Нажмите Создать.
4. В поле Имя задайте имя секрета — yq_access_key.
5. В поле Значение вставьте полное содержимое скачанного файла с авторизированным ключом.
6. Нажмите Создать.

Создайте ноутбук

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
3. На верхней панели нажмите File и выберите New ⟶ Notebook.
4. Выберите ядро и нажмите Select.

Начните работу в Query

Пакет yandex_query_magic предоставляет magic commands для работы в Jupyter. Установите его для отправки запросов в Query. Скопируйте код в ячейки ноутбука yq-storage.ipynb:

1. Откройте проект DataSphere:

   1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

   2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
   3. Откройте вкладку с ноутбуком.

2. Установите пакет yandex_query_magic:

   %pip install yandex_query_magic
   

3. После завершения установки на верхней панели выберите Kernel ⟶ Restart kernel....

4. Загрузите расширение:

   %load_ext yandex_query_magic
   

5. Настройте подключение, указав идентификатор каталога data-folder и название секрета с авторизованным ключом:

   %yq_settings --folder-id <идентификатор_каталога> --env-auth yq_access_key
   

6. Выполните тестовый запрос к Query:

   %yq select "Hello, world!"
   

Подключитесь к данным в Object Storage

Для примера возьмем данные о поездках Нью-Йоркского желтого такси. Данные заранее размещены в Object Storage в общедоступном бакете yq-sample-data в каталоге nyc_taxi_csv.

Создайте подключение Query:

Создайте привязку к данным

Привязка к данным содержит информацию о форматах и расположении файлов в бакете, а также о списке полей данных и их типах. Query может обрабатывать данные в форматах CSV, TSV, Json и Parquet. При этом данные в форматах CSV, TSV, Json могут быть дополнительно запакованы внешним архиватором: gzip, zstd и другими. Для данных в формате Parquet поддерживается сжатие Snappy, LZ4, ZSTD и другие.

Чтобы создать привязку к данным:

Чтобы проверить подключение, получите данные таблицы из ячейки ноутбука:

%yq SELECT * FROM yq_binding LIMIT 100;

Настройте партицирование в Object Storage

В Query можно существенно снизить время запроса, если настроить правила партицирования (размещения) данных в Object Storage, которые позволят считывать только нужные данные. Например, когда файлы в бакете рассортированы в каталогах по годам, то при запросе Query будет искать данные только в заданных каталогах.

Query поддерживает два варианта указания правил размещения данных: Hive-партицирование и Расширенное партицирование.

Hive-партицирование

Размещение файлов в стиле Apache Hive™ — это размещение данных в структуре каталогов вида ключ=значение/ключ2=значение2/.... Этот формат используется в системах, изначально построенных вокруг экосистемы Apache Hadoop™, например, в Apache Spark™.

Например, данные из используемого датасета Yellow Taxi расположены в каталогах по правилам Hive-партицирования:

• year=2021/month=1/...
• year=2021/month=2/...
• ...
• year=2022/month=1/...
• year=2022/month=2/...

Настройте Hive-партицирование:

1. Склонируйте привязку к данным yq_binding:

   Консоль управления

   1. В консоли управления выберите каталог data-folder.

   2. В списке сервисов выберите Yandex Query.

   3. На панели слева нажмите Привязки.

   4. В строке с привязкой yq_binding нажмите кнопку и выберите Клонировать.

   5. Укажите имя привязки — yq_tutorial_hive_partitioned.

   6. В блоке Колонки партиционирования:

      1. Выберите режим Базовый.
      2. Добавьте колонку с именем year и типом данных UINT32.
      3. Добавьте колонку с именем month и типом данных UINT32.

   7. Нажмите кнопку Изменить.

2. Чтобы проверить результат, выполните следующий запрос:

   %yq SELECT * FROM yq_tutorial_hive_partitioned WHERE year=2021
   

Расширенное партицирование

Иногда данные в Object Storage расположены по уникальным правилам. Для таких случаев существует режим расширенного партицирования, который позволяет указать собственный шаблон пути размещения данных.

При работе в режиме расширенного партицирования необходимо описать каждый компонент пути year и month по отдельности, указав диапазоны их значений. Затем нужно указать шаблон пути в бакете Object Storage, где хранятся данные.

Настройте расширенное партицирование:

1. Склонируйте привязку данных yq_binding:

   Консоль управления

   1. В консоли управления выберите каталог data-folder.

   2. В списке сервисов выберите Yandex Query.

   3. На панели слева нажмите Привязки.

   4. В строке с привязкой yq_binding нажмите кнопку и выберите Клонировать.

   5. Укажите имя привязки — yq_tutorial_partition_projection.

   6. В блоке Колонки партиционирования:

      1. Выберите режим Расширенный.
      2. Добавьте колонку с именем year и типом данных UINT32:
         • Тип формата — integer.
         • Интервал:
           • Мин. — 2019
           • Макс. – 2024
           • Шаг — 1.
         • Кол-во символов — 2.
      3. Добавьте колонку с именем month и типом данных UINT32:
         • Тип формата — integer.
         • Интервал:
           • Мин. — 1
           • Макс. – 12
           • Шаг — 1.
         • Кол-во символов — 2.

   7. Нажмите кнопку Изменить.

2. Чтобы проверить результат, выполните следующий запрос:

   %yq SELECT * FROM yq_tutorial_partition_projection WHERE year=2021
   

Как удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

• удалите бакет;
• удалите проект.