Работа с данными в Yandex Object Storage
Статья создана
С помощью PySpark-заданий в Yandex Managed Service for Apache Spark™ можно создавать, читать и изменять таблицы, данные которых хранятся в бакетах Yandex Object Storage. Выберите руководство в зависимости от способа хранения метаданных и формата таблицы:
- Работа с Yandex Object Storage из PySpark-задания с использованием локального каталога Hive — пример работы с таблицей с использованием встроенного локального каталога Hive. Подходит, если метаданные нужны только одному кластеру Managed Service for Apache Spark™.
- Интеграция с Apache Hive™ Metastore — пример подключения глобального каталога Apache Hive™ Metastore для централизованного хранения метаданных. Подходит, если к таблицам нужно обращаться из разных кластеров.
- Работа с таблицей формата Apache Iceberg™ из PySpark-задания — пример создания таблицы формата Apache Iceberg™ и чтения ее текущего и предыдущего состояний. Для хранения метаданных используется кластер Apache Hive™ Metastore.