REST-каталог в Yandex DataLens Platform

REST-каталог — это хранилище для таблиц в формате Apache Iceberg™, совместимое с Iceberg REST Catalog API. В REST-каталоге хранятся таблицы, представления и пространства имен, для работы с которыми предоставляется единый REST-интерфейс.

Вы можете использовать REST-каталог для следующих задач:

• Централизованное хранение и версионирование метаданных Iceberg-таблиц.
• Единый доступ к таблицам из разных движков без привязки к конкретной реализации REST-каталога.
• Организация таблиц по логическим пространствам имен.
• Транзакционное изменение таблиц с гарантиями ACID и изоляцией снимков (snapshot isolation).
• Разграничение доступа к данным на уровне каталога, пространства имен, таблицы и представления.

REST-каталог интегрирован с объектным хранилищем: данные таблиц каталога хранятся в бакете объектного хранилища.

Чтобы начать работу, создайте REST-каталог.

REST-каталог одновременно является реестром таблиц и представлений и точкой разграничения доступа к данным. Внутри каталога данные организованы в пространства имен. Доступ к данным может быть определен на уровне самого каталога, на уровне пространств имен и на уровне конечных объектов (таблиц).

Пространства именПространства имен

Пространство имен — это логическая группа таблиц и представлений внутри каталога, аналог базы данных или схемы. Пространства имен могут быть многоуровневыми (например, analytics.finance), что позволяет выстраивать иерархию и группировать таблицы по командам, проектам или направлениям.

Каждое пространство имен хранит свои данные в бакете: родительском (бакете каталога) или бакетах, созданных в пространствах имен.

Подробнее о создании пространства имен и изменении его настроек.

Таблицы и представленияТаблицы и представления

Таблица — это объект данных в формате Apache Iceberg™. Схема, спецификации партиционирования, порядок сортировки, снимки данных таблиц хранятся в каталоге, а сами данные — в файлах в бакете. Представление (view) — это сохраненный запрос, метаданные которого также хранятся в каталоге.

Представления не валидируются на возможность выполнения их в конкретном движке. Запрос не верифицирован кластером во время его исполнения.

Для загрузки данных в REST-каталог создайте поставку данных.