Метаданные в Yandex DataLens Platform
Метаданные — это информация о данных платформы Yandex DataLens Platform: какие есть таблицы и дашборды, что в них лежит, откуда поставляется, кто за это отвечает и насколько этому можно доверять. Если данные отвечают на вопрос «сколько было продаж в марте», то метаданные — на вопрос «в какой таблице это искать», «актуальна ли она» и «что на самом деле значит поле revenue_net».
Каталог метаданных
Отсутствие метаданных приводит к тому, что контекст данных сохраняется лишь в памяти сотрудников и их переписках. Каталог метаданных собирает их в одном месте, чтобы:
- находить данные — единый поиск по таблицам, датасетам, чартам и дашбордам;
- понимать данные — описания таблиц и полей, бизнес-термины, домены по отделам и направлениям;
- доверять данным — прозрачность источника, цепочки преобразований и статистики по содержимому;
- отвечать за данные — определение владельца, подписка на изменения, выполнение регуляторных требований по происхождению данных.
Метаданные загружаются из источников автоматически. Сами данные каталог не копирует за исключением семплов при включенном профилирования. Доступ к семплам имеют только пользователи с правами доступа к данным.
В каталог загружаются метаданные, которые содержат следующую информацию об источнике:
| Информация об источнике | Описание |
|---|---|
| Объекты хранения | Базы данных, схемы, таблицы, представления, индексы |
| Структура данных | Имена колонок/полей, их типы данных и возможность хранения значения NULL (nullable), вложенные колонки/поля |
| Комментарии | Описания к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |
В зависимости от типа источника данных, загружаемые данные могут отличаться.
PostgreSQL
| Информация об источнике | Описание |
|---|---|
| Базы данных и схемы | Базы данных и схемы, доступные в источнике |
| Таблицы | Таблицы, их технические имена и принадлежность к схеме |
| Представления | Представления и их SQL-определения |
| Хранимые процедуры | Хранимые процедуры и их SQL-определения |
| Колонки | Имена, типы данных и принадлежность к схеме |
| Комментарии | Описания таблиц и колонок, заданные через COMMENT ON |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками в представлениях |
| Профилирование данных | Статистика по таблицам, строкам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |
В каталоге метаданные представлены в виде структуры: база данных → схема → таблица/представление → колонка.
Происхождение данных может определяться:
-
На основе разбора SQL-определений представлений.
-
На основе анализа SQL-запросов.
Для анализа SQL-запросов требуется PostgreSQL версии не ниже
13и расширениеpg_stat_statements.
Для профилирования данных пользователю необходимы права SELECT на таблицы.
MySQL®
| Информация об источнике | Описание |
|---|---|
| Базы данных | Базы данных, доступные в источнике |
| Таблицы | Таблицы и их принадлежность к базе данных |
| Представления | Представления и их SQL-определения |
| Хранимые процедуры | Хранимые процедуры и их SQL-определения |
| Колонки | Имена и типы данных |
| Комментарии | Комментарии к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками источника и колонками представлений |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |
Метаданные загружаются из системных таблиц MySQL®. В каталоге метаданные представлены в виде структуры: база данных → таблица/представление → колонка.
Происхождение данных определяется на основе разбора SQL-определений представлений.
Для сбора метаданных пользователю необходимы следующие привилегии:
- для представлений —
SHOW VIEW; - для метрик профилирования данных —
SELECTна таблицы.
ClickHouse®
| Информация об источнике | Описание |
|---|---|
| Базы данных | Базы данных, доступные в источнике |
| Таблицы | Пользовательские таблицы |
| Представления | Представления и их SQL-определения |
| Материализованные представления | Материализованные представления и их SQL-определения |
| Словари | Словари и их структура |
| Колонки | Имена и типы данных |
| Комментарии | Комментарии к таблицам и колонкам |
| Происхождение данных | Связи между таблицами и представлениями, а также между представлениями |
| Происхождение данных на уровне колонок | Связи между колонками |
| Использование объектов | Статистика обращений к объектам |
| Профилирование данных | Статистика по таблицам и колонкам |
| Удаленные объекты | Объекты, которые были удалены из источника после предыдущей выгрузки |
Метаданные загружаются из системных таблиц ClickHouse® с помощью SQLAlchemy. В каталоге метаданные представлены в виде структуры: база данных → таблица/представление → колонка.
Происхождение данных определяется на основе разбора SQL-определений представлений, которые хранятся в system.tables.create_table_query.
Для профилирования данных пользователю необходимы права SELECT на таблицы.
Данные бизнес-аналитики
В каталог загружаются метаданные о датасетах, чартах, дашбордах, отчетах, воркбуках и коллекциях. Метаданные загружаются для выбранных подключений. Если подключения не выбраны, метаданные загружаются для всех доступных подключений.
SQL
В каталог загружаются метаданные об SQL-запросах и объектах базы данных, которые используются в запросах. Результаты выполнения запросов не загружаются. При этом запросы загружаются только для баз данных, для которых в каталоге создан источник.
В каталоге пользователю отображаются только его запросы или запросы, на просмотр которых у него есть права.
Что дальше: