Источники данных

Источник данных — это то подключение к базе данных или сервису, через которое в каталог загружаются метаданные. Пользовательские данные при этом не загружаются. При включенном профилировании дополнительно выполняются запросы на чтение к данным или выборкам, чтобы рассчитать статистику по колонкам и таблицам.

В каталог загружаются метаданные, которые содержат следующую информацию об источнике:

Информация об источнике	Описание
Объекты хранения	Базы данных, схемы, таблицы, представления, индексы
Структура данных	Имена колонок/полей, их типы данных и возможность хранения значения NULL (nullable), вложенные колонки/поля
Комментарии	Описания к таблицам и колонкам
Происхождение данных	Связи между таблицами и представлениями
Профилирование данных	Статистика по таблицам и колонкам
Удаленные объекты	Объекты, которые были удалены из источника после предыдущей выгрузки

Метаданные источниковМетаданные источников

Набор загружаемых метаданных зависит от источника данных:

• PostgreSQL
• MySQL®
• ClickHouse®
• OpenSearch
• Yandex MPP Analytics for PostgreSQL/Greenplum®
• Yandex StoreDoc/MongoDB
• Yandex Data Transfer
• Yandex WebSQL
• Yandex DataLens
• Trino
• Apache Airflow™

PostgreSQLPostgreSQL

В каталог из PostgreSQL загружаются метаданные, которые содержат следующую информацию об источнике:

Информация об источнике	Описание
Базы данных и схемы	Базы данных и схемы, доступные в источнике
Таблицы	Таблицы, их технические имена и принадлежность к схеме
Представления	Представления и их SQL-определения
Хранимые процедуры	Хранимые процедуры и их SQL-определения
Колонки	Имена, типы данных и принадлежность к схеме
Комментарии	Описания таблиц и колонок, заданные через COMMENT ON
Происхождение данных	Связи между таблицами и представлениями, а также между представлениями
Происхождение данных на уровне колонок	Связи между колонками в представлениях
Профилирование данных	Статистика по таблицам, строкам и колонкам
Удаленные объекты	Объекты, которые были удалены из источника после предыдущей выгрузки

В каталоге метаданные представлены в виде структуры: база данных → схема → таблица/представление → колонка.

Происхождение данных может определяться:

• На основе разбора SQL-определений представлений.

• На основе анализа SQL-запросов.

  Для анализа SQL-запросов требуется PostgreSQL версии не ниже 13 и расширение pg_stat_statements.

Для профилирования данных пользователю необходимы права SELECT на таблицы.

MySQL®MySQL®

В каталог из MySQL® загружаются метаданные, которые содержат следующую информацию об источнике:

Информация об источнике	Описание
Базы данных	Базы данных, доступные в источнике
Таблицы	Таблицы и их принадлежность к базе данных
Представления	Представления и их SQL-определения
Хранимые процедуры	Хранимые процедуры и их SQL-определения
Колонки	Имена и типы данных
Комментарии	Комментарии к таблицам и колонкам
Происхождение данных	Связи между таблицами и представлениями, а также между представлениями
Происхождение данных на уровне колонок	Связи между колонками источника и колонками представлений
Профилирование данных	Статистика по таблицам и колонкам
Удаленные объекты	Объекты, которые были удалены из источника после предыдущей выгрузки

Метаданные загружаются из системных таблиц MySQL®. В каталоге метаданные представлены в виде структуры: база данных → таблица/представление → колонка.

Происхождение данных определяется на основе разбора SQL-определений представлений.

Для сбора метаданных пользователю необходимы следующие привилегии:

• для представлений — SHOW VIEW;
• для метрик профилирования данных — SELECT на таблицы.

Подробнее о привилегиях пользователей в MySQL®.

ClickHouse®ClickHouse®

В каталог из ClickHouse® загружаются метаданные, которые содержат следующую информацию об источнике:

Информация об источнике	Описание
Базы данных	Базы данных, доступные в источнике
Таблицы	Пользовательские таблицы
Представления	Представления и их SQL-определения
Материализованные представления	Материализованные представления и их SQL-определения
Словари	Словари и их структура
Колонки	Имена и типы данных
Комментарии	Комментарии к таблицам и колонкам
Происхождение данных	Связи между таблицами и представлениями, а также между представлениями
Происхождение данных на уровне колонок	Связи между колонками
Использование объектов	Статистика обращений к объектам
Профилирование данных	Статистика по таблицам и колонкам
Удаленные объекты	Объекты, которые были удалены из источника после предыдущей выгрузки

Метаданные загружаются из системных таблиц ClickHouse® с помощью SQLAlchemy. В каталоге метаданные представлены в виде структуры: база данных → таблица/представление → колонка.

Происхождение данных определяется на основе разбора SQL-определений представлений, которые хранятся в system.tables.create_table_query.

Для профилирования данных пользователю необходимы права SELECT на таблицы.

OpenSearchOpenSearch

В каталог из OpenSearch загружаются метаданные, которые содержат следующую информацию об источнике:

Информация об источнике	Описание
Индексы	Индексы, доступные в источнике
Поля индексов	Поля, входящие в индексы
Типы полей	Типы данных полей
Шаблоны индексов	Правила, применяемые при создании индексов
Профилирование данных	Статистика по индексам и полям
Удаленные объекты	Индексы, которые были удалены из источника после предыдущей выгрузки

Метаданные загружаются из OpenSearch через API. В каталоге каждый индекс представлен как набор данных с полями. Имя и тип поля определяются на основе схемы индекса.

Для профилирования данных пользователю необходимы права на чтение индексов.

Yandex MPP Analytics for PostgreSQL/Greenplum®Yandex MPP Analytics for PostgreSQL/Greenplum®

В каталог из Yandex MPP Analytics for PostgreSQL и Greenplum® загружаются метаданные, которые содержат следующую информацию об источнике:

Информация об источнике	Описание
Базы данных и схемы	Базы данных и схемы, доступные в источнике
Таблицы	Таблицы, их технические имена и принадлежность к схеме
Представления	Представления и их SQL-определения
Материализованные представления	Материализованные представления и их SQL-определения
Внешние таблицы	Информация о внешних таблицах
Колонки	Имена, типы данных и принадлежность к схеме
Ограничения	Правила для поддержания целостности данных
Индексы	Индексы таблиц
Комментарии	Описания таблиц и колонок, заданные через COMMENT ON
Происхождение данных	Связи между таблицами, представлениями и материализованными представлениями
Профилирование данных	Статистика по таблицам и колонкам
Удаленные объекты	Объекты, которые были удалены из источника после предыдущей выгрузки

В каталоге метаданные представлены в виде структуры: база данных → схема → таблица/представление → колонка.

Происхождение данных может определяться:

• На основе разбора SQL-определений представлений.
• На основе анализа SQL-запросов.

Для профилирования данных пользователю необходимы права SELECT на таблицы.

Yandex StoreDoc/MongoDBYandex StoreDoc/MongoDB

В каталог из Yandex StoreDoc и MongoDB загружаются метаданные, которые содержат следующую информацию об источнике:

Информация об источнике	Описание
Базы данных	Базы данных, доступные в источнике
Коллекции	Имена, принадлежность к базе данных, список полей и их типы, структура документов, технические атрибуты
Поля	Имена, вложенные поля, типы, возможность хранения значения NULL, смешанные типы
Удаленные объекты	Коллекции, которые были удалены из источника после предыдущей выгрузки

В каталоге метаданные представлены в виде структуры: база данных → коллекция → поле.

В Yandex StoreDoc и MongoDB нет единой схемы коллекции, так как документы могут иметь разную структуру. Если включен вывод схемы, в каталоге формируется объединенная схема коллекции на основе выборки документов. Для построения схемы необходимы права на чтение баз данных, из которых загружаются метаданные.

Yandex Data TransferYandex Data Transfer

В каталог из Data Transfer загружаются метаданные о трансферах, которые выполняются в выбранных каталогах Yandex Cloud.

Метаданные содержат следующую информацию о трансфере:

• связи между хранилищами, таблицами и колонками;
• трансформации данных.

Для каждого участника трансфера, для которого в каталоге не создан источник, создается хранилище без активного источника. В этом случае в каталоге будут доступны только метаданные, полученные в рамках трансфера. В дальнейшем для каждого хранилища можно создать источник и настроить загрузку метаданных.

Yandex WebSQLYandex WebSQL

В каталог из WebSQL загружаются метаданные об SQL-запросах и объектах базы данных, которые используются в запросах. Результаты выполнения запросов не загружаются. При этом запросы загружаются только для баз данных, для которых в каталоге создан источник.

В каталоге пользователю отображаются только его запросы или запросы, на просмотр которых у него есть права.

Yandex DataLensYandex DataLens

В каталог из DataLens загружаются метаданные о следующих объектах:

• датасеты;
• чарты;
• дашборды;
• отчеты;
• воркбуки и коллекции.

Метаданные загружаются для выбранных подключений. Если подключения не выбраны, метаданные загружаются для всех доступных подключений.

Для загрузки метаданных сервисному аккаунту необходимы роли datalens.visitor и datalens.admin на организацию. Вместо роли datalens.admin можно выдать роли на доступ к отдельным ресурсам сервиса DataLens (например, datalens.workbooks.viewer). В таком случае загружаются только метаданные тех ресурсов, к которым у сервисного аккаунта есть доступ.

Подробнее о ролях в DataLens.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.