Начало работы для управляющего метаданными

Работая с Yandex Data Catalog в роли управляющего метаданными, вы можете собирать и систематизировать метаданные об объектах Yandex Cloud и связях между ними.

Data Catalog поддерживает получение метаданных из следующих сервисов:

• PostgreSQL
• MySQL®
• ClickHouse®
• Yandex StoreDoc/MongoDB
• OpenSearch
• Greenplum®
• Yandex Data Transfer
• WebSQL
• DataLens
• Trino
• Apache Airflow™

Чтобы начать работу с сервисом:

1. Создайте каталог метаданных.
2. Создайте источник метаданных.
3. Создайте загрузки данных из источников по расписанию.
4. Проверьте загруженные метаданные.
5. Создайте классификацию и теги.
6. Создайте домен и поддомены.
7. Создайте глоссарий и термины.
8. Разметьте полученные данные.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входит плата за вычислительные ресурсы, объем хранилища и резервных копий кластера Yandex Managed Service for PostgreSQL (тарифы Managed Service for PostgreSQL).

Перед началом работыПеред началом работы

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.

2. Если у вас еще нет каталога ресурсов, создайте его:

   1. В консоли управления на панели сверху нажмите или и выберите нужное облако.

   2. Справа от названия облака нажмите .

   3. Выберите Создать каталог.

      

   4. Введите имя каталога. Требования к имени:

      • длина — от 3 до 63 символов;
      • может содержать строчные буквы латинского алфавита, цифры и дефисы;
      • первый символ — буква, последний — не дефис.

   5. (Опционально) Введите описание каталога.

   6. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, которая разрешает подключение к ресурсам по SSH и RDP, входящий трафик по ICMP, а также любой исходящий трафик.

   7. Нажмите кнопку Создать.

      

3. Назначьте вашему аккаунту в Yandex Cloud роли на каталог ресурсов:

   • data-catalog.dataSteward — чтобы создавать ресурсы Data Catalog и управлять ими;
   • vpc.user — чтобы работать с сетью кластера.

   Примечание

   Если вы не можете управлять ролями, обратитесь к администратору вашего облака или организации.

4. Создайте кластер Managed Service for PostgreSQL, из которого будут поставляться данные в качестве тестовой нагрузки.

Создайте каталог метаданныхСоздайте каталог метаданных

Создайте источник и загрузку метаданныхСоздайте источник и загрузку метаданных

Проверьте загруженные метаданныеПроверьте загруженные метаданные

Создайте классификацию и тегиСоздайте классификацию и теги

Создайте классификациюСоздайте классификацию

Создайте тегиСоздайте теги

Создайте домен и поддоменыСоздайте домен и поддомены

Создайте доменСоздайте домен

Создайте поддоменСоздайте поддомен

Создайте глоссарий и терминыСоздайте глоссарий и термины

Создайте глоссарийСоздайте глоссарий

Создайте терминыСоздайте термины

Разметьте полученные данныеРазметьте полученные данные

Что дальшеЧто дальше

• Создайте термин в глоссарии.
• Создайте дочерний термин.
• Измените глоссарий.
• Измените термин в глоссарии.
• Создайте тег в классификации.
• Измените классификацию.
• Измените тег в классификации.

Полезные ссылкиПолезные ссылки

Начало работы для аналитика метаданных

Глоссарий — словарь узкоспециализированных терминов для определенной отрасли с толкованием этих терминов. Позволяет сформировать в компании единое понимание общей терминологии. Подробнее в разделе Глоссарии и термины.

Домен — группа метаданных для первичного распределения по потребностям рабочего процесса, например по принадлежности к отделу компании или направлению бизнеса. Для каждого домена можно создать поддомен. Подробнее в разделе Домены и поддомены.

Загрузка — процесс, который подключается к указанному в источнике хранилищу данных или сервису и загружает его метаданные в каталог. Загрузку можно запускать вручную или по расписанию. Подробнее в разделе Загрузка метаданных.

Источник — подключение, через которое загружаются метаданные. В подключении хранится информация о БД или другом сервисе, из которого загружаются метаданные, а также данные для аутентификации. Подробнее в разделе Загрузка метаданных.

Каталог метаданных — основная сущность сервиса Data Catalog. Одновременно является местом сбора и хранения метаданных из различных источников и рабочим пространством для их разметки. Подробнее в разделе Каталог метаданных.

Классификация — группа тегов, которые используются для разметки метаданных. Подробнее в разделе Классификации и теги.

Поддомен — вложенная группа метаданных внутри домена, которая позволяет более гранулярно распределить метаданные. Подробнее в разделе Домены и поддомены.

Тег — метка, которая используется для разметки метаданных по их типам, например чувствительные данные или характеристики таблиц. Подробнее в разделе Классификации и теги.

Термин — понятие, которое используется для разметки данных по их семантическому значению в рамках бизнеса, например «выручка» или «расходы». Подробнее в разделе Глоссарии и термины.