Создание загрузки данных

В консоли управления выберите каталог ресурсов, в котором создан каталог метаданных.

Выберите сервис Yandex MetaData Hub.

Hа панели слева выберите  Data Catalog.

В открывшемся списке выберите каталог метаданных, в котором вы хотите создать загрузку.

На панели слева выберите Загрузки.

Нажмите кнопку Создать загрузку.

Задайте параметры загрузки:

• В поле Имя задайте уникальное имя загрузки.

• (Опционально) Добавьте описание загрузки.

• Выберите или создайте источник данных.

• В блоке Конфигурация загрузки PostgreSQL:

  • Выберите расписание запуска загрузки:

    • Каждый месяц — выберите числа месяца, время начала и окончания загрузки.

    • Каждую неделю — выберите дни недели, время начала и окончания загрузки.

      Примечание

      По расписанию Каждый месяц и Каждую неделю загрузка запускается в указанное время и останавливается, когда новые данные загружены. Если при загрузке данных возникли ошибки, она будет перезапускаться, пока данные не загрузятся или пока не истечет заданное время.

    • Каждый день — выберите временные интервалы для загрузки.

    • Ручной запуск — для запуска загрузки только вручную.

  • (Опционально) В блоке Фильтры данных с помощью регулярных выражений укажите, какие базы данных и объекты баз данных необходимо включить или исключить из загрузки.

  • В блоке Типы метаданных выберите, какие типы метаданных необходимо извлекать из источника.
  • (Опционально) В блоке Профилирование данных:
    • Выберите опцию Включить профилирование, чтобы выполнять профилирование данных, т. е. анализ и сбор статистики об извлекаемых данных.
    • Выберите опцию Профилировать только на уровне таблиц, чтобы не выполнять профилирование данных в каждом столбце таблицы. Если опция включена, характеристики данных будут собираться только по таблице в целом.
    • В поле Максимум рабочих процессов укажите количество вычислительных потоков для профилирования.
    • В поле Размер выборки укажите количество строк для выборки при профилировании столбцов. Настройка применяется при включенной опции Использовать выборку.
    • В поле Предел размера таблицы (ГБ) укажите размер таблицы (в ГБ), при превышении которого таблицы исключаются из профилирования.
    • В поле Предел количества строк таблицы укажите количество строк, при превышении которого таблицы исключаются из профилирования.
    • Укажите, какие характеристики данных необходимо извлекать из источника:
      • include_field_null_count – количество строк со значением NULL в таблице или в каждом столбце.
      • include_field_distinct_count — количество строк с различными значениями в таблице или в каждом столбце.
      • include_field_min_value — минимальное значение по таблице или по каждому столбцу.
      • include_field_max_value – максимальное значение по таблице или по каждому столбцу.
      • include_field_mean_value — среднее значение по таблице или по каждому столбцу.
      • include_field_median_value — медиана по таблице или по каждому столбцу.
      • include_field_stddev_value – стандартное отклонение по таблице или по каждому столбцу.
      • include_field_sample_values — срезы данных, т. е. несколько значений подряд для каждого столбца.
  • В блоке Обработка метаданных выберите, каким образом обрабатывать метаданные:
    • Чтобы повысить производительность загрузки, включите опцию Использовать файловый кеш.

Нажмите кнопку Создать.