Создание загрузки данных

В консоли управления выберите каталог ресурсов, в котором создан каталог метаданных.

Выберите сервис Yandex MetaData Hub.

Hа панели слева выберите  Data Catalog.

В открывшемся списке выберите каталог метаданных, в котором вы хотите создать загрузку.

На панели слева выберите Загрузки.

Нажмите кнопку Создать загрузку.

Задайте параметры загрузки:

• В поле Имя задайте уникальное имя загрузки.

• (Опционально) Добавьте описание загрузки.

• Выберите или создайте источник данных.

• Задайте конфигурацию загрузки для выбранного источника данных:

  • Выберите расписание запуска загрузки:

    • Каждый месяц — выберите числа месяца, время начала и окончания загрузки.

    • Каждую неделю — выберите дни недели, время начала и окончания загрузки.

      Примечание

      По расписанию Каждый месяц и Каждую неделю загрузка запускается в указанное время и останавливается, когда новые данные загружены. Если при загрузке данных возникли ошибки, она будет перезапускаться, пока данные не загрузятся или пока не истечет заданное время.

    • Каждый день — выберите временные интервалы для загрузки.

    • Ручной запуск — для запуска загрузки только вручную.

  • (Опционально) В блоке Фильтры данных с помощью регулярных выражений укажите, какие базы данных и объекты баз данных необходимо включить или исключить из загрузки.

  • В блоке Типы метаданных выберите, какие типы метаданных необходимо извлекать из источника.

  • (Опционально) В блоке Профилирование данных:

    • Выберите опцию Включить профилирование, чтобы выполнять профилирование данных, т. е. анализ и сбор статистики об извлекаемых данных.
    • Выберите опцию Учитывать только уровень таблицы, чтобы не выполнять профилирование данных в каждом столбце таблицы. Если опция включена, характеристики данных будут собираться только по таблице в целом.
    • В поле Максимум рабочих процессов укажите количество вычислительных потоков для профилирования.
    • В поле Размер выборки укажите количество строк для выборки при профилировании столбцов. Настройка применяется при включенной опции Использовать выборку.
    • В поле Ограничение на размер таблицы укажите размер таблицы (в ГБ), при превышении которого таблицы исключаются из профилирования.
    • В поле Ограничение на количество строк в таблице укажите количество строк, при превышении которого таблицы исключаются из профилирования.
    • Выберите опцию Включить подсчет нулевых значений, чтобы получить количество строк со значением NULL для каждого столбца.
    • Выберите опцию Включить подсчёт уникальных значений, чтобы получить количество уникальных значений для каждого столбца.
    • Выберите опцию Включить минимальное значение полей, чтобы получить минимальное значение для каждого числового столбца.
    • Выберите опцию Включить максимальное значение полей, чтобы получить максимальное значение для каждого числового столбца.
    • Выберите опцию Включить среднее значение полей, чтобы получить среднее значение для каждого числового столбца.
    • Выберите опцию Включить медиану полей, чтобы получить медианное значение для каждого числового столбца.
    • Выберите опцию Включить стандартное отклонение значений полей, чтобы получить стандартное отклонение для каждого числового столбца.
    • Выберите опцию Включить квантили полей, чтобы получить квантили для каждого числового столбца.
    • Выберите опцию Включить подсчёт частот уникальных значений, чтобы получить частоту уникальных значений для каждого столбца.
    • Выберите опцию Включить гистограмму полей, чтобы получить гистограмму для каждого числового столбца.
    • Выберите опцию Включить значения полей, чтобы получить примеры значений для каждого столбца.
    • Выберите опцию Включить объединение запросов, чтобы динамически объединять SQL-запросы для ускорения профилирования.
    • В поле Ограничение укажите максимальное количество строк для профилирования. При значении 0 будут профилироваться все строки.

  • В блоке Обработка метаданных выберите, каким образом обрабатывать метаданные:

    • Чтобы повысить производительность загрузки, включите опцию Использовать файловый кеш.

Нажмите кнопку Создать.