Создание регулярного копирования

Регулярное копирование периодически переносит данные из источника в выбранное пространство имен REST-каталога по заданному расписанию. Так данные в приемнике поддерживаются в актуальном состоянии без ручной перезагрузки.

Если нужный источник пока не поддерживается поставками данных, загрузку можно организовать с помощью кода в Apache Spark™ или подключения к источнику в Trino. Возможность подключения зависит от доступных библиотек и коннекторов.

Чтобы создать регулярное копирование:

1. Перейдите в раздел Поставки данных и нажмите Создать поставку данных.

2. На шаге Выбор подключения укажите подключение-источник и перейдите к шагу Настройка поставки данных.

3. В переключателе типа поставки выберите Регулярное копирование — копирование с обновлением данных по расписанию.

4. Задайте основные параметры поставки:

   • В поле Название поставки введите имя поставки.
   • (Опционально) В поле Описание укажите, для чего нужна поставка.
   • В поле База данных укажите имя базы данных в выбранном подключении-источнике.
   • В поле Коллекция выберите коллекцию из списка. Если подходящей коллекции нет, нажмите Создать и создайте новую.
   • (Опционально) добавьте метку для поиска и фильтрации поставки.

5. В блоке Назначение укажите, куда переносить данные:

   • В поле REST-каталог выберите REST-каталог.
   • В поле Пространство имён выберите пространство имен внутри выбранного каталога. Если подходящего пространства имен нет, нажмите Создать и создайте новое.

6. В блоке Параметры поставки настройте расписание и состав данных:

   • В поле Периодичность выберите частоту обновления (например, Каждый месяц), а в поле ниже задайте день и время запуска (например, 1 в 12:00).

   • В поле Таблицы для поставки выберите, какие таблицы переносить:

     • Все таблицы — перенести все таблицы источника.
     • Список — указать таблицы для переноса в отдельных полях.

   • (Опционально) В блоке Инкрементальные таблицы настройте инкрементальное копирование по колонке курсора.

     Настройка инкрементальных таблиц

     При инкрементальном копировании на каждом запуске поставки переносятся только строки, у которых значение колонки курсора превышает сохраненное с прошлого запуска, — так в приемник попадают только новые данные, а не вся таблица целиком.
     Заполнить блок можно в двух режимах, которые переключаются кнопками в правой части его заголовка: каждое поле отдельно или в табличном виде. Каждая настраиваемая таблица отображается отдельным блоком с порядковым номером (Таблица 1, Таблица 2 и т. д.); чтобы удалить таблицу, нажмите в ее заголовке.
     Для каждой инкрементальной таблицы задайте параметры:

     • (Опционально) В поле Пространство имён таблицы укажите пространство имен (схему) таблицы в источнике. Если пространство имен по умолчанию, поле можно оставить пустым.
     • В поле Имя таблицы укажите имя таблицы, для которой настраивается инкрементальное копирование.
     • В поле Колонка курсора укажите колонку, по которой отслеживаются новые данные, — например, монотонно возрастающий идентификатор или колонку с датой либо временем изменения записи.
     • (Опционально) В поле Начальное значение задайте значение курсора, начиная с которого копировать данные при первом запуске. Если оставить поле пустым, копирование начнется с самого раннего доступного значения.

7. Нажмите Создать поставку.

Чтобы проверить результат:

1. На странице загрузки откройте пространство имен в REST-каталоге.
2. Убедитесь, что в нем появились выбранные таблицы.
3. Откройте таблицу и проверьте ее структуру и данные в блоке Предпросмотр.

Подробнее об изменении настроек и приостановке поставки.