Передача данных из эндпоинта-источника Microsoft SQL Server
С помощью сервиса Yandex Data Transfer вы можете переносить данные из базы данных Microsoft SQL Server в управляемые базы данных Yandex Cloud и реализовывать различные сценарии обработки и трансформации данных. Для реализации трансфера:
- Ознакомьтесь с возможными сценариями передачи данных.
- Подготовьте базу данных Microsoft SQL Server к трансферу.
- Настройте эндпоинт-источник в Yandex Data Transfer.
- Настройте один из поддерживаемых приемников данных.
- Cоздайте и запустите трансфер.
- При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.
Сценарии передачи данных из Microsoft SQL Server
Вы можете реализовывать сценарии миграции и поставки данных из базы данных Microsoft SQL Server в управляемые базы данных для дальнейшего хранения в облаке, обработки и загрузки в витрины данных с целью последующей визуализации.
Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.
Подготовка базы данных Microsoft SQL Server
Airbyte® предъявляет требования к источнику данных Microsoft SQL Server:
- База данных доступна с компьютера, на котором работает Airbyte®.
- Создан выделенный пользователь Airbyte® с правами только на чтение и с доступом ко всем таблицам, для которых необходима репликация.
Подробнее см. в документации Airbyte®.
Airbyte® уже встроен в Data Transfer, поэтому вам не нужно создавать отдельную виртуальную машину для его развертывания и добавления пользователя. Достаточно обеспечить сетевой доступ Data Transfer к базе-источнику.
Настройка эндпоинта-источника Microsoft SQL Server
При создании эндпоинта выберите тип базы данных MSSQL и задайте настройки доступа к SQL Server. Вы можете изменить настройки после создания эндпоинта.
-
Хост — IP-адрес или FQDN хоста, к которому необходимо подключиться.
-
Порт — номер порта, который сервис Data Transfer будет использовать для подключения к хосту.
-
База данных — имя БД для подключения.
-
Имя пользователя, Пароль — имя и пароль пользователя БД.
-
Метод репликации — способ репликации, используемый для извлечения данных из базы данных. Репликация типа
STANDARDне требует настройки на стороне БД, но не сможет отображать изменения данных. Репликация типаCDCпозволяет обнаруживать вставки, обновления и удаления. -
Метод SSL — метод шифрования, который используется при обмене данными с базой данных:
-
UNENCRYPTED— сохранение пароля в открытом текстовом виде; -
ENCRYPTER (trust cert)— использование сертификата из достоверного источника; -
ENCRYPTER (verify cert)— использование самоподписанного сертификата.
-
Подробнее о настройках см. в документации Airbyte®.
Настройка приемника данных
Настройте один из поддерживаемых приемников данных:
- MySQL®;
- MongoDB;
- ClickHouse®;
- Greenplum®;
- Yandex Managed Service for YDB;
- Apache Kafka®;
- YDS;
- PostgreSQL.
Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.
Убедитесь, что настройки сети, в которой размещен кластер-приемник, разрешают подключение к интернету. Чтобы открыть доступ в интернет, настройте маршрутизацию.
После настройки источника и приемника данных создайте и запустите трансфер.
Airbyte® является зарегистрированным товарным знаком Airbyte, Inc в США и/или других странах.
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.
Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.