Создание внешнего источника данных JDBC

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id. Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы создать внешний источник данных JDBC:

1. Посмотрите описание команды CLI для создания источника данных:

   yc managed-greenplum pxf-datasource create jdbc --help
   

2. Задайте настройки источника данных:

   yc managed-greenplum pxf-datasource create jdbc <имя_внешнего_источника_данных> \
      --cluster-id=<идентификатор_кластера> \
      --driver=<адрес_драйвера> \
      --url=<URL_базы_данных> \
      --user=<имя_пользователя> \
      --password=<пароль>
   

   Где:

   • cluster-id — идентификатор кластера. Его можно получить со списком кластеров в каталоге.

   • driver — класс JDBC-драйвера в Java. Возможные значения:

     • com.clickhouse.jdbc.ClickHouseDriver
     • com.ibm.as400.access.AS400JDBCDriver
     • com.microsoft.sqlserver.jdbc.SQLServerDriver
     • com.mysql.cj.jdbc.Driver
     • org.postgresql.Driver
     • oracle.jdbc.driver.OracleDriver
     • net.snowflake.client.jdbc.SnowflakeDriver
     • io.trino.jdbc.TrinoDriver

   • url — URL базы данных. Примеры:

     • jdbc:mysql://mysqlhost:3306/testdb — для локальной БД MySQL®.
     • jdbc:postgresql://c-<идентификатор_кластера>.rw.mdb.yandexcloud.net:6432/db1 — для кластера Yandex Managed Service for PostgreSQL. Адрес содержит особый FQDN мастера в кластере.
     • jdbc:oracle:thin:@host.example:1521:orcl — для БД Oracle.

   • user — имя пользователя, владельца БД.

   • password — пароль пользователя БД.

   Вы также можете указать дополнительные настройки.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом PXFDatasource.Create и выполните запрос, например, с помощью cURL:

   curl \
       --request POST \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.cloud.yandex.net/managed-greenplum/v1/clusters/<идентификатор_кластера>/pxf_datasources' \
       --data '{
                 "datasource": {
                   "name": "<имя_внешнего_источника_данных>",
                   "jdbc": {
                     "driver": "<адрес_драйвера>",
                     "url": "<URL_базы_данных>",
                     "user": "<логин_пользователя>",
                     "password": "<пароль_пользователя>",
                     ...
                   }
                 }
               }'
   

   Где:

   • name — имя внешнего источника данных.
   • jdbc — настройки внешнего источника данных. Задайте хотя бы одну опциональную настройку.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом PXFDatasourceService.Create и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/greenplum/v1/pxf_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>"
             "datasource": {
               "name": "<имя_внешнего_источника_данных>",
               "jdbc": {
                 "driver": "<адрес_драйвера>",
                 "url": "<URL_базы_данных>",
                 "user": "<логин_пользователя>",
                 "password": "<пароль_пользователя>",
                 ...
               }
             }
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.greenplum.v1.PXFDatasourceService.Create
   

   Где:

   • name — имя внешнего источника данных.
   • jdbc — настройки внешнего источника данных. Задайте хотя бы одну опциональную настройку.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Этот способ подходит для Yandex MPP Analytics for PostgreSQL, использующего Apache Cloudberry™.

Чтобы создать внешний источник данных, выполните следующие действия:

1. Создайте внешний источник данных:

   CREATE SERVER "<локальное_имя_источника>"
     FOREIGN DATA WRAPPER jdbc_pxf_fdw
     OPTIONS (
       jdbc_driver '<имя_класса_JDBC_драйвера>',
       db_url 'jdbc:<тип_СУБД>://<FQDN_кластера>:<порт>/<имя_БД>',
       user '<имя_пользователя>',
       pass '<пароль>'
     );
   

2. Создайте сопоставление локального пользователя с пользователем на внешнем источнике:

   CREATE USER MAPPING FOR CURRENT_USER
     SERVER "<локальное_имя_источника>";