Создание внешнего источника данных Hive

Статья создана

Обновлена 7 мая 2025 г.

В Managed Service for Greenplum® в качестве внешнего источника данных с типом подключения Hive можно использовать СУБД Hive в составе сервиса Yandex Data Processing или другие сторонние сервисы Hive.

Создайте внешний источник

Консоль управления

REST API

gRPC API

Перейдите на страницу каталога и выберите сервис Managed Service for Greenplum.
Откройте страницу нужного кластера Managed Service for Greenplum®.
На панели слева выберите PXF.
Нажмите кнопку Создать источник данных.
Выберите тип подключения Hive.
Укажите имя источника.
Задайте хотя бы одну опциональную настройку.
Нажмите кнопку Создать.

Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
```
export IAM_TOKEN="<IAM-токен>"
```

Воспользуйтесь методом PXFDatasource.Create и выполните запрос, например, с помощью cURL:

curl \
    --request POST \
    --header "Authorization: Bearer $IAM_TOKEN" \
    --header "Content-Type: application/json" \
    --url 'https://mdb.api.yandexcloud.kz/managed-greenplum/v1/clusters/<идентификатор_кластера>/pxf_datasources' \
    --data '{
              "datasource": {
                "name": "<имя_внешнего_источника_данных>",
                "hive": {
                  "kerberos": {
                    "enable": <аутентификация_Kerberos>
                  },
                  ...
                }
              }
            }'

Где:

name — имя внешнего источника данных.
hive — настройки внешнего источника данных. Задайте хотя бы одну опциональную настройку.

Идентификатор кластера можно запросить со списком кластеров в каталоге.

Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
```
export IAM_TOKEN="<IAM-токен>"
```
Клонируйте репозиторий cloudapi:
```
cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
```
Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

Воспользуйтесь вызовом PXFDatasourceService.Create и выполните запрос, например, с помощью gRPCurl:

grpcurl \
    -format json \
    -import-path ~/cloudapi/ \
    -import-path ~/cloudapi/third_party/googleapis/ \
    -proto ~/cloudapi/yandex/cloud/mdb/greenplum/v1/pxf_service.proto \
    -rpc-header "Authorization: Bearer $IAM_TOKEN" \
    -d '{
          "cluster_id": "<идентификатор_кластера>"
          "datasource": {
            "name": "<имя_внешнего_источника_данных>",
            "hive": {
              "kerberos": {
                "enable": <аутентификация_Kerberos>
              },
              ...
            }
          }
        }' \
    mdb.api.yandexcloud.kz:443 \
    yandex.cloud.mdb.greenplum.v1.PXFDatasourceService.Create

Где:

name — имя внешнего источника данных.
hive — настройки внешнего источника данных. Задайте хотя бы одну опциональную настройку.

Идентификатор кластера можно запросить со списком кластеров в каталоге.

Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.

Создание внешнего источника данных Hive

Создайте внешний источникСоздайте внешний источник

Была ли статья полезна?

Создайте внешний источник