Создание внешнего источника данных HDFS

Статья создана

Обновлена 27 ноября 2024 г.

В Managed Service for Greenplum® в качестве внешнего источника данных с типом подключения HDFS можно использовать систему HDFS в составе сервиса Yandex Data Processing или другие сторонние сервисы HDFS.

Создайте внешний источник

Консоль управления

REST API

gRPC API

Перейдите на страницу каталога и выберите сервис Managed Service for Greenplum.
Откройте страницу нужного кластера Managed Service for Greenplum®.
На панели слева выберите PXF.
Нажмите кнопку Создать источник данных.
Выберите тип подключения HDFS.
Укажите имя источника.
Задайте хотя бы одну опциональную настройку.
Нажмите кнопку Создать.

Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
```
export IAM_TOKEN="<IAM-токен>"
```

Воспользуйтесь методом PXFDatasource.Create и выполните запрос, например, с помощью cURL:

curl \
    --request POST \
    --header "Authorization: Bearer $IAM_TOKEN" \
    --header "Content-Type: application/json" \
    --url 'https://mdb.api.cloud.yandex.net/managed-greenplum/v1/clusters/<идентификатор_кластера>/pxf_datasources' \
    --data '{
              "datasource": {
                "name": "<имя_внешнего_источника_данных>",
                "hdfs": {
                  "core": {
                    "defaultFs": "<тип_хранения>"
                  },
                  ...
                }
              }
            }'

Где:

name — имя внешнего источника данных.
hdfs — настройки внешнего источника данных. Задайте хотя бы одну опциональную настройку.

Идентификатор кластера можно запросить со списком кластеров в каталоге.

Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
```
export IAM_TOKEN="<IAM-токен>"
```
Клонируйте репозиторий cloudapi:
```
cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
```
Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

Воспользуйтесь вызовом PXFDatasourceService.Create и выполните запрос, например, с помощью gRPCurl:

grpcurl \
    -format json \
    -import-path ~/cloudapi/ \
    -import-path ~/cloudapi/third_party/googleapis/ \
    -proto ~/cloudapi/yandex/cloud/mdb/greenplum/v1/pxf_service.proto \
    -rpc-header "Authorization: Bearer $IAM_TOKEN" \
    -d '{
          "cluster_id": "<идентификатор_кластера>"
          "datasource": {
            "name": "<имя_внешнего_источника_данных>",
            "hdfs": {
              "core": {
                "default_fs": "<тип_хранения>"
              },
              ...
            }
          }
        }' \
    mdb.api.cloud.yandex.net:443 \
    yandex.cloud.mdb.greenplum.v1.PXFDatasourceService.Create

Где:

name — имя внешнего источника данных.
hdfs — настройки внешнего источника данных. Задайте хотя бы одну опциональную настройку.

Идентификатор кластера можно запросить со списком кластеров в каталоге.

Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.

Создание внешнего источника данных HDFS

Создайте внешний источникСоздайте внешний источник

Была ли статья полезна?

Создайте внешний источник