Создание внешнего источника данных HDFS

Статья создана

Обновлена 22 июля 2026 г.

В Yandex MPP Analytics for PostgreSQL в качестве внешнего источника данных с типом подключения HDFS можно использовать систему HDFS в составе сервиса Yandex Data Processing или другие сторонние сервисы HDFS.

Создайте внешний источник

Консоль управления

REST API

gRPC API

Перейдите на страницу каталога.
Перейдите в сервис Yandex MPP Analytics for PostgreSQL.
Откройте страницу нужного кластера Yandex MPP Analytics for PostgreSQL.
На панели слева выберите PXF.
Нажмите кнопку Создать источник данных.
Выберите тип подключения HDFS.
Укажите имя источника.
Задайте хотя бы одну опциональную настройку.
Нажмите кнопку Создать.

Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
```
export IAM_TOKEN="<IAM-токен>"
```

Воспользуйтесь методом PXFDatasource.Create и выполните запрос, например, с помощью cURL:

curl \
    --request POST \
    --header "Authorization: Bearer $IAM_TOKEN" \
    --header "Content-Type: application/json" \
    --url 'https://mdb.api.cloud.yandex.net/managed-greenplum/v1/clusters/<идентификатор_кластера>/pxf_datasources' \
    --data '{
              "datasource": {
                "name": "<имя_внешнего_источника_данных>",
                "hdfs": {
                  "core": {
                    "defaultFs": "<тип_хранения>"
                  },
                  ...
                }
              }
            }'

Где:

name — имя внешнего источника данных.
hdfs — настройки внешнего источника данных. Задайте хотя бы одну опциональную настройку.

Идентификатор кластера можно запросить со списком кластеров в каталоге.

Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
```
export IAM_TOKEN="<IAM-токен>"
```
Клонируйте репозиторий cloudapi:
```
cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
```
Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

Воспользуйтесь вызовом PXFDatasourceService.Create и выполните запрос, например, с помощью gRPCurl:

grpcurl \
    -format json \
    -import-path ~/cloudapi/ \
    -import-path ~/cloudapi/third_party/googleapis/ \
    -proto ~/cloudapi/yandex/cloud/mdb/greenplum/v1/pxf_service.proto \
    -rpc-header "Authorization: Bearer $IAM_TOKEN" \
    -d '{
          "cluster_id": "<идентификатор_кластера>"
          "datasource": {
            "name": "<имя_внешнего_источника_данных>",
            "hdfs": {
              "core": {
                "default_fs": "<тип_хранения>"
              },
              ...
            }
          }
        }' \
    mdb.api.cloud.yandex.net:443 \
    yandex.cloud.mdb.greenplum.v1.PXFDatasourceService.Create

Где:

name — имя внешнего источника данных.
hdfs — настройки внешнего источника данных. Задайте хотя бы одну опциональную настройку.

Идентификатор кластера можно запросить со списком кластеров в каталоге.

Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

После создания внешнего источника данных создайте внешнюю таблицу.

Создание внешнего источника данных HDFS

Создайте внешний источникСоздайте внешний источник

Была ли статья полезна?

Создайте внешний источник