Автоматизация задач Yandex Query с помощью Yandex Managed Service for Apache Airflow™

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

1. Создайте сервисный аккаунт airflow-sa:

   yc iam service-account create airflow-sa
   

   Результат:

   id: nfersamh4sjq********
   folder_id: b1gc1t4cb638********
   created_at: "2023-09-21T10:36:29.726397755Z"
   name: airflow-sa
   

   Сохраните идентификатор сервисного аккаунта airflow-sa (id) и каталога, в котором его создали (folder_id).

2. Назначьте сервисному аккаунту роль editor на каталог, указав сохраненные ранее идентификаторы каталога и сервисного аккаунта:

   yc resource-manager folder add-access-binding <идентификатор_каталога> \
     --role editor \
     --subject serviceAccount:<идентификатор_сервисного_аккаунта>
   

Чтобы создать сервисный аккаунт, воспользуйтесь методом create для ресурса ServiceAccount или вызовом gRPC API ServiceAccountService/Create.

Чтобы назначить сервисному аккаунту роль editor на каталог, воспользуйтесь методом setAccessBindings для ресурса ServiceAccount или вызовом gRPC API ServiceAccountService/SetAccessBindings.

1. Создайте сеть yq-network:

   yc vpc network create yq-network
   

   Результат:

   id: enptrcle5q3d********
   folder_id: b1g9hv2loamq********
   created_at: "2022-04-04T05:25:03Z"
   name: yq-network
   default_security_group_id: enpbsnnop4ak********
   

   Подробнее о команде yc vpc network create см. в справочнике CLI.

2. Создайте подсети:

   • В зоне доступности ru-central1-a:

     yc vpc subnet create yq-network-ru-central1-a \
       --zone ru-central1-a \
       --network-name yq-network \
       --range 10.1.0.0/16
     

     Результат:

     id: b0c3pte4o2kn********
     folder_id: b1g9hv2loamq********
     created_at: "2022-04-04T09:28:08Z"
     name: yq-network-ru-central1-a
     network_id: enptrcle5q3d********
     zone_id: ru-central1-a
     v4_cidr_blocks:
     - 10.1.0.0/16
     

   • В зоне доступности ru-central1-b:

     yc vpc subnet create yq-network-ru-central1-b \
       --zone ru-central1-b \
       --network-name yq-network \
       --range 10.2.0.0/16
     

   • В зоне доступности ru-central1-d:

     yc vpc subnet create yq-network-ru-central1-d \
       --zone ru-central1-d \
       --network-name yq-network \
       --range 10.3.0.0/16
     

   Подробнее о команде yc vpc subnet create см. в справочнике CLI.

1. Чтобы создать сеть, воспользуйтесь методом REST API create для ресурса Network или вызовом gRPC API NetworkService/Create.

2. Чтобы создать подсети, воспользуйтесь методом REST API create для ресурса Subnet или вызовом gRPC API SubnetService/Create.

Если у вас еще нет интерфейса командной строки AWS CLI, установите и сконфигурируйте его.

1. Создайте бакет, указав для него уникальное имя:

   aws --endpoint-url https://storage.yandexcloud.net \
     s3 mb s3://<имя_бакета>
   

   Результат:

   make_bucket: s3://airflow-bucket
   

2. Включите публичный доступ к чтению объектов и списка объектов в созданном бакете:

   aws --endpoint-url https://storage.yandexcloud.net \
     s3api put-bucket-acl \
     --bucket <имя_бакета> \
     --acl public-read
   

Чтобы создать бакет, воспользуйтесь методом REST API create для ресурса Bucket, вызовом gRPC API BucketService/Create или методом S3 API create.

Создайте NAT-шлюз в каталоге по умолчанию:

yc vpc gateway create \
  --name yq-nat

Результат:

id: enpkq1sb7hed********
folder_id: b1g681qpemb4********
created_at: "2024-05-19T13:20:36Z"
name: yq-nat
shared_egress_gateway: {}

Подробнее о команде yc vpc gateway create см. в справочнике CLI.

Сохраните идентификатор (id) NAT-шлюза, он понадобится при создании таблицы маршрутизации.

Чтобы создать NAT-шлюз, воспользуйтесь методом REST API create для ресурса Gateway или вызовом gRPC API GatewayService/Create.

Создайте таблицу маршрутизации с NAT-шлюзом yq-nat в качестве next hop и префиксом назначения 0.0.0.0/0:

yc vpc route-table create \
  --name=yq-route-table \
  --network-name=yq-network \
  --route destination=0.0.0.0/0,gateway-id=<идентификатор_NAT-шлюза>

Результат:

id: enp4v8foko6s********
folder_id: b1g681qpemb4********
created_at: "2024-05-19T13:22:47Z"
name: yq-route-table
network_id: enppoggov6ub********
static_routes:
  - destination_prefix: 0.0.0.0/0
    gateway_id: enpkq1sb7hed********

Подробнее о команде yc vpc route-table create см. в справочнике CLI.

Чтобы создать таблицу маршрутизации, воспользуйтесь методом REST API create для ресурса RouteTable или вызовом gRPC API RouteTableService/Create.

Выполните команду:

yc vpc subnet update yq-network-ru-central1-a \
  --route-table-name=yq-route-table

Результат:

id: e9b6n3jj3gh6********
folder_id: b1g681qpemb4********
created_at: "2024-05-19T13:24:58Z"
name: yq-network-ru-central1-a
network_id: enppoggov6ub********
zone_id: ru-central1-a
v4_cidr_blocks:
  - 10.1.0.0/16
route_table_id: enp4v8foko6s********
dhcp_options: {}

Подробнее о команде yc vpc subnet update см. в справочнике CLI.

Чтобы привязать таблицу маршрутизации к подсети, воспользуйтесь методом REST API update для ресурса Subnet или вызовом gRPC API SubnetService/Update.