Подключение к бакету Yandex Object Storage с политикой доступа

В сервисе Yandex Managed Service for Apache Airflow™ вы можете работать с бакетом Yandex Object Storage, для которого настроены политики доступа. Доступ к бакету осуществляется из отдельной DNS-зоны через внутренний балансировщик, который распределяет трафик по ВМ с NAT. Схема такого подключения приведена ниже. Вместо ВМ test-s3-vm будет использоваться кластер Apache Airflow™.

Перед началом работыПеред началом работы

1. Создайте сетевую инфраструктуру для доступа к бакету Object Storage, которая изображена на рисунке выше. Создание такой инфраструктуры описано в практическом руководстве.
2. Протестируйте созданную инфраструктуру.
3. Чтобы подключиться к созданному бакету через Apache Airflow™, измените политику доступа к бакету. Для этого в параметре Action укажите разрешенные для Apache Airflow™ действия: "s3:GetObject, s3:ListBucket". После этого примените изменения командой terraform apply.

Подготовьте кластер Apache Airflow™Подготовьте кластер Apache Airflow™

1. Создайте сервисный аккаунт my-account с ролями vpc.user и managed-airflow.integrationProvider.
2. Выдайте разрешение READ сервисному аккаунту my-account на созданный ранее бакет.
3. Создайте кластер Apache Airflow™ и укажите в нем сервисный аккаунт my-account.

Проверьте подключениеПроверьте подключение

Чтобы проверить подключение к бакету Object Storage, загрузите DAG-файл в бакет. DAG должен отобразиться в веб-интерфейсе Apache Airflow™.