Загрузка DAG-файлов в кластер Managed Service for Apache Airflow™
Кластер Managed Service for Apache Airflow™ автоматически загружает DAG-файлы из настроенного источника:
Подготовьте DAG-файл. Пример приведен в документации Apache Airflow™. Если DAG использует дополнительные скрипты или модули, настройте их импорт.
Загрузка DAG-файлов из бакета
При создании или изменении кластера выберите бакет источником DAG-файлов и настройте доступ к нему для сервисного аккаунта кластера.
-
Создайте в выбранном бакете папку (например,
dags) и загрузите в нее DAG-файл. Если DAG использует дополнительные скрипты или модули, загрузите их вместе с ним.Вы можете загрузить DAG-файл в корень бакета, но в папку файл загружается быстрее.
-
Убедитесь, что в разделе DAGs появился новый DAG. Загрузка DAG-файла из бакета может занять несколько минут.
Загрузка DAG-файлов из Git-репозитория
При создании или изменении кластера выберите Git-репозиторий источником DAG-файлов. Укажите адрес репозитория, ветку, каталог с DAG-файлами и параметры аутентификации.
Важно
Для использования Git-репозитория настройте доступ в интернет через NAT-шлюз из сети кластера Managed Service for Apache Airflow™. Во время настройки привяжите таблицу маршрутизации с NAT-шлюзом ко всем подсетям кластера.
- Добавьте DAG-файл в каталог Git-репозитория, указанный в настройках кластера. Если DAG использует дополнительные скрипты или модули, добавьте их вместе с ним.
- Сохраните изменения в ветке удаленного репозитория, указанной в настройках кластера. Если вы работаете с локальной копией репозитория, создайте коммит и отправьте его в эту ветку.
- Откройте веб-интерфейс Apache Airflow™.
- Убедитесь, что в разделе DAGs появился новый DAG. Загрузка DAG-файла из Git-репозитория может занять несколько минут.
Использование дополнительных скриптов и модулей
Если DAG использует дополнительные скрипты или модули, загрузите их вместе с DAG-файлом в бакет или Git-репозиторий. В DAG-файле укажите полный путь к этим скриптам или модулям. Например, если все файлы загружены в папку dags, в конструкции from ... import укажите:
from dags.<имя_файла> import <объект>