Загрузка DAG-файлов в кластер Managed Service for Apache Airflow™

Чтобы реализовать автоматизацию, обработку данных или запуск задач по расписанию, используются DAG-файлы. Они представляют собой скрипты на Python 3, которые запускаются внутри Apache Airflow™. Пример DAG-файла см. в документации Apache Airflow™.

Вы можете загрузить DAG-файлы:

• из бакета Yandex Object Storage;
• из внешнего Git-репозитория.

Тип источника DAG-файлов можно выбрать при создании или изменении кластера. Так графы задач автоматически попадают в кластер Managed Service for Apache Airflow™ и отображаются в веб-интерфейсе Apache Airflow™.

Загрузка DAG-файлов из бакетаЗагрузка DAG-файлов из бакета

1. Создайте в бакете папку (например, dags) и загрузите в нее DAG-файл. DAG автоматически загрузится в кластер.

   Вы можете загрузить DAG-файл в корень бакета, но в папку файл загружается быстрее.

   Если вы загрузили в папку дополнительные скрипты или модули, которые используются в DAG, укажите полный путь к этим скриптам или модулям в бакете. Например, все файлы загружены в папку dags. Тогда в конструкции from ... import DAG-файла укажите:

   from dags.<имя_файла> import <объект>
   

2. Откройте веб-интерфейс Apache Airflow™.

3. Убедитесь, что в разделе DAGs появился новый DAG. Загрузка DAG-файла из бакета может занять несколько минут.

Загрузка DAG-файлов из Git-репозиторияЗагрузка DAG-файлов из Git-репозитория

1. Загрузите DAG-файл в папку Git-репозитория, указанную вместе с адресом репозитория в настройках кластера. DAG автоматически загрузится в кластер.

   Если вы загрузили в папку дополнительные скрипты или модули, которые используются в DAG, укажите полный путь к этим скриптам или модулям. Например, все файлы загружены в папку dags. Тогда в конструкции from ... import DAG-файла укажите:

   from dags.<имя_файла> import <объект>
   

2. Откройте веб-интерфейс Apache Airflow™.

3. Убедитесь, что в разделе DAGs появился новый DAG. Загрузка DAG-файла из Git-репозитория может занять несколько минут.