Загрузка DAG-файлов в кластер Managed Service for Apache Airflow™

Чтобы реализовать автоматизацию, обработку данных или запуск задач по расписанию, используются DAG-файлы. Они представляют собой скрипты на Python 3.8, которые запускаются внутри Apache Airflow™. Пример DAG-файла см. в документации Apache Airflow™.

DAG-файлы загружаются в бакет Yandex Object Storage, который был указан при создании кластера. Так графы задач DAG автоматически попадают в кластер Managed Service for Apache Airflow™ и отображаются в веб-интерфейсе Apache Airflow™.

Чтобы загрузить DAG-файлы в кластер:

1. Создайте в бакете папку (например, dags) и загрузите в нее DAG-файл. Так вы загрузите DAG в кластер.

   Вы можете загрузить DAG-файл в корень бакета, но в папку файл загружается быстрее.

   Если вы загрузили в папку дополнительные скрипты или модули, которые используются в DAG, укажите полный путь к этим скриптам или модулям в бакете. Например, все файлы загружены в папку dags. Тогда в конструкции from ... import DAG-файла укажите:

   from dags.<имя_файла> import <объект>
   

2. Откройте веб-интерфейс Apache Airflow™.

3. Убедитесь, что в разделе DAGs появился новый DAG. Загрузка DAG-файла из бакета может занять несколько минут.