Чтение файла из Yandex Object Storage

Используйте направленный ациклический граф (DAG) для чтения файлов из Yandex Object Storage сервисного аккаунта, который привязан к кластеру Apache Airflow™.

Подготовьте DAG-файл и запустите графПодготовьте DAG-файл и запустите граф

1. Создайте локально файл с именем read_file_from_dags_bucket.py и скопируйте в него скрипт:

   from airflow.settings import DAGS_FOLDER
   from airflow.decorators import dag, task
   
   
   @dag(schedule=None)
   def read_file_from_dags_bucket():
       @task
       def read_file():
           with open(f'{DAGS_FOLDER}/data/airflow.txt') as file:
               content = file.read()
               print(f"file content: {content}")
   
       read_file()
   
   
   read_file_from_dags_bucket()
   

2. Загрузите DAG-файл read_file_from_dags_bucket.py в созданный ранее бакет. В результате одноименный граф появится в веб-интерфейсе Apache Airflow™ автоматически.

3. Откройте веб-интерфейс Apache Airflow™.

4. Убедитесь, что в разделе DAGs появился новый граф read_file_from_dags_bucket.

   Загрузка DAG-файла из бакета может занять несколько минут.

5. Чтобы запустить граф, в строке с его именем нажмите кнопку .

Проверьте результатПроверьте результат

Чтобы проверить результат в веб-интерфейсе Apache Airflow™:

1. В разделе DAGs откройте граф read_file_from_dags_bucket.
2. Перейдите в раздел Graph.
3. Выберите задание read_file.
4. Перейдите в раздел Logs.
5. Убедитесь, что в логах есть строка file content: {content}, где content — содержимое файла. Это значит, что запрос выполнен успешно.