Как начать работать с Managed Service for Apache Airflow™

Чтобы начать работу с сервисом Managed Service for Apache Airflow™:

1. Создайте кластер.
2. Откройте веб-интерфейс Apache Airflow™.

Перед началом работыПеред началом работы

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.

2. Если у вас еще нет каталога, создайте его:

   1. В консоли управления в списке слева выберите нужное облако.

   2. Справа сверху нажмите кнопку Создать каталог.

   3. Введите имя каталога. Требования к имени:

      • длина — от 2 до 63 символов;
      • может содержать строчные буквы латинского алфавита, цифры и дефисы;
      • первый символ — буква, последний — не дефис.

   4. (Опционально) Введите описание каталога.

   5. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.

   6. Нажмите кнопку Создать.

   Настройки группы безопасности не влияют на доступ к веб-интерфейсу Apache Airflow™.

3. Назначьте вашему аккаунту в Yandex Cloud роли:

   • managed-airflow.editor — чтобы создать кластер;
   • vpc.user — чтобы работать с сетью кластера;
   • iam.serviceAccounts.user — чтобы привязать сервисный аккаунт к кластеру.

   Примечание

   Если вы не можете управлять ролями, обратитесь к администратору вашего облака или организации.

4. Создайте бакет Yandex Object Storage для хранения DAG-файлов Managed Service for Apache Airflow™.

5. Создайте сервисный аккаунт.

6. Назначьте сервисному аккаунту роль managed-airflow.integrationProvider на каталог или бакет.

7. Предоставьте разрешение READ сервисному аккаунту на бакет.

Создайте кластерСоздайте кластер

1. В консоли управления выберите каталог, в котором нужно создать кластер Managed Service for Apache Airflow™.
2. Выберите сервис Managed Service for Apache Airflow™.
3. Нажмите кнопку Создать кластер.
4. Задайте параметры кластера и нажмите кнопку Создать. Процесс подробно рассмотрен в разделе Создание кластера.
5. Дождитесь, когда кластер будет готов к работе: его статус на панели Managed Service for Apache Airflow™ сменится на Running, а состояние — на Alive. Это может занять некоторое время.

Откройте веб-интерфейс Apache Airflow™Откройте веб-интерфейс Apache Airflow™

Для управления Apache Airflow™ можно использовать веб-интерфейс. Работать с ним могут только пользователи с ролью не ниже managed-airflow.user. Чтобы начать работу в веб-интерфейсе Apache Airflow™:

1. В консоли управления откройте страницу кластера.

2. Перейдите на страницу веб-сервера Managed Service for Apache Airflow™.

3. В открывшемся веб-интерфейсе введите данные для авторизации:

   • Логин — admin.
   • Пароль — пароль пользователя admin, который вы указали при создании кластера.

Подробнее о работе в веб-интерфейсе см. документацию Apache Airflow™.

Помимо веб-интерфейса можно также использовать API Apache Airflow™. Подробнее о нем читайте в разделе Работа с интерфейсами Apache Airflow™.

Что дальшеЧто дальше

• Изучите концепции сервиса Managed Service for Apache Airflow™.
• Узнайте подробнее о создании кластера Managed Service for Apache Airflow™ и работе с интерфейсами Apache Airflow™.
• Создайте DAG-файлы и загрузите их в кластер Managed Service for Apache Airflow™. Пример DAG-файла см. в документации Apache Airflow™.