Как начать работать с Managed Service for Apache Airflow™
Чтобы начать работу с сервисом:
Перед началом работы
-
Перейдите в консоль управления
, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы. -
Если у вас еще нет каталога, создайте его:
-
В консоли управления
в списке слева выберите нужное облако. -
Справа сверху нажмите кнопку
Создать каталог. -
Введите имя каталога. Требования к имени:
- длина — от 3 до 63 символов;
- может содержать строчные буквы латинского алфавита, цифры и дефисы;
- первый символ — буква, последний — не дефис.
-
(Опционально) Введите описание каталога.
-
Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.
-
Нажмите кнопку Создать.
Настройки группы безопасности не влияют на доступ к веб-интерфейсу Apache Airflow™.
-
-
Убедитесь, что для создания кластера у вашего аккаунта есть роль vpc.user и роль managed-airflow.editor или выше.
-
Создайте бакет Yandex Object Storage для хранения DAG-файлов Managed Service for Apache Airflow™.
-
Назначьте сервисному аккаунту роль
managed-airflow.integrationProvider
на каталог или бакет. -
Предоставьте разрешение
READ
сервисному аккаунту на бакет.
Создайте кластер
- В консоли управления выберите каталог, в котором нужно создать кластер.
- Выберите сервис Managed Service for Apache Airflow™.
- Нажмите кнопку Создать кластер.
- Задайте параметры кластера и нажмите кнопку Создать. Процесс подробно рассмотрен в разделе Создание кластера.
- Дождитесь, когда кластер будет готов к работе: его статус на панели Managed Service for Apache Airflow™ сменится на Running, а состояние — на Alive. Это может занять некоторое время.
Откройте веб-интерфейс Apache Airflow™
Для управления Apache Airflow™ можно использовать веб-интерфейс. Работать с ним могут только пользователи с ролью не ниже managed-airflow.user. Чтобы начать работу в веб-интерфейсе Apache Airflow™:
-
В консоли управления
откройте страницу кластера. -
Перейдите на страницу веб-сервера Managed Service for Apache Airflow™.
-
В открывшемся веб-интерфейсе введите данные для авторизации:
- Логин —
admin
. - Пароль — пароль пользователя
admin
, который вы указали при создании кластера.
- Логин —
Подробнее о работе в веб-интерфейсе см. документацию Apache Airflow™
Помимо веб-интерфейса можно также использовать API Apache Airflow™
Что дальше
- Изучите концепции сервиса.
- Узнайте подробнее о создании кластера и работе с интерфейсами Apache Airflow™.
- Создайте DAG-файлы и загрузите их в кластер Managed Service for Apache Airflow™. Пример DAG-файла см. в документации Apache Airflow™
.