Создать кластер Apache Airflow™

Кластер Apache Airflow™ создается ресурсом AirflowCluster в пространстве имен проекта. Перед созданием кластера администратор установки должен включить Managed Service for Apache Airflow™.

База метаданных создается автоматически. Настраивать подключение к базе не требуется.

Перед началомПеред началом

Подготовьте:

• включенный компонент Managed Service for Apache Airflow™ и доступный каталог версий — это проверяет администратор установки;
• пространство имен проекта;
• Git-репозиторий с DAG-файлами или S3-совместимое хранилище;
• S3-совместимое хранилище, если нужны удаленные логи задач;
• Secret с учетными данными, если используется внешнее S3-хранилище. Для приватного Git-репозитория консоль управления создает Secret из введенных данных; при создании через CLI подготовьте Secret самостоятельно.

Создайте Secret и ConfigMap, на которые ссылается конфигурация, в том же пространстве имен, что и AirflowCluster.

Для автоматически создаваемых бакетов должен быть включен компонент Object Storage.

Права доступаПрава доступа

Доступ к консоли Stackland и доступ к веб-интерфейсу Apache Airflow™ настраиваются отдельно. Участие в проекте дает возможность видеть проект; для работы с его ресурсами администратор проекта должен назначить роль с нужными разрешениями.

При подготовке роли учитывайте следующие операции:

Для выбора бакетов и AccessKey также нужен доступ к соответствующим ресурсам хранилища. Разрешения на запись DAG-файлов в Git или S3 выдаются отдельно от прав на управление кластером. Если форма сообщает об отказе в доступе, передайте администратору имя проекта, пространство имен, выполняемую операцию и текст ошибки.

Веб-интерфейс Apache Airflow™ использует собственную учетную запись. Получите ее данные по инструкции; назначение роли в проекте само по себе не создает пользователя Apache Airflow™.

Через консоль управленияЧерез консоль управления

1. В консоли управления Stackland выберите проект и пространство имен.

2. В левом меню выберите Кластеры Airflow. Если пункт скрыт, раскройте Ещё. Нажмите Создать кластер.

3. В разделе Основные настройки укажите:

   • Имя кластера — уникальное имя в выбранном пространстве имен.
   • Версия Airflow — версию из доступного списка.
   • Защита от удаления — включите, чтобы предотвратить случайное удаление кластера. По умолчанию выключена.
   • Публичный доступ — оставьте включенным, чтобы открывать веб-интерфейс по HTTPS. При выключенном доступе потребуется перенаправление порта.

4. В разделе DAG выберите Источник и настройте Git-репозиторий или S3-хранилище.

5. При необходимости в разделе Компоненты задайте количество реплик и ресурсы планировщика, API-сервера, обработчика триггеров и обработчика DAG.

   Оставьте поля пустыми, чтобы использовать значения по умолчанию. Если задаете ресурсы компонента, заполните CPU и память в обеих группах: Запросы и Лимиты. Например, запрос CPU — 500m, памяти — 1Gi, лимит CPU — 1, памяти — 2Gi. Запрос не должен превышать лимит. Количество реплик должно быть не меньше 1.

6. Чтобы сохранять логи после пересоздания подов, в разделе Логи задач включите Хранить логи удалённо и настройте хранилище так же, как для DAG в S3. Для DAG и логов используйте разные бакеты или разные пути внутри бакета.

7. Если DAG требуют дополнительных библиотек, заполните раздел Дополнительные зависимости по инструкции. При необходимости добавьте параметры airflow.cfg.

8. Нажмите Создать. Откройте созданный кластер и дождитесь состояния Ready.

   Если создание не завершается, откройте вкладку Состояния и проверьте причины неготовности. Рекомендации приведены в разделе Устранение неполадок.

Git-репозиторийGit-репозиторий

В поле Источник выберите Git-репозиторий и заполните раздел Git-источник DAG:

• Адрес репозитория — HTTPS- или SSH-адрес, например https://git.example.com/team/airflow-dags.git или git@git.example.com:team/airflow-dags.git.
• Git ref — ветку, тег или коммит, например main.
• Путь к DAG — каталог внутри репозитория, например dags. Для корня репозитория оставьте поле пустым.

Для приватного HTTPS-репозитория в разделе Доступ к репозиторию включите Использовать аутентификацию и укажите Имя пользователя и Пароль. Вместо пароля можно использовать токен доступа, если это поддерживает ваш Git-сервис.

Для SSH включите Использовать аутентификацию, загрузите Приватный SSH-ключ и Файл known_hosts с ключом сервера. Получите проверенный файл known_hosts у администратора Git-сервиса.

Консоль создаст необходимые Secret и ConfigMap. Не включайте учетные данные в адрес репозитория.

S3-хранилищеS3-хранилище

В поле Источник выберите S3-хранилище. В разделе S3-источник DAG задайте Тип хранилища:

Для удаленного хранения логов эти же поля доступны в разделе Логи задач после включения Хранить логи удалённо. Ключ доступа должен разрешать запись логов и их чтение.

Через CLIЧерез CLI

Проверьте доступные версии Apache Airflow™:

kubectl get airflowimagecatalog airflow \
  -o jsonpath='{range .spec.images[*]}{.version}{"\n"}{end}'

Если команда не выводит версии, посмотрите структуру ресурса: kubectl get airflowimagecatalog airflow -o yaml.

1. Создайте файл ресурса AirflowCluster, например airflow-cluster.yaml, и вставьте одну из конфигураций:

   Git и локальные логи

   Object Storage для DAG и логов

   Пример использует публичный Git-репозиторий и локальные логи задач.

   apiVersion: airflow.stackland.yandex.cloud/v1alpha1
   kind: AirflowCluster
   metadata:
     name: airflow-demo
   spec:
     version: "3.1.8"
     dags:
       source: git
       git:
         repo: https://github.com/example/airflow-dags.git
         ref: main
     publicAccess: true
     deletionProtection: true
   

   Пример создает отдельные бакеты для DAG-файлов и логов задач. DAG-файлы загружаются из префикса dags/ в бакете.

   apiVersion: airflow.stackland.yandex.cloud/v1alpha1
   kind: AirflowCluster
   metadata:
     name: airflow-demo
   spec:
     version: "3.1.8"
     dags:
       source: s3
       s3:
         type: stackland-storage
         stacklandStorage:
           subPath: dags/
     taskLogs:
       type: stackland-storage
       stacklandStorage:
         subPath: logs/
     publicAccess: true
     deletionProtection: true
   

2. Укажите имя кластера в metadata.name и доступную версию в spec.version. Для Git-источника замените URL репозитория и значение ref на свои.

   В обоих примерах включены публичный доступ к веб-интерфейсу (spec.publicAccess: true) и защита от удаления (spec.deletionProtection: true). При необходимости измените эти параметры.

3. Примените манифест:

   kubectl apply -f airflow-cluster.yaml -n <пространство_имен>
   

   Пространство имен также можно указать в metadata.namespace манифеста и не передавать параметр -n в команде.

4. Дождитесь состояния Ready, подставив имя кластера из metadata.name:

   kubectl get airflowcluster <имя_кластера> \
     -n <пространство_имен> \
     -w
   

5. Если кластер долго остается в Provisioning или переходит в Failed, проверьте условия состояния в status.conditions:

   kubectl describe airflowcluster <имя_кластера> -n <пространство_имен>
   

   Рекомендации приведены в разделе Устранение неполадок.

Приватный Git-репозиторийПриватный Git-репозиторий

Для HTTPS создайте Secret с фиксированными ключами username и password:

kubectl create secret generic airflow-git-auth \
  -n <пространство_имен> \
  --from-literal=username=<имя_пользователя> \
  --from-literal=password=<токен_или_пароль>

Добавьте ссылку в spec.dags.git.authSecretRef манифеста:

spec:
  dags:
    source: git
    git:
      repo: https://git.example.com/team/airflow-dags.git
      ref: main
      authSecretRef:
        name: airflow-git-auth

Для SSH Secret должен содержать ключ ssh-privatekey, а ConfigMap — ключ known_hosts:

spec:
  dags:
    source: git
    git:
      repo: git@git.example.com:team/airflow-dags.git
      ref: main
      authSecretRef:
        name: airflow-git-ssh
      knownHostsConfigMapRef:
        name: airflow-git-known-hosts

Интервал синхронизации Git и S3 составляет 60 секунд и не настраивается.

Внешнее S3-хранилищеВнешнее S3-хранилище

Создайте Secret с ключами доступа:

kubectl create secret generic airflow-s3-credentials \
  -n <пространство_имен> \
  --from-literal=access-key-id=<идентификатор_ключа> \
  --from-literal=secret-access-key=<секретный_ключ>

Для DAG-файлов задайте в spec:

spec:
  dags:
    source: s3
    s3:
      type: s3
      s3:
        bucket: airflow-dags
        region: ru-central1
        endpointUrl: https://storage.yandexcloud.net
        credentialsSecretRef:
          name: airflow-s3-credentials
          accessKeyIdPath: access-key-id
          secretAccessKeyPath: secret-access-key
        subPath: dags/

Для удаленных логов задайте в spec поле taskLogs:

spec:
  taskLogs:
    type: s3
    s3:
      bucket: airflow-logs
      region: ru-central1
      endpointUrl: https://storage.yandexcloud.net
      credentialsSecretRef:
        name: airflow-s3-credentials
        accessKeyIdPath: access-key-id
        secretAccessKeyPath: secret-access-key
      subPath: logs/

Дальнейшие действияДальнейшие действия

• Получите учетные данные администратора.
• Откройте веб-интерфейс Apache Airflow™.
• Загрузите DAG-файлы и запустите DAG.
• Измените настройки кластера, если требуется настроить ресурсы или зависимости.