Устранение неполадок Apache Airflow™

Начните диагностику с состояния AirflowCluster и условий состояния в status.conditions.

Общая диагностикаОбщая диагностика

1. Посмотрите состояние кластера:

   kubectl get airflowcluster <имя_кластера> \
     -n <пространство_имен> \
     -o wide
   

2. Получите условия состояния и события кластера:

   kubectl describe airflowcluster <имя_кластера> \
     -n <пространство_имен>
   

3. Получите UID кластера для поиска его ресурсов:

   kubectl get airflowcluster <имя_кластера> \
     -n <пространство_имен> \
     -o jsonpath='{.metadata.uid}'
   

4. Проверьте поды Apache Airflow™, подставив полученный UID:

   kubectl get pods -n <пространство_имен> \
     -l 'tier=airflow,airflow.stackland.yandex.cloud/owner-uid=<UID_кластера>'
   

Кластер остается в ProvisioningКластер остается в Provisioning

Проверьте условия состояния, у которых поле status имеет значение False:

Точная причина указана в полях reason и message соответствующего условия. Проверяйте, что его observedGeneration совпадает с текущим metadata.generation.

Если устранить ошибку по инструкциям ниже не удалось, передайте администратору установки имя кластера, пространство имен и значения reason и message.

Ошибки GitОшибки Git

Для приватного HTTPS-репозитория Secret должен содержать непустые ключи username и password. Для SSH необходимы:

• ключ ssh-privatekey в Secret из authSecretRef;
• ключ known_hosts в ConfigMap из knownHostsConfigMapRef.

Имена ключей фиксированы. Также проверьте URL репозитория, наличие ветки, тега или коммита из ref и путь subPath.

Ошибки загрузки DAG-файлов смотрите в журнале контейнера git-sync:

kubectl get pods -n <пространство_имен> \
  -l 'tier=airflow,component=dag-processor,airflow.stackland.yandex.cloud/owner-uid=<UID_кластера>'
kubectl logs -n <пространство_имен> <имя_пода> -c git-sync

Ошибки S3-синхронизации DAGОшибки S3-синхронизации DAG

Если DAG-файлы из S3 не появляются в веб-интерфейсе, проверьте:

• имя бакета, эндпоинт, регион и режим forcePathStyle;
• ключи, указанные в credentialsSecretRef, и права доступа к бакету;
• CA-сертификат для эндпоинта с частным центром сертификации;
• наличие DAG-файлов под префиксом из subPath;
• сетевой доступ из пространства имен к S3.

Посмотрите журнал синхронизации:

kubectl get pods -n <пространство_имен> \
  -l 'tier=airflow,component=dag-processor,airflow.stackland.yandex.cloud/owner-uid=<UID_кластера>'
kubectl logs -n <пространство_имен> <имя_пода> -c dag-sync

Если поды остаются в Pending, посмотрите их события:

kubectl describe pod <имя_пода> -n <пространство_имен>

Учитывайте ограничения S3-источника. Если поды не запускаются из-за нехватки ресурсов или недоступности хранилища, передайте события администратору установки.

Пароль из Secret не подходитПароль из Secret не подходит

Найдите административный Secret по UID кластера. Если изменялся ключ username, восстановите исходное имя пользователя: изменение имени администратора не поддерживается.

После изменения ключа password дождитесь обработки Secret и проверьте InitialUserReady в status.conditions. При ошибке передайте значения reason и message администратору установки.

Если кластер вернулся в состояние Ready, но вход с новым паролем не работает, пароль существующего пользователя мог остаться прежним. Чтобы восстановить доступ, вручную установите в Apache Airflow™ пароль из Secret. Для этого нужны права на выполнение команд в подах (pods/exec); при отсутствии прав обратитесь к администратору установки.

1. Если кластер приостановлен, возобновите его. Найдите работающий под API server, подставив UID из инструкции Найти Secret:

   kubectl get pods -n <пространство_имен> \
     -l 'tier=airflow,component=api-server,airflow.stackland.yandex.cloud/owner-uid=<UID_кластера>'
   

2. Запустите команду смены пароля в найденном поде:

   kubectl exec -it <имя_пода> \
     -n <пространство_имен> \
     -c api-server -- \
     airflow users reset-password --username <имя_пользователя>
   

   Используйте имя пользователя из ключа username административного Secret. В интерактивном запросе введите пароль из ключа password и подтвердите его.

3. Выйдите из веб-интерфейса, затем войдите снова с паролем из Secret.

Ошибки базы данныхОшибки базы данных

База метаданных создается и настраивается автоматически. Если DatabaseReady=False долго сохраняется или Apache Airflow™ сообщает об ошибке подключения к базе, обратитесь к администратору установки. Передайте имя кластера, пространство имен и сообщение об ошибке.

Ошибки установки пакетовОшибки установки пакетов

Если DependenciesReady=False, начните с reason и message:

• SecretNotFound, InvalidSecret или InvalidCABundle — проверьте Secret из spec.dependencies.repositories: учетные данные, CA и ключ подписи APT. Требования приведены в разделе Репозитории пакетов;
• ImageBuildPending или ImageReplicationPending — зависимости еще подготавливаются к использованию. Дождитесь завершения обновления; если состояние долго не меняется, обратитесь к администратору установки;
• ImageBuildFailed — проверьте имена и версии пакетов, доступность репозиториев и совместимость зависимостей с версией Apache Airflow™ из spec.version.

Исправьте spec.dependencies или используемый Secret. Если причина неясна из message, передайте это сообщение администратору установки.

При ImagePullBackOff в событиях пода также обратитесь к администратору установки.

Не публикуется веб-интерфейсНе публикуется веб-интерфейс

Проверьте spec.publicAccess и состояние кластера. При spec.publicAccess: false используйте внутренний доступ или измените настройку.

При spec.publicAccess: true дождитесь состояния Ready и получите адрес из status.apiServerURL по инструкции Открыть веб-интерфейс. Если адрес не появляется или недоступен, передайте администратору установки имя кластера, пространство имен и сообщение об ошибке.

Удаление не завершаетсяУдаление не завершается

Удаление кластера включает удаление его данных и автоматически созданных бакетов и может занять время. Если состояние Deleting долго не меняется, передайте администратору установки результат команды kubectl describe airflowcluster <имя_кластера> -n <пространство_имен>.

Не отключайте компонент Managed Service for Apache Airflow™ до завершения удаления всех кластеров.