Общие вопросы про Managed Service for Apache Airflow™

Как исправить ошибку про пересечение диапазонов IP-адресов при создании кластера?Как исправить ошибку про пересечение диапазонов IP-адресов при создании кластера?

Во время создания кластера Managed Service for Apache Airflow™ вы можете получить ошибку:

user subnet overlaps with service network range 10.248.0.0/13, see documentation for details

Ошибка означает, что при создании кластера вы выбрали подсеть, диапазон IP-адресов которой пересекается с диапазоном адресов 10.248.0.0/13 служебной подсети. В ней Yandex Cloud управляет компонентами кластера Managed Service for Apache Airflow™.

Чтобы исправить ошибку, выберите другую подсеть, диапазон IP-адресов которой не пересекается с диапазоном служебной подсети. Подробнее о требованиях к подсетям кластера см. в разделе Сеть.

Как исправить ошибку отсутствия прав при подключении сервисного аккаунта к кластеру?Как исправить ошибку отсутствия прав при подключении сервисного аккаунта к кластеру?

Текст ошибки:

ERROR: rpc error: code = PermissionDenied desc = you do not have permission to access the requested service account or service account does not exist

Ошибка возникает, если вы создаете или изменяете кластер и привязываете к нему сервисный аккаунт.

Решение
Назначьте вашему аккаунту в Yandex Cloud роль iam.serviceAccounts.user или выше.

Как исправить ошибку ?Как исправить ошибку No module named 'airflow.providers.postgres.operators'?

При работе с кластером Yandex Managed Service for PostgreSQL из кластера Apache Airflow™ вы можете получить ошибку:

Broken DAG: [/opt/airflow/dags/postgre.py] Traceback (most recent call last):
  File "<frozen importlib._bootstrap>", line 488, in _call_with_frames_removed
  File "/opt/airflow/dags/postgre.py", line 2, in <module>
    from airflow.providers.postgres.operators.postgres import PostgresOperator
ModuleNotFoundError: No module named 'airflow.providers.postgres.operators'

По умолчанию используется провайдер apache-airflow-providers-postgres версии 5.13.1. Ошибка может возникать при использовании PostgresOperator с более новыми версиями провайдера.

Решение:

Если вы работаете с более новой версией провайдера, вместо PostgresOperator используйте SQLExecuteQueryOperator. Подробнее см. в официальной документации.

Как исправить ошибку ?Как исправить ошибку AirflowException: Unknown hook type "postgres"?

При работе с кластером Yandex Managed Service for PostgreSQL из кластера Apache Airflow™ вы можете получить ошибку:

Task failed with exception: source="task"
AirflowException: Unknown hook type "postgres"

По умолчанию в кластерах Yandex Managed Service for Apache Airflow™ с версией Apache Airflow™ выше 3.0 не установлен провайдер apache-airflow-providers-postgres.

Решение:

При создании или изменении кластера Managed Service for Apache Airflow™ в блоке Зависимости добавьте pip-пакет apache-airflow-providers-postgres.

Как исправить ошибку ?Как исправить ошибку No module named 'airflow_clickhouse_plugin'?

При работе с кластером Yandex Managed Service for ClickHouse® из кластера Apache Airflow™ вы можете получить ошибку:

Traceback (most recent call last):
  File "<frozen importlib._bootstrap>", line 488, in _call_with_frames_removed
  File "/opt/airflow/dags/dags/clickhouse.py", line 2, in <module>
    from airflow_clickhouse_plugin.hooks.clickhouse import ClickHouseHook
ModuleNotFoundError: No module named 'airflow_clickhouse_plugin'

По умолчанию в Yandex Managed Service for Apache Airflow™ не установлен плагин airflow-clickhouse-plugin.

Решение:

При создании или изменении кластера Managed Service for Apache Airflow™ в блоке Зависимости добавьте pip-пакет airflow-clickhouse-plugin.