Настроить Connections в Apache Airflow™

Connection хранит параметры подключения DAG к базе данных, хранилищу или другому сервису. Инструкция описывает веб-интерфейс Apache Airflow™ 3.1.8 и подключения, сохраненные в базе метаданных кластера.

Перед началомПеред началом

1. Откройте веб-интерфейс с учетной записью администратора Apache Airflow™ или пользователя с правами на Connections.
2. Подготовьте адрес сервиса, учетные данные и разрешения на нужные операции в этом сервисе.
3. Убедитесь, что установлен пакет provider для выбранного типа подключения. Например, для PostgreSQL нужен apache-airflow-providers-postgres. Если нужного типа нет в форме, добавьте пакет и дождитесь готовности кластера.

Создать подключениеСоздать подключение

1. В левом меню Apache Airflow™ выберите Admin → Connections.

2. Нажмите Add Connection.

3. Заполните:

   • Connection ID — уникальный идентификатор, на который будет ссылаться код DAG, например analytics_db.
   • Connection Type — тип внешнего сервиса, например Postgres для PostgreSQL.
   • Поля подключения: Host, Port, Login, Password и другие поля, доступные для выбранного типа. Для подключения к PostgreSQL в Database укажите имя базы данных.
   • Description — описание назначения подключения, если требуется.

4. Если provider требует дополнительные настройки, задайте их в Extra Fields или Extra Fields JSON. Состав настроек зависит от provider; например, здесь могут задаваться параметры TLS.

5. Нажмите Save и найдите созданный Connection в списке по Connection ID.

6. В коде DAG укажите этот идентификатор в параметре подключения выбранного оператора или hook. Например, для PostgresHook используется postgres_conn_id="analytics_db".

7. Запустите DAG, который обращается к сервису, и проверьте логи задачи.

Кнопка Test Connection может быть отключена настройками Apache Airflow™ или недоступна для выбранного provider. Успешный тест из интерфейса не заменяет проверку задачи: сетевой доступ и окружение выполнения могут отличаться.

Подробнее о полях и проверке подключения — в документации Apache Airflow™.

Изменить подключениеИзменить подключение

1. Откройте Admin → Connections и найдите нужный Connection ID.
2. Нажмите кнопку с карандашом Edit Connection в строке подключения.
3. Измените нужные параметры и нажмите Save. Замаскированные поля со значением *** оставьте без изменения, если не требуется заменить сохраненные данные.
4. Выполните новый запуск использующего подключение DAG или повторите упавшую задачу.

Удалить подключениеУдалить подключение

1. Убедитесь, что Connection больше не используется нужными DAG. При необходимости сохраните настройки.
2. В Admin → Connections найдите подключение и нажмите кнопку удаления в его строке.
3. Проверьте идентификатор в окне подтверждения и нажмите Delete.

Удаление Connection не удаляет внешний сервис или его данные. Задачи, которые продолжают обращаться к этому идентификатору, могут завершиться с ошибкой.

Сохранить подключения перед удалением кластераСохранить подключения перед удалением кластера

В интерфейсе Connections версии 3.1.8 нет операции экспорта. Используйте экспорт и восстановление через CLI: он сохраняет подключения из базы метаданных, включая пароли.

Connections из переменных окружения или внешнего хранилища секретов не отображаются в этом списке. Настроенные платформой подключения для синхронизации DAG и хранения логов задаются в конфигурации кластера, а не на странице Connections. Подробнее — в описании видимости подключений.