Настройка SMTP-сервера для отправки уведомлений по электронной почте

Вы можете настроить SMTP-сервер для отправки уведомлений по электронной почте с помощью направленного ациклического графа (DAG). При этом параметры SMTP-сервера хранятся в конфигурации Apache Airflow™, а учетные данные отправителя — в секрете Yandex Lockbox.

В руководстве в качестве SMTP-сервера используется Яндекс Почта (smtp.yandex.ru). Для проверки отправки уведомлений используется DAG-файл, в котором задача намеренно завершается ошибкой. При возникновении ошибки отправляется уведомление на указанный в DAG-файле адрес электронной почты.

Перед отправкой уведомлений подготовьте почтовый ящик отправителя:

• разрешите доступ к почтовому ящику для почтовых клиентов;
• создайте пароль для внешних приложений.

Чтобы настроить SMTP-сервер для отправки уведомлений по электронной почте:

1. Подготовьте инфраструктуру.
2. Создайте секрет Yandex Lockbox.
3. Подготовьте DAG-файл и запустите граф.
4. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер Managed Service for Apache Airflow™: вычислительные ресурсы компонентов кластера (тарифы Managed Service for Apache Airflow™).
• Бакет Yandex Object Storage: использование хранилища и выполнение операций с данными (тарифы Object Storage).
• Секрет Yandex Lockbox: количество хранимых версий секрета и запросы к ним (тарифы Yandex Lockbox).

Подготовьте инфраструктуруПодготовьте инфраструктуру

1. Создайте сервисный аккаунт airflow-sa с ролями:

   • managed-airflow.integrationProvider;
   • lockbox.payloadViewer.

   Примечание

   Роль lockbox.payloadViewer не обязательно выдавать на весь каталог. Достаточно назначить ее на конкретный секрет Yandex Lockbox после его создания.

2. Создайте бакет Object Storage с произвольными настройками.

3. Отредактируйте ACL созданного бакета так, чтобы у сервисного аккаунта airflow-sa было разрешение READ.

4. Создайте кластер Managed Service for Apache Airflow™ с параметрами:

   • Сервисный аккаунт — airflow-sa;
   • Имя бакета — имя созданного бакета;
   • Использовать Lockbox Secret Backend — убедитесь, что эта опция включена.

   В блоке Конфигурация Airflow задайте дополнительные свойства Apache Airflow™ для настройки SMTP-сервера:

   Ключ	Значение
   smtp.smtp_host	smtp.yandex.ru
   smtp.smtp_port	465
   smtp.smtp_starttls	False
   smtp.smtp_ssl	True
   smtp.smtp_mail_from	<адрес_почты_отправителя>

   Заполните поля вручную или загрузите конфигурацию из файла. Чтобы загрузить конфигурацию из файла, нажмите кнопку Загрузить из файла и выберите способ загрузки Текст. В поле Содержимое скопируйте следующую конфигурацию:

   Конфигурация SMTP-сервера

   [smtp]
   smtp_host = smtp.yandex.ru
   smtp_port = 465
   smtp_starttls = False
   smtp_ssl = True
   smtp_mail_from = <адрес_почты_отправителя>
   

   Подробнее о параметрах для настройки SMTP-сервера читайте в документации Apache Airflow™.

5. Настройте NAT-шлюз для подсетей кластера Managed Service for Apache Airflow™.

Создайте секрет Yandex LockboxСоздайте секрет Yandex Lockbox

Создайте секрет Yandex Lockbox со следующими настройками:

• Имя — airflow/connections/smtp_default.

• Тип секрета — Пользовательский.

• Ключ — conn.

• Значение — выберите Текст и укажите следующее содержимое:

  {
    "conn_type": "smtp",
    "login": "<адрес_почты_отправителя>",
    "password": "<пароль_для_внешних_приложений>"
  }
  

Подготовьте DAG-файл и запустите графПодготовьте DAG-файл и запустите граф

1. Создайте локально файл с именем test_smtp_notification.py и скопируйте в него скрипт:

   from airflow.decorators import dag, task
   
   default_args = {
    "email": ["<адрес_почты_получателя>"],
    "email_on_failure": True,
    "email_on_retry": True
   }
   
   
   @dag(schedule=None, default_args=default_args)
   def test_smtp_notification():
       @task
       def failing_task():
           raise RuntimeError("some test error")
   
       failing_task()
   
   
   test_smtp_notification()
   

2. Загрузите DAG-файл test_smtp_notification.py в созданный ранее бакет. В результате одноименный граф появится в веб-интерфейсе Apache Airflow™ автоматически.

3. Откройте веб-интерфейс Apache Airflow™.

4. Убедитесь, что в разделе DAGs появился новый граф test_smtp_notification.

   Загрузка DAG-файла из бакета может занять несколько минут.

5. Чтобы запустить граф, в строке с его именем нажмите кнопку .

6. Дождитесь, когда задача завершится ошибкой. При этом на указанный адрес электронной почты отправится уведомление.

   Важно

   Если параметры SMTP-сервера, указанные в конфигурации Apache Airflow™, заданы неверно, уведомления отправляться не будут.

Проверьте результатПроверьте результат

Чтобы проверить результат в веб-интерфейсе Apache Airflow™ версии 2.11:

1. В разделе DAGs откройте граф test_smtp_notification.
2. Выберите задачу failing_task.
3. На диаграмме Task Instance Duration выберите нужный запуск задачи.
4. Перейдите на вкладку Logs.
5. Убедитесь, что в логах присутствует строка Sent an alert email to ['<адрес_почты_получателя>'].

Чтобы проверить результат в веб-интерфейсе Apache Airflow™ версии 3.1:

1. В разделе DAGs откройте граф test_smtp_notification.
2. Перейдите на вкладку Tasks и выберите задачу failing_task.
3. Перейдите на вкладку Task Instances и выберите нужный запуск задачи.
4. Перейдите на вкладку Logs.
5. Убедитесь, что в логах присутствует строка Sent an alert email to ['<адрес_почты_получателя>'].

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, чтобы не платить за них:

1. Сервисный аккаунт.
2. Бакет Object Storage.
3. Кластер Managed Service for Apache Airflow™.
4. Секрет Yandex Lockbox.