Передача событий Yandex Cloud Postbox в Yandex Data Streams и их анализ с помощью Yandex DataLens

1. В консоли управления выберите каталог, в котором вы создаете инфраструктуру.

2. В списке сервисов выберите Identity and Access Management и в списке сервисных аккаунтов выберите postbox-user. В открывшемся окне:

   1. На панели сверху нажмите кнопку Создать новый ключ и выберите Создать статический ключ доступа.

   2. Нажмите кнопку Создать.

   3. Сохраните идентификатор и секретный ключ.

      Внимание

      После закрытия диалога значение ключа будет недоступно.

1. В консоли управления выберите каталог, в котором вы создаете инфраструктуру.
2. В списке сервисов выберите Managed Service for YDB и нажмите кнопку Создать базу данных.
3. В поле Имя укажите postbox-events-ydb.
4. В поле Тип базы данных выберите Serverless.
5. Другие параметры базы данных оставьте без изменений и нажмите кнопку Создать базу данных.

Дождитесь запуска БД. В процессе создания база данных будет находиться в статусе Provisioning, а когда станет готова к использованию, ее статус изменится на Running.

1. На странице Базы данных выберите вновь созданную БД postbox-events-ydb.

2. Чтобы открыть корневую директорию БД, перейдите на вкладку Навигация.

3. Чтобы создать запрос к БД, в правом верхнем углу нажмите кнопку Новый SQL-запрос.

4. В открывшемся поле Запрос введите:

   CREATE TABLE postbox_events
   (
       saved_datetime Datetime NOT NULL,
       eventid String NOT NULL,
       eventtype String,
       mail_timestamp Timestamp,
       mail_messageid String,
       mail_ch_from String,
       mail_ch_to String, 
       mail_ch_messageid String,
       mail_ch_subject String,
       delivery_timestamp Timestamp,
       delivery_time_ms Uint64,
       delivery_recipients String,
       bounce_bounceType String,
       bounce_bounceSubType String,
       bounce_bouncedRecipients String,
       bounce_timestamp Timestamp,
       -- message Json,
       PRIMARY KEY (saved_datetime, eventid)
   )
   

5. Нажмите кнопку Выполнить.

   В результате выполнения запроса в базе данных появится новая таблица postbox_events.

1. В консоли управления выберите каталог, в котором вы создаете инфраструктуру.
2. В списке сервисов выберите Data Streams и нажмите кнопку Создать поток.
3. В поле База данных выберите созданную ранее базу данных postbox-events-ydb.
4. В поле Имя укажите имя потока данных postbox-events-stream.
5. В поле Режим тарификации выберите По фактическому использованию.
6. Другие параметры потока данных оставьте без изменений и нажмите кнопку Создать.

1. В консоли управления выберите каталог, в котором вы создаете инфраструктуру.

2. В списке сервисов выберите Cloud Postbox.

3. На панели слева выберите Конфигурации и нажмите кнопку Создать конфигурацию.

4. В поле Имя укажите имя конфигурации postbox-events-config.

5. В блоке Подписки нажмите кнопку Добавить и в появившейся форме:

   1. В поле Название укажите название подписки postbox-events-subscribe.
   2. В поле Поток данных выберите поток данных postbox-events-stream.
   3. Включите опцию Включено, чтобы активировать подписку.

6. Другие параметры конфигурации оставьте без изменений и нажмите кнопку Создать конфигурацию.

1. В консоли управления выберите каталог, в котором находятся адрес и ваша доменная зона.

   Если у вас еще нет публичной зоны DNS, создайте ее.

2. Выберите сервис Cloud DNS.

3. Выберите вашу доменную зону.

4. Нажмите кнопку Создать запись.

5. В поле Имя укажите часть имени, сгенерированного при создании адреса, без домена в формате <селектор>._domainkey. Например postbox._domainkey.

   Примечание

   Для других DNS-сервисов может потребоваться скопировать запись целиком. Итоговая запись должна иметь вид <селектор>._domainkey.<домен>., например postbox._domainkey.example.com..

6. В поле Тип выберите TXT.

7. В поле Значение скопируйте содержимое поля Значение из блока Подтверждение подписи. Обратите внимание, что значение записи нужно взять в кавычки, например:

   "v=DKIM1;h=sha256;k=rsa;p=M1B...aCA8"
   

8. Нажмите кнопку Создать.

9. Перейдите в сервис Cloud Postbox.

10. Выберите созданный адрес.

11. Нажмите кнопку Проверить адрес. Если запись верна, статус проверки на странице адреса изменится на Success.

Ответы DNS-сервера кешируются, поэтому возможны задержки при обновлении ресурсной записи.

Скачайте архив postbox-events.zip на свой компьютер. В архиве находятся файлы index.py и requirements.txt, содержащие код функции.

1. В консоли управления выберите каталог, в котором вы создаете инфраструктуру.

2. В списке сервисов выберите Managed Service for YDB.

3. Выберите базу данных, для которой нужно получить эндпоинт и путь.

   • Эндпоинт БД указан в блоке Соединение в первой части значения поля Эндпоинт (часть до вхождения /?database=):

     Например, эндпоинт для БД в режиме Serverless — grpcs://ydb.serverless.yandexcloud.net:2135.

   • Путь БД указан в блоке Соединение во второй части значения поля Эндпоинт (часть после вхождения /?database=).

     Пример пути БД: /ru-central1/b1gia87mbaom********/etnudu2n9ri3********.

1. В консоли управления выберите каталог, в котором вы создаете инфраструктуру.

2. В списке сервисов выберите Cloud Functions.

3. Создайте функцию:

   1. Нажмите кнопку Создать функцию.
   2. В поле Имя введите имя функции. Например, postbox-events-function.
   3. Нажмите кнопку Создать.

4. Создайте версию функции:

   1. В открывшемся окне Редактор выберите Python 3.12.

   2. Отключите опцию Добавить файлы с примерами кода.

   3. Нажмите кнопку Продолжить.

   4. В поле Способ выберите ZIP-архив.

   5. Нажмите кнопку Прикрепить файл и выберите архив postbox-events.zip.

   6. В поле Точка входа укажите index.handler.

   7. В блоке Параметры укажите:

      • Таймаут — 10 секунд.

      • Память — 128 МБ.

      • Сервисный аккаунт — yds-functions.

      • Переменные окружения:

        Ключ	Описание	Пример значения
        YDB_DATABASE	Путь БД	/ru-central1/b1go123e9vjq********/etnu15kr22********
        YDB_ENDPOINT	Эндпоинт БД	grpcs://ydb.serverless.yandexcloud.net:2135
        YDB_TABLE	Имя таблицы	postbox_events

   8. Нажмите кнопку Сохранить изменения.

1. В консоли управления выберите каталог, в котором вы создаете инфраструктуру.
2. В списке сервисов выберите Cloud Functions.
3. На панели слева выберите Триггеры и нажмите кнопку Создать триггер.
4. В поле Имя введите имя триггера postbox-events-trigger.
5. В поле Тип выберите Data Streams.
6. В поле Запускаемый ресурс выберите Функция.
7. В блоке Настройки Data Streams выберите поток данных postbox-events-stream и сервисный аккаунт yds-functions.
8. В блоке Настройки функции выберите функцию postbox-events-function и сервисный аккаунт yds-functions.
9. Нажмите кнопку Создать триггер.

1. Перейдите на главную страницу DataLens.

2. На панели слева выберите Подключения и нажмите кнопку Создать подключение.

3. Выберите коннектор YDB.

4. Укажите параметры подключения:

   • Облако и каталог — выберите каталог, в котором выполняете руководство.
   • Сервисный аккаунт — yds-functions.
   • База данных — postbox-events-ydb.
   • Время жизни кеша в секундах — По умолчанию.
   • Включите опцию Уровень доступа SQL запросов и выберите Разрешить подзапросы в датасетах.

5. Нажмите кнопку Создать подключение.

6. В открывшемся окне выберите воркбук, в котором будет создано подключение, и нажмите кнопку Создать.

7. Введите имя подключения postbox-events-connection и нажмите Создать.

1. Перейдите на главную страницу DataLens.
2. На панели слева выберите Датасеты и нажмите кнопку Создать датасет.
3. В открывшемся окне выберите воркбук, в котором вы создали подключение, и нажмите кнопку Создать.
4. В блоке Подключения нажмите Добавить и выберите созданное ранее подключение postbox-events-connection.
5. В блоке Таблицы выберите таблицу postbox-events и перетащите ее вправо.
6. Нажмите кнопку Сохранить.
7. В открывшемся окне укажите имя датасета postbox-events-dataset и нажмите Создать.

1. Перейдите на главную страницу DataLens.

2. На панели слева выберите Чарты, нажмите кнопку Создать чарт и выберите Чарт в Wizard.

3. В открывшемся окне выберите воркбук, в котором вы создали подключение, и нажмите кнопку Создать.

4. В секции слева нажмите Выберите датасет и выберите postbox-events-dataset.

5. Выберите тип чарта Столбчатая диаграмма.

6. Перетащите измерения:

   • delivery_timestamp в секцию X — по оси X будут расположены даты;
   • eventid в секцию Y — значение по оси Y будет соответствовать количеству событий;
   • eventtype в секцию Цвета — типы событий будут выделены на диаграмме разными цветами.

7. Нажмите кнопку Сохранить.

8. В открывшемся окне укажите имя чарта Количество событий по дням и нажмите Сохранить.

1. Перейдите на главную страницу DataLens.

2. На панели слева выберите Чарты, нажмите кнопку Создать чарт и выберите Чарт в Wizard.

3. В открывшемся окне выберите воркбук, в котором вы создали подключение, и нажмите кнопку Создать.

4. В секции слева нажмите Выберите датасет и выберите postbox-events-dataset.

5. Выберите тип чарта Таблица.

6. Перетащите следующие измерения в секцию Столбцы:

   • saved_datetime — дата и время сохранения события;
   • eventid — тип события;
   • mail_ch_to — адрес получателя;
   • delivery_timestamp — дата и время доставки письма;
   • delivery_time_ms — время доставки в миллисекундах;
   • mail_ch_subject — тема письма;
   • bounce_bounceType — тип ошибки доставки;
   • bounce_bounceSubType — сообщение недоставки.

7. Перетащите измерение delivery_timestamp в секцию Сортировка, чтобы отсортировать таблицу по времени доставки.

8. Нажмите кнопку Сохранить.

9. В открывшемся окне укажите имя чарта Список событий и нажмите Сохранить.

1. Перейдите на главную страницу DataLens.

2. На панели слева выберите Дашборды и нажмите кнопку Создать дашборд.

3. В открывшемся окне выберите воркбук, в котором вы создали подключение, и нажмите кнопку Создать.

4. Добавьте на дашборд чарты Количество событий по дням, Список событий и другие, которые вы создали ранее:

   1. На нижней панели нажмите Чарт.
   2. В открывшемся окне нажмите кнопку Выбрать и выберите чарт Количество событий по дням.
   3. Нажмите кнопку Добавить.
   4. Повторите действия, чтобы добавить на дашборд чарт Список событий и (при необходимости) другие чарты.

5. С помощью мыши измените размер и положение чартов.

6. Нажмите кнопку Сохранить.

7. В открывшемся окне введите название дашборда postbox-events-dashboard.

8. Нажмите кнопку Создать.