Передача событий Yandex Cloud Postbox в Yandex Data Streams и их анализ с помощью Yandex DataLens

1. В консоли управления выберите нужный каталог.
2. В списке сервисов выберите Identity and Access Management.
3. Нажмите кнопку Создать сервисный аккаунт.
4. Введите имя сервисного аккаунта: yds-functions.
5. Нажмите кнопку Добавить роль и выберите роли yds.editor и functions.functionInvoker.
6. Нажмите кнопку Создать.

1. В консоли управления выберите нужный каталог.
2. Выберите сервис Managed Service for YDB.
3. Нажмите кнопку Создать базу данных.
4. Укажите Имя БД postbox-events-ydb.
5. В блоке Тип базы данных выберите Serverless.
6. Нажмите кнопку Создать базу данных.

Дождитесь запуска БД. В процессе создания БД будет иметь статус Provisioning, а когда станет готова к использованию, статус изменится на Running.

1. На странице Базы данных выберите БД postbox-events-ydb.

2. Чтобы открыть корневую директорию БД, перейдите на вкладку Навигация.

3. Чтобы создать запрос к БД, в правом верхнем углу нажмите кнопку Новый SQL-запрос. Откроется страница Запрос.

4. В поле Запрос введите:

   CREATE TABLE postbox_events
   (
       saved_datetime Datetime NOT NULL,
       eventid String NOT NULL,
       eventtype String,
       mail_timestamp Timestamp,
       mail_messageid String,
       mail_ch_from String,
       mail_ch_to String, 
       mail_ch_messageid String,
       mail_ch_subject String,
       delivery_timestamp Timestamp,
       delivery_time_ms Uint64,
       delivery_recipients String,
       bounce_bounceType String,
       bounce_bounceSubType String,
       bounce_bouncedRecipients String,
       bounce_timestamp Timestamp,
       -- message Json,
       PRIMARY KEY (saved_datetime, eventid)
   )
   

5. Нажмите кнопку Выполнить.

   После выполнения запроса появится таблица postbox_events.

1. В консоли управления выберите сервис Data Streams.
2. Нажмите кнопку Создать поток.
3. Укажите базу данных postbox-events-ydb.
4. Введите имя потока данных postbox-events-stream.
5. Выберите режим тарификации По фактическому использованию.
6. Нажмите кнопку Создать.

Дождитесь запуска потока данных. Когда поток станет готов к использованию, его статус изменится с Creating на Active.

1. В консоли управления выберите каталог, в котором находятся адрес и ваша доменная зона.

   Если у вас еще нет публичной зоны DNS, создайте ее.

2. Выберите сервис Cloud DNS.

3. Выберите вашу доменную зону.

4. Нажмите кнопку Создать запись.

5. В поле Имя укажите часть имени, сгенерированного при создании адреса, без домена в формате <селектор>._domainkey. Например postbox._domainkey.

   Примечание

   Для других DNS-сервисов может потребоваться скопировать запись целиком. Итоговая запись должна иметь вид <селектор>._domainkey.<домен>., например postbox._domainkey.example.com..

6. В поле Тип выберите TXT.

7. В поле Значение скопируйте содержимое поля Значение из блока Подтверждение подписи. Обратите внимание, что значение записи нужно взять в кавычки, например:

   "v=DKIM1;h=sha256;k=rsa;p=M1B...aCA8"
   

8. Нажмите кнопку Создать.

9. Перейдите в сервис Cloud Postbox.

10. Выберите созданный адрес.

11. Нажмите кнопку Проверить адрес. Если запись верна, статус проверки на странице адреса изменится на Success.

Ответы DNS-сервера кешируются, поэтому возможны задержки при обновлении ресурсной записи.

1. В консоли управления выберите сервис Cloud Postbox.

2. На панели слева выберите Конфигурации.

3. Нажмите кнопку Создать конфигурацию.

4. Введите имя конфигурации postbox-events-config.

5. В блоке Подписки нажмите Добавить:

   1. Введите название подписки postbox-events-subscribe.
   2. Выберите поток данных postbox-events-stream.
   3. Включите опцию Включено, чтобы активировать подписку.

6. Нажмите кнопку Создать конфигурацию.

Скачайте архив postbox-events.zip на свой компьютер. В архиве находятся файлы index.py и requirements.txt, содержащие код функции.

1. Перейдите в консоль управления.

2. Выберите каталог с вашей БД и перейдите в сервис Managed Service for YDB.

3. Выберите базу данных, для которой нужно получить эндпоинт и путь.

   • Эндпоинт БД указан в блоке Соединение в первой части значения поля Эндпоинт (часть до вхождения /?database=):

     Например, эндпоинт для БД в режиме Serverless — grpcs://ydb.serverless.yandexcloud.net:2135.

   • Путь БД указан в блоке Соединение во второй части значения поля Эндпоинт (часть после вхождения /?database=).

     Пример пути БД: /ru-central1/b1gia87mbaom********/etnudu2n9ri3********.

1. В консоли управления выберите сервис Cloud Functions.

2. Создайте функцию:

   1. Нажмите кнопку Создать функцию.
   2. В поле Имя введите имя функции. Например, postbox-events-function.
   3. Нажмите кнопку Создать.

3. Создайте версию функции:

   1. В открывшемся окне Редактор выберите Python 3.12.

   2. Отключите опцию Добавить файлы с примерами кода.

   3. Нажмите кнопку Продолжить.

   4. В поле Способ выберите ZIP-архив.

   5. Нажмите кнопку Прикрепить файл и выберите архив postbox-events.zip.

   6. В поле Точка входа укажите index.handler.

   7. В блоке Параметры укажите:

      • Таймаут — 10.

      • Память — 128 МБ.

      • Сервисный аккаунт — yds-functions.

      • Переменные окружения:

        Ключ	Описание	Пример значения
        YDB_DATABASE	Путь БД	/ru-central1/b1go123e9vjq********/etnu15kr22********
        YDB_ENDPOINT	Эндпоинт БД	grpcs://ydb.serverless.yandexcloud.net:2135
        YDB_TABLE	Имя таблицы	postbox_events

   8. Нажмите кнопку Сохранить изменения.

1. В консоли управления выберите сервис Cloud Functions.
2. На панели слева выберите Триггеры.
3. Нажмите кнопку Создать триггер.
4. В поле Имя введите имя триггера. Например, postbox-events-trigger.
5. В поле Тип выберите Data Streams.
6. В поле Запускаемый ресурс выберите Функция.
7. В блоке Настройки Data Streams выберите поток данных postbox-events-stream и сервисный аккаунт yds-functions.
8. В блоке Настройки функции выберите функцию postbox-events-function и сервисный аккаунт yds-functions.
9. Нажмите кнопку Создать триггер.

1. Перейдите на главную страницу DataLens.

2. Нажмите кнопку Создать подключение.

3. Выберите коннектор YDB.

4. Укажите параметры подключения:

   • Облако и каталог — выберите каталог, в котором выполняете руководство.
   • Сервисный аккаунт — yds-functions.
   • База данных — postbox-events-ydb.
   • Время жизни кеша в секундах — По умолчанию.
   • Уровень доступа SQL запросов — Разрешить подзапросы из датасетов и запросы из чартов.

5. Нажмите кнопку Создать подключение.

6. Введите имя подключения postbox-events-connection и нажмите Создать.

1. Перейдите на главную страницу DataLens.
2. Нажмите кнопку Создать датасет.
3. На панели слева нажмите Добавить.
4. Выберите подключение postbox-events-connection.
5. В меню слева выберите таблицу postbox-events и перетащите ее вправо.
6. Нажмите кнопку Сохранить.
7. В открывшемся окне укажите имя датасета postbox-events-dataset и нажмите Создать.

1. Перейдите на главную страницу DataLens.

2. Нажмите кнопку Создать чарт.

3. На панели слева нажмите Выберите датасет и выберите postbox-events-dataset.

4. Выберите тип чарта Столбчатая диаграмма.

5. Перетащите измерения:

   • delivery_timestamp в секцию X — по оси X будут расположены даты;
   • eventid в секцию Y — значение по оси Y будет соответствовать количеству событий;
   • eventtype в секцию Цвета — типы событий будут выделены на диаграмме разными цветами.

6. Нажмите кнопку Сохранить.

7. В открывшемся окне укажите имя чарта Количество событий по дням и нажмите Сохранить.

1. Перейдите на главную страницу DataLens.

2. Нажмите кнопку Создать чарт.

3. На панели слева нажмите Выберите датасет и выберите postbox-events-dataset.

4. Выберите тип чарта Таблица.

5. Перетащите следующие измерения в секцию Столбцы:

   • saved_datetime — дата и время сохранения события;
   • eventid — тип события;
   • mail_ch_to — адрес получателя;
   • delivery_timestamp — дата и время доставки письма;
   • delivery_time_ms — время доставки в миллисекундах;
   • mail_ch_subject — тема письма;
   • bounce_bounceType — тип ошибки доставки;
   • bounce_bounceSubType — сообщение недоставки.

6. Перетащите измерение delivery_timestamp в секцию Сортировка, чтобы отсортировать таблицу по времени доставки.

7. Нажмите кнопку Сохранить.

8. В открывшемся окне укажите имя чарта Список событий и нажмите Сохранить.

1. Перейдите на главную страницу DataLens.

2. Нажмите кнопку Создать дашборд.

3. Добавьте на дашборд чарты Количество событий по дням, Список событий и другие, которые вы создали ранее:

   1. На нижней панели нажмите Чарт.
   2. В открывшемся окне в поле Чарт нажмите кнопку Выбрать и выберите Количество событий по дням.
   3. Нажмите кнопку Добавить.
   4. Повторите действия — добавьте другие чарты.

4. Измените размер и положение чартов.

5. Нажмите кнопку Сохранить.

6. В открывшемся окне введите название дашборда postbox-events-dashboard.

7. Нажмите кнопку Создать.