Автоматическая загрузка данных в Yandex SpeechSense с помощью Yandex Workflows

Вы можете настроить автоматическую загрузку файлов с диалогами и их метаданными из бакета Object Storage в пространство SpeechSense. Поддерживаемые форматы:

• MP3, WAV, OggOpus — для аудиозаписей;
• JSON — для переписки из чата.

На схеме:

1. Триггер для Object Storage отслеживает появление новых JSON-файлов с метаданными в выделенной папке бакета или любой из ее подпапок.
2. Когда в папке появляются новые файлы, триггер вызывает функцию workflow-call, которая запускает рабочий процесс Workflows.
3. Рабочий процесс получает содержимое JSON-файлов с метаданными и проверяет их синтаксис с помощью функции verify-file.
4. Рабочий процесс получает параметры подключения SpeechSense из секрета Yandex Lockbox.
5. Путь к аудиозаписи или текстовому файлу, а также их метаданные передаются в функцию загрузки speechsense-upload.
6. Функция speechsense-upload загружает файлы и их метаданные в пространство SpeechSense.
7. Во время выполнения рабочий процесс обращается к БД с метаданными:
   1. Логируются ошибки синтаксиса в файлах с метаданными.
   2. Логируются ошибки синтаксиса записей в файлах с метаданными.
   3. Проводится проверка на дубликаты: перед вызовом функции speechsense-upload проверяется, загружен ли уже файл в это пространство SpeechSense.
   4. Логируются ошибки функции speechsense-upload.
   5. При успешной загрузке файла логируются его метаданные и уникальный идентификатор в пространстве SpeechSense.
8. Сервис WebSQL позволяет получить доступ к БД с метаданными. Для просмотра используется один пользователь БД, а для загрузки файлов — другой.

Настроить автоматическую загрузку данных можно сразу для нескольких подключений SpeechSense.

Чтобы автоматизировать загрузку данных в SpeechSense:

1. Подготовьте облако к работе.
2. Создайте инфраструктуру для загрузки файлов.
3. Создайте секрет Yandex Lockbox.
4. Создайте модель данных в кластере Managed Service for PostgreSQL.
5. Создайте в бакете Object Storage папки для хранения файлов и их метаданных.
6. Подготовьте метаданные.
7. Загрузите файлы в бакет Object Storage.
8. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость ресурсов входят:

• плата за хранение данных в бакете и операции с ними (см. тарифы Yandex Object Storage);
• плата за использование кластера (см. тарифы Yandex Managed Service for PostgreSQL);
• плата за вызовы функций (см. тарифы Yandex Cloud Functions);
• плата за хранение секрета и запросы к нему (см. тарифы Yandex Lockbox).

Создайте сервисные аккаунтыСоздайте сервисные аккаунты

Создайте два сервисных аккаунта:

• deploy-sa — от его имени будет создаваться инфраструктура.

• speechsense-sa — от его имени будут вызываться функции и запускаться рабочий процесс.

Создайте API-ключ для сервисного аккаунтаСоздайте API-ключ для сервисного аккаунта

Создайте API-ключ для сервисного аккаунта speechsense-sa.

yc iam api-key create \
  --service-account-name speechsense-sa \
  > api_key.yaml

api_key:
  id: ajeke74kbp5b********
  service_account_id: ajepg0mjt06s********
  created_at: "2019-04-09T08:41:27Z"
secret: AQVN1HHJReSrfo9jU3aopsXrJyfq_UHs********

export SERVICEACCOUNT_ID=<идентификатор_сервисного_аккаунта>
export IAM_TOKEN=<токен>
curl \
  --request POST \
  --header "Content-Type: application/json" \
  --header "Authorization: Bearer $IAM_TOKEN" \
  --data "{ \"serviceAccountId\": \"$SERVICEACCOUNT_ID\" }" \
  https://iam.api.cloud.yandex.net/iam/v1/apiKeys

Создайте пространствоСоздайте пространство

Добавьте сервисный аккаунт в пространствоДобавьте сервисный аккаунт в пространство

Добавьте сервисный аккаунт speechsense-sa в пространство SpeechSense.

Создайте подключениеСоздайте подключение

В зависимости от типа файлов, которые будут загружаться в SpeechSense, создайте подключение для аудио или для чата.

Создайте подключение для аудиоСоздайте подключение для аудио

Создайте подключение для чатаСоздайте подключение для чата

Создайте проектСоздайте проект

Создайте инфраструктуруСоздайте инфраструктуру

1. Склонируйте репозиторий yc-serverless-speechsense-workflows:

   git clone https://github.com/yandex-cloud-examples/yc-serverless-speechsense-workflows.git
   

   В репозитории находится скрипт, который создаст в облаке инфраструктуру, необходимую для загрузки файлов в SpeechSense:

   • бакет Object Storage;
   • кластер Managed Service for PostgreSQL;
   • функции Cloud Functions;
   • триггер для вызова функции Cloud Functions;
   • рабочий процесс Workflows;
   • подключения к базе данных кластера Managed Service for PostgreSQL.

2. Для успешной работы скрипта настройте аутентификацию Yandex Cloud CLI от имени сервисного аккаунта deploy-sa:

   Yandex Cloud CLI

   1. Создайте авторизованный ключ для сервисного аккаунта deploy-sa и запишите его в файл:

      yc iam key create --output <путь_к_файлу_ключа> --service-account-name deploy-sa
      

      Где --output — путь к файлу для записи авторизованного ключа в формате JSON.

      Результат:

      id: aje4lue48687********
      service_account_id: ajeb9l33h6m********
      created_at: "2024-08-01T11:58:52.313177213Z"
      key_algorithm: RSA_2048
      

      Подробнее о команде yc iam key create см. в справочнике CLI.

   2. Создайте профиль, который будет использоваться для выполнения операций от имени сервисного аккаунта deploy-sa:

      yc config profile create <имя_профиля>
      

   3. Укажите в конфигурации профиля авторизованный ключ сервисного аккаунта deploy-sa:

      yc config set service-account-key <путь_к_файлу_ключа>
      

3. Перейдите в папку с репозиторием и запустите скрипт:

   Bash

   cd deploy && bash deploy.sh
   

   В командной строке введите идентификатор каталога, имя сервисного аккаунта speechsense-sa, от которого будут вызываться функции и запускаться рабочий процесс, и имя бакета.

   Примерное время выполнения скрипта — 10-15 минут.

Создайте секретСоздайте секрет

yc lockbox secret create --name speechsense-secret \
  --payload "[{'key': 'speechsense_api_key', 'text_value': '<API-ключ>'},{'key': 'speechsense_connection_id', 'text_value': '<идентификатор_подключения>'}, {'key': 'speechsense_file_format', 'text_value': '<формат_файлов>'}]"

id: e6q2ad0j9b55********
folder_id: b1gktjk2rg49********
created_at: "2021-11-08T19:23:00.383Z"
name: speechsense-secret
status: ACTIVE
current_version:
  id: g6q4fn3b6okj********
  secret_id: e6e2ei4u9b55********
  created_at: "2023-03-21T19:23:00.383Z"
  status: ACTIVE
  payload_entry_keys:
    - speechsense_api_key
    - speechsense_connection_id
    - speechsense_file_format

Создайте модель данныхСоздайте модель данных

1. В папке с репозиторием откройте файл pg_metadata.sql.

2. В блоке, отвечающем за вставку данных в таблицу public.source_system, укажите значения параметров:

   insert into public.source_system(source_system_id, lockbox_secret_id, source_system_desc)
   values ('<идентификатор_источника>', '<идентификатор_секрета>', '<описание_источника>');
   

   Где:

   • source_system_id — идентификатор источника данных, который будет использоваться в метаданных. Укажите любое уникальное строковое значение. Например: 000001.
   • lockbox_secret_id — идентификатор секрета Yandex Lockbox, созданного ранее. Например: e6qigo0vbci2********.
   • source_system_desc — описание источника данных. Например: Загрузка данных телефонии.

3. Скопируйте содержимое файла pg_metadata.sql и выполните получившийся запрос c помощью сервиса WebSQL:

   Консоль управления

   1. Перейдите на страницу каталога и выберите сервис Managed Service for PostgreSQL.
   2. Нажмите на имя кластера, созданного ранее. По умолчанию это speechsense-upload-metadata.
   3. Выберите вкладку WebSQL.
   4. Нажмите на имя подключения, которое заканчивается на -uploader.
   5. На странице сервиса WebSQL нажмите на имя БД — uploader.
   6. Вставьте запрос в редактор и нажмите кнопку Выполнить.

Создайте папки для хранения файлов и их метаданныхСоздайте папки для хранения файлов и их метаданных

В созданном ранее бакете Object Storage создайте две папки:

• client_data — для файлов с диалогами.
• client_metadata — для файлов с метаданными.

Папки не должны быть вложены одна в другую.

yc storage s3api put-object \
  --bucket <имя_бакета> \
  --key <имя_папки>/

etag: '"d41d8cd98f00b204e9800998********"'
request_id: ba96231*********

aws s3api put-object \
  --endpoint-url=https://storage.yandexcloud.net \
  --bucket <имя_бакета>
  --key <имя_папки>/

{
"ETag": "\"d41d8cd98f00b204e9800998********\""
}

Подготовьте метаданныеПодготовьте метаданные

Чтобы загрузить файл в SpeechSense, подготовьте его метаданные в формате JSON. Например:

{
  "source_system_id": "000001",
  "bucket_folder": "bucket://client_data",
  "metadata": [
    {
      "id": "my_audio.ogg",
      "operator_id": "42",
      "operator_name": "Иван Петров",
      "client_id": "327142",
      "client_name": "Петр Иванов",
      "date": "2024-08-30T19:32:11Z",
      "direction_outgoing": "0",
      "language": "RU",
      "file_name": "my_audio.ogg"
    }
  ]
}

Где:

• Параметры, которые используются функцией speechsense-upload для загрузки файлов:

  • source_system_id — идентификатор источника данных, указанный в таблице public.source_system.

  • bucket_folder — путь к созданной ранее папке для аудиозаписей или текстовых файлов.

  • file_name — имя файла, который будет загружен.

• Параметры, обязательные для передачи в SpeechSense:

  • id — идентификатор файла, уникальный для пространства SpeechSense.

  • operator_id — идентификатор оператора.

  • operator_name — имя оператора.

  • client_id — идентификатор клиента

  • client_name — имя клиента.

  • date — дата и время звонка в формате YYYY-MM-DDTHH:MM:SSZ.

  • direction_outgoing — направление звонка. 0 — для исходящего звонка, 1 — для входящего.

  • language — язык диалога. RU — для русского языка.

• Дополнительные параметры для аналитики в SpeechSense:

  • cpn_region_id — идентификатор региона.

  • cpn_region_name — название региона.

  cpn_region_id и cpn_region_name использованы в качестве примера. Дополнительные параметры могут быть другими.

Метаданные могут содержать одну запись или массив из нескольких записей.

Загрузите файлыЗагрузите файлы

Загрузите файлы с диалогами в папку client_data, а JSON-файлы с метаданными — в папку client_metadata.

Если файлов больше 1000, не используйте для загрузки консоль управления.

yc storage s3api put-object \
  --body <путь_к_загружаемому_файлу> \
  --bucket <имя_бакета> \
  --key <имя_папки>/<имя_файла>

etag: '"d41d8cd98f00b204e980099********"'
request_id: 3f2705f********

aws --endpoint-url=https://storage.yandexcloud.net/ \
  s3 cp <путь_к_загружаемому_файлу> s3://<имя_бакета>/<имя_папки>/<имя_файла>

aws --endpoint-url=https://storage.yandexcloud.net/ \
  s3 cp --recursive <путь_к_директории_с_загружаемыми_файлами>/ s3://<имя_бакета>/<имя_папки>/

upload: <имя_файла> to <путь_к_файлу_в_бакете>

Проверьте результатПроверьте результат

Чтобы проверить выполнение рабочего процесса:

Чтобы проверить, что файлы загрузились в SpeechSense:

Удалите ресурсыУдалите ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать.

1. Удалите объекты в бакете Object Storage и сам бакет.

2. Удалите кластер Managed Service for PostgreSQL.

3. Удалите триггер для вызова функции Cloud Functions.

4. Удалите функции Cloud Functions.

5. Удалите подключениe к базе данных кластера Managed Service for PostgreSQL:

   1. В консоли управления перейдите в каталог, в котором хотите удалить подключение.
   2. Выберите сервис Cloud Functions.
   3. На панели слева выберите Подключения к БД.
   4. В строке с подключением speechsense-upload-metadata-connection нажмите и выберите Удалить.
   5. В открывшемся окне нажмите Удалить.

6. Удалите рабочий процесс Workflows:

   1. В консоли управления перейдите в каталог, в котором хотите удалить рабочий процесс.
   2. Выберите сервис Serverless Integrations.
   3. На панели слева выберите Workflows.
   4. В строке с рабочим процессом wf-speechsense-upload нажмите и выберите Удалить.
   5. В открывшемся окне нажмите Удалить.