Разработка Telegram-бота для распознавания текста на изображениях, синтеза и распознавания аудио

В этом руководстве вы создадите бота для Telegram, который умеет:

• синтезировать речь из текста сообщения и распознавать речь в голосовых сообщениях с помощью Python SDK сервиса Yandex SpeechKit;
• распознавать текст на изображениях с помощью сервиса Yandex Vision OCR.

Аутентификация в сервисах Yandex Cloud выполняется от имени сервисного аккаунта с помощью IAM-токена. IAM-токен содержится в контексте обработчика функции, которая программирует диалог пользователя с ботом.

Запросы от бота будет принимать API-шлюз Yandex API Gateway и перенаправлять их функции Yandex Cloud Functions для обработки.

Чтобы создать бота:

1. Подготовьте облако к работе.
2. Подготовьте ресурсы.
3. Зарегистрируйте Telegram-бота.
4. Создайте функцию.
5. Создайте API-шлюз.
6. Свяжите функцию и бота.
7. Протестируйте бота.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки Telegram-бота входят:

• плата за использование SpeechKit (см. тарифы для SpeechKit);
• плата за использование Vision OCR (см. тарифы для Vision OCR);
• плата за количество вызовов функции, вычислительные ресурсы, выделенные для выполнения функции, и исходящий трафик (см. тарифы для Cloud Functions);
• плата за количество запросов к созданному API-шлюзу и исходящий трафик (см. тарифы API Gateway).

Подготовьте ресурсыПодготовьте ресурсы

1. Создайте сервисный аккаунт с именем recognizer-bot-sa и назначьте ему роли ai.editor, functions.editor на ваш каталог.

2. Скачайте архив с пакетом FFmpeg для корректной работы Python SDK SpeechKit в среде выполнения функции.

3. Извлеките из архива бинарные файлы ffmpeg, ffprobe и сделайте их исполняемыми, выполнив команды:

   chmod +x ffmpeg
   chmod +x ffprobe
   

4. Подготовьте ZIP-архив с кодом функции:

   1. Создайте файл index.py и добавьте в него указанный ниже код.

      index.py

      import logging
      import requests
      import telebot
      import json
      import os
      import base64
      from speechkit import model_repository, configure_credentials, creds
      from speechkit.stt import AudioProcessingType
      
      
      folder_id = ""
      iam_token = ''
      
      # Эндпоинт сервиса распознавания изображений и данные для аутентификации
      
      API_TOKEN = os.environ['TELEGRAM_TOKEN']
      vision_url = 'https://ocr.api.yandexcloud.kz/ocr/v1/recognizeText'
      
      # Добавление папки с ffmpeg в системный PATH
      
      path = os.environ.get("PATH")
      os.environ["PATH"] = path + ':/function/code'
      
      logger = telebot.logger
      telebot.logger.setLevel(logging.INFO)
      bot = telebot.TeleBot(API_TOKEN, threaded=False)
      
      # Получение идентификатора каталога
      
      def get_folder_id(iam_token, version_id):
          headers = {'Authorization': f'Bearer {iam_token}'}
          function_id_req = requests.get(f'https://serverless-functions.api.yandexcloud.kz/functions/v1/versions/{version_id}',
                                         headers=headers)
          function_id_data = function_id_req.json()
          function_id = function_id_data['functionId']
          folder_id_req = requests.get(f'https://serverless-functions.api.yandexcloud.kz/functions/v1/functions/{function_id}',
                                       headers=headers)
          folder_id_data = folder_id_req.json()
          folder_id = folder_id_data['folderId']
          return folder_id
      
      def process_event(event):
          request_body_dict = json.loads(event['body'])
          update = telebot.types.Update.de_json(request_body_dict)
      
          bot.process_new_updates([update])
      
      def handler(event, context):
          global iam_token, folder_id
          iam_token = context.token["access_token"]
          version_id = context.function_version
          folder_id = get_folder_id(iam_token, version_id)
      
          # Аутентификация в SpeechKit через IAM-токен
          configure_credentials(
              yandex_credentials=creds.YandexCredentials(
                  iam_token=iam_token
              )
          )
      
          process_event(event)
          return {
              'statusCode': 200
          }
      
      # Обработчики команд и сообщений
      
      @bot.message_handler(commands=['help', 'start'])
      def send_welcome(message):
          bot.reply_to(message,
                       "Бот умеет:\n* распознавать текст с картинок;\n* генерировать голосовые сообщения из текста;\n* переводить голосовые сообщения в текст.")
      
      @bot.message_handler(func=lambda message: True, content_types=['text'])
      def echo_message(message):
          export_path = '/tmp/audio.ogg'
          synthesize(message.text, export_path)
          with open(export_path, 'rb') as voice:
              bot.send_voice(message.chat.id, voice)
      
      @bot.message_handler(func=lambda message: True, content_types=['voice'])
      def echo_audio(message):
          file_id = message.voice.file_id
          file_info = bot.get_file(file_id)
          downloaded_file = bot.download_file(file_info.file_path)
          response_text = audio_analyze(downloaded_file)
          bot.reply_to(message, response_text)
      
      @bot.message_handler(func=lambda message: True, content_types=['photo'])
      def echo_photo(message):
          file_id = message.photo[-1].file_id
          file_info = bot.get_file(file_id)
          downloaded_file = bot.download_file(file_info.file_path)
          image_data = base64.b64encode(downloaded_file).decode('utf-8')
          response_text = image_analyze(vision_url, iam_token, folder_id, image_data)
          bot.reply_to(message, response_text)
      
      # Распознавание изображения
      
      def image_analyze(vision_url, iam_token, folder_id, image_data):
          response = requests.post(vision_url, headers={'Authorization': 'Bearer '+iam_token, 'x-folder-id': folder_id}, json={
              "mimeType": "image",
              "languageCodes": ["en", "ru"],
              "model": "page",
              "content": image_data
              })
          blocks = response.json()['result']['textAnnotation']['blocks']
          text = ''
          for block in blocks:
              for line in block['lines']:
                  for word in line['words']:
                      text += word['text'] + ' '
                  text += '\n'
          return text
      
      # Распознавание речи
      
      def audio_analyze(audio_data):
          model = model_repository.recognition_model()
      
          # Настройки распознавания
          model.model = 'general'
          model.language = 'ru-RU'
          model.audio_processing_type = AudioProcessingType.Full
      
          result = model.transcribe(audio_data)
          speech_text = [res.normalized_text for res in result]
          return ' '.join(speech_text)
      
      # Синтез речи
      
      def synthesize(text, export_path):
          model = model_repository.synthesis_model()
      
          # Настройки синтеза
          model.voice = 'kirill'
      
          result = model.synthesize(text, raw_format=False)
          result.export(export_path, 'ogg')
      

   2. Создайте файл requirements.txt и укажите в нем библиотеку для работы с ботом и библиотеку Python SDK.

      pyTelegramBotAPI==4.27
      yandex-speechkit==1.5.0
      

   3. Добавьте в ZIP-архив index.zip файлы index.py, requirements.txt, ffmpeg и ffprobe.

5. Создайте бакет Object Storage и загрузите в него созданный ZIP-архив.

Зарегистрируйте Telegram-ботаЗарегистрируйте Telegram-бота

Зарегистрируйте бота в Telegram и получите токен.

1. Запустите бота BotFather и отправьте ему команду:

   /newbot
   

2. В поле name укажите имя создаваемого бота. Это имя увидят пользователи при общении с ботом.

3. В поле username укажите имя пользователя создаваемого бота. По имени пользователя можно будет найти бота в Telegram. Имя пользователя должно оканчиваться на ...Bot или ..._bot.

   В результате вы получите токен. Сохраните его — он потребуется в дальнейшем.

Создайте функциюСоздайте функцию

Создайте функцию, которая будет обрабатывать действия пользователей в чате.

Создайте API-шлюзСоздайте API-шлюз

Сервер Telegram будет оповещать ваш бот о поступлении новых сообщений с помощью веб-хука. API-шлюз будет принимать запросы на стороне бота и перенаправлять их функции for-recognizer-bot для обработки.

Настройте связь между функцией и Telegram-ботомНастройте связь между функцией и Telegram-ботом

Установите веб-хук для вашего Telegram-бота:

curl --request POST \
  --url https://api.telegram.org/bot<токен_бота>/setWebhook \
  --header 'content-type: application/json' \ 
  --data '{"url": "<домен_API-шлюза>/for-recognizer-bot-function"}'

Где:

• <токен_бота> — токен Telegram-бота.
• <домен_API-шлюза> — служебный домен API-шлюза recognizer-bot-api-gw.

Результат:

{"ok":true,"result":true,"description":"Webhook was set"}

Протестируйте ботаПротестируйте бота

Поговорите с ботом:

1. Откройте Telegram и найдите бота по указанному имени пользователя username.

2. Отправьте в чат сообщение /start.

   Бот должен ответить:

   Бот умеет:
   
   * распознавать текст с картинок;
   * генерировать голосовые сообщения из текста;
   * переводить голосовые сообщения в текст.
   

3. Отправьте в чат текстовое сообщение. Бот ответит голосовым сообщением, синтезированным из вашего текста.

4. Отправьте в чат голосовое сообщение. Бот ответит сообщением с текстом, распознанным из вашей речи.

5. Отправьте в чат изображение с текстом. Бот ответит сообщением с распознанным текстом.

   Примечание

   Изображение должно соответствовать требованиям.

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

• удалите API-шлюз API Gateway;
• удалите функцию Cloud Functions.