Разработка Telegram-бота для распознавания текста на изображениях, синтеза и распознавания аудио

В этом руководстве вы создадите бота для Telegram, который умеет:

• синтезировать речь из текста сообщения с помощью API v1 сервиса Yandex SpeechKit;
• распознавать речь в голосовых сообщениях и преобразовывать ее в текст с помощью с помощью API синхронного распознавания сервиса Yandex SpeechKit;
• распознавать текст на изображениях с помощью сервиса Yandex Vision OCR.

Запросы от бота будет принимать API-шлюз Yandex API Gateway и перенаправлять их функции Yandex Cloud Functions для обработки.

Чтобы создать бота:

1. Подготовьте облако к работе.
2. Подготовьте ресурсы.
3. Зарегистрируйте Telegram-бота.
4. Создайте функцию.
5. Создайте API-шлюз.
6. Свяжите функцию и бота.
7. Протестируйте бота.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки Telegram-бота входят:

• плата за использование SpeechKit (см. тарифы для SpeechKit);
• плата за использование Vision OCR (см. тарифы для Vision OCR);
• плата за количество вызовов функции, вычислительные ресурсы, выделенные для выполнения функции, и исходящий трафик (см. тарифы для Cloud Functions);
• плата за количество запросов к созданному API-шлюзу и исходящий трафик (см. тарифы API Gateway).

Подготовьте ресурсыПодготовьте ресурсы

1. Создайте сервисный аккаунт с именем recognizer-bot-sa и назначьте ему роли ai.editor, functions.editor на ваш каталог.

2. Подготовьте ZIP-архив с кодом функции:

   1. Создайте файл index.py и добавьте в него указанный ниже код.

      index.py

      import logging
      import requests
      import telebot
      import json
      import os
      import base64
      
      # Эндпоинты сервисов и данные для аутентификации
      
      API_TOKEN = os.environ['TELEGRAM_TOKEN']
      vision_url = 'https://ocr.api.cloud.yandex.net/ocr/v1/recognizeText'
      speechkit_url = 'https://stt.api.cloud.yandex.net/speech/v1/stt:recognize'
      speechkit_synthesis_url = 'https://tts.api.cloud.yandex.net/speech/v1/tts:synthesize'
      folder_id = ""
      iam_token = ''
      
      logger = telebot.logger
      telebot.logger.setLevel(logging.INFO)
      bot = telebot.TeleBot(API_TOKEN, threaded=False)
      
      # Получение идентификатора каталога
      
      def get_folder_id(iam_token, version_id):
      
          headers = {'Authorization': f'Bearer {iam_token}'}
          function_id_req = requests.get(f'https://serverless-functions.api.cloud.yandex.net/functions/v1/versions/{version_id}',
                                         headers=headers)
          function_id_data = function_id_req.json()
          function_id = function_id_data['functionId']
          folder_id_req = requests.get(f'https://serverless-functions.api.cloud.yandex.net/functions/v1/functions/{function_id}',
                                       headers=headers)
          folder_id_data = folder_id_req.json()
          folder_id = folder_id_data['folderId']
          return folder_id
      
      def process_event(event):
      
          request_body_dict = json.loads(event['body'])
          update = telebot.types.Update.de_json(request_body_dict)
      
          bot.process_new_updates([update])
      
      def handler(event, context):
          global iam_token, folder_id
          iam_token = context.token["access_token"]
          version_id = context.function_version
          folder_id = get_folder_id(iam_token, version_id)
          process_event(event)
          return {
              'statusCode': 200
          }
      
      # Обработчики команд и сообщений
      
      @bot.message_handler(commands=['help', 'start'])
      def send_welcome(message):
          bot.reply_to(message,
                       "Бот умеет:\n*распознавать текст с картинок;\n* генерировать голосовые сообщения из текста;\n* переводить голосовые сообщения в текст.")
      
      @bot.message_handler(func=lambda message: True, content_types=['text'])
      def echo_message(message):
          global iam_token, folder_id
          with open('/tmp/audio.ogg', "wb") as f:
              for audio_content in synthesize(folder_id, iam_token, message.text):
                  f.write(audio_content)
          voice = open('/tmp/audio.ogg', 'rb')
          bot.send_voice(message.chat.id, voice)
      
      @bot.message_handler(func=lambda message: True, content_types=['voice'])
      def echo_audio(message):
          file_id = message.voice.file_id
          file_info = bot.get_file(file_id)
          downloaded_file = bot.download_file(file_info.file_path)
          response_text = audio_analyze(speechkit_url, iam_token, folder_id, downloaded_file)
          bot.reply_to(message, response_text)
      
      @bot.message_handler(func=lambda message: True, content_types=['photo'])
      def echo_photo(message):
          file_id = message.photo[-1].file_id
          file_info = bot.get_file(file_id)
          downloaded_file = bot.download_file(file_info.file_path)
          image_data = base64.b64encode(downloaded_file).decode('utf-8')
          response_text = image_analyze(vision_url, iam_token, folder_id, image_data)
          bot.reply_to(message, response_text)
      
      # Распознавание изображения
      
      def image_analyze(vision_url, iam_token, folder_id, image_data):
          response = requests.post(vision_url, headers={'Authorization': 'Bearer '+iam_token, 'x-folder-id': folder_id}, json={
              "mimeType": "image",
              "languageCodes": ["en", "ru"],
              "model": "page",
              "content": image_data
              })
          blocks = response.json()['result']['textAnnotation']['blocks']
          text = ''
          for block in blocks:
              for line in block['lines']:
                  for word in line['words']:
                      text += word['text'] + ' '
                  text += '\n'
          return text
      
      # Распознавание речи
      
      def audio_analyze(speechkit_url, iam_token, folder_id, audio_data):
          headers = {'Authorization': f'Bearer {iam_token}'}
          params = {
              "topic": "general",
              "folderId": f"{folder_id}",
              "lang": "ru-RU"}
      
          audio_request = requests.post(speechkit_url, params=params, headers=headers, data=audio_data)
          responseData = audio_request.json()
          response = 'error'
          if responseData.get("error_code") is None:
              response = (responseData.get("result"))
          return response
      
      # Синтез речи
      
      def synthesize(folder_id, iam_token, text):
         headers = {
             'Authorization': 'Bearer ' + iam_token,
         }
      
         data = {
             'text': text,
             'lang': 'ru-RU',
             'voice': 'filipp',
             'folderId': folder_id
         }
      
         with requests.post(speechkit_synthesis_url, headers=headers, data=data, stream=True) as resp:
             if resp.status_code != 200:
                 raise RuntimeError("Invalid response received: code: %d, message: %s" % (resp.status_code, resp.text))
      
             for chunk in resp.iter_content(chunk_size=None):
                 yield chunk
      

   2. Создайте файл requirements.txt и укажите в нем библиотеку для работы с ботом.

      telebot
      

   3. Добавьте оба файла в ZIP-архив index.zip.

Зарегистрируйте Telegram-ботаЗарегистрируйте Telegram-бота

Зарегистрируйте бота в Telegram и получите токен.

1. Запустите бота BotFather и отправьте ему команду:

   /newbot
   

2. В поле name укажите имя создаваемого бота. Это имя увидят пользователи при общении с ботом.

3. В поле username укажите имя пользователя создаваемого бота. По имени пользователя можно будет найти бота в Telegram. Имя пользователя должно оканчиваться на ...Bot или ..._bot.

   В результате вы получите токен. Сохраните его — он потребуется в дальнейшем.

Создайте функциюСоздайте функцию

Создайте функцию, которая будет обрабатывать действия пользователей в чате.

Создайте API-шлюзСоздайте API-шлюз

Сервер Telegram будет оповещать ваш бот о поступлении новых сообщений с помощью веб-хука. API-шлюз будет принимать запросы на стороне бота и перенаправлять их функции for-recognizer-bot для обработки.

Настройте связь между функцией и Telegram-ботомНастройте связь между функцией и Telegram-ботом

Установите веб-хук для вашего Telegram-бота:

curl --request POST \
  --url https://api.telegram.org/bot<токен_бота>/setWebhook \
  --header 'content-type: application/json' \ 
  --data '{"url": "<домен_API-шлюза>/for-recognizer-bot-function"}'

Где:

• <токен_бота> — токен Telegram-бота.
• <домен_API-шлюза> — служебный домен API-шлюза recognizer-bot-api-gw.

Результат:

{"ok":true,"result":true,"description":"Webhook was set"}

Протестируйте ботаПротестируйте бота

Поговорите с ботом:

1. Откройте Telegram и найдите бота по указанному имени пользователя username.

2. Отправьте в чат сообщение /start.

   Бот должен ответить:

   Бот умеет:
   
   * распознавать текст с картинок;
   * генерировать голосовые сообщения из текста;
   * переводить голосовые сообщения в текст.
   

3. Отправьте в чат текстовое сообщение. Бот ответит голосовым сообщением, синтезированным из вашего текста.

4. Отправьте в чат голосовое сообщение. Бот ответит сообщением с текстом, распознанным из вашей речи.

5. Отправьте в чат изображение с текстом. Бот ответит сообщением с распознанным текстом.

   Примечание

   Изображение должно соответствовать требованиям.

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

• удалите API-шлюз API Gateway;
• удалите функцию Cloud Functions.