Регулярное распознавание изображений и PDF-документов из бакета Object Storage

В этом руководстве вы с помощью Yandex Vision OCR настроите автоматическое распознавание изображений в поддерживаемых форматах и PDF-документов, регулярно загружаемых в бакет Yandex Object Storage.

Процесс распознаванияПроцесс распознавания

1. Пользователь загружает изображения или документы в бакет Yandex Object Storage, в директорию (префикс) input.
2. Триггер Yandex Cloud Functions запускается по таймеру и проверяет наличие файлов в папке input. После этого файлы отправляются на распознавание в контейнер Yandex Serverless Containers.
3. Идет процесс распознавания файлов, идентификатор операции сохраняется в папке process в исходном бакете.
4. После успешного завершения операции, результаты распознавания сохраняются в папке result в виде JSON и TXT файлов. Идентификатор успешно выполненной операции удаляется из папки process.

Для создания инфраструктуры используется Terraform-провайдер Yandex Cloud. Исходный код руководства доступен на GitHub.

Чтобы настроить автоматическое распознавание изображения с помощью Vision OCR:

1. Подготовьте облако к работе.
2. Создайте инфраструктуру.
3. Загрузите файлы для распознавания и проверьте работу сервиса.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры для регулярного распознавания изображений и документов входят:

• плата за хранение данных в бакете и операции с ними (см. тарифы Object Storage);
• плата за использование Vision OCR (см. тарифы для Vision OCR);
• плата за количество вызовов контейнера, вычислительные ресурсы, выделенные для выполнения приложения, и исходящий трафик (см. тарифы Serverless Containers);
• плата за хранение и операции с секретом (см. тарифы Yandex Lockbox).

Создайте инфраструктуруСоздайте инфраструктуру

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Для создания инфраструктуры с помощью Terraform:

1. Установите Terraform, получите данные для аутентификации и укажите источник для установки провайдера Yandex Cloud (раздел Настройте провайдер, шаг 1).

2. Подготовьте файлы с описанием инфраструктуры:

   1. Клонируйте репозиторий с конфигурационными файлами.

      git clone https://github.com/yandex-cloud-examples/yc-vision-ocr-recognizer.git
      

   2. Перейдите в директорию terraform внутри репозитория.

   3. В файле variables.auto.tfvars задайте пользовательские параметры:

      • cloud_id — идентификатор облака.
      • folder_id — идентификатор каталога.
      • zone — зона доступности.

3. Создайте ресурсы:

   1. В терминале перейдите в папку, где вы отредактировали конфигурационный файл.

   2. Проверьте корректность конфигурационного файла с помощью команды:

      terraform validate
      

      Если конфигурация является корректной, появится сообщение:

      Success! The configuration is valid.
      

   3. Выполните команду:

      terraform plan
      

      В терминале будет выведен список ресурсов с параметрами. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

   4. Примените изменения конфигурации:

      terraform apply
      

   5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

Будет создан бакет с именем в формате ocr-recognition-....

Загрузите файлы для распознавания и проверьте работу сервисаЗагрузите файлы для распознавания и проверьте работу сервиса

1. Загрузите файлы для распознавания в папку input внутри бакета, созданного ранее.
2. Откройте в бакете папку result — там должны отобразиться результаты распознавания в виде файлов с расширением .txt и .json.

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

1. Удалите файлы из бакета.

2. Откройте конфигурационный файл main.tf и удалите описание создаваемой инфраструктуры из файла.

3. Примените изменения:

   1. В терминале перейдите в папку, где вы отредактировали конфигурационный файл.

   2. Проверьте корректность конфигурационного файла с помощью команды:

      terraform validate
      

      Если конфигурация является корректной, появится сообщение:

      Success! The configuration is valid.
      

   3. Выполните команду:

      terraform plan
      

      В терминале будет выведен список ресурсов с параметрами. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

   4. Примените изменения конфигурации:

      terraform apply
      

   5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.