Создать триггер для Message Queue, который передает сообщения в функцию Cloud Functions

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id. Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы создать триггер, который вызывает функцию, выполните команду:

yc serverless trigger create message-queue \
  --name <имя_триггера> \
  --queue <идентификатор_очереди> \
  --queue-service-account-id <идентификатор_сервисного_аккаунта> \
  --invoke-function-id <идентификатор_функции> \
  --invoke-function-service-account-id <идентификатор_сервисного_аккаунта> \
  --batch-size <размер_группы_сообщений> \
  --batch-cutoff <максимальное_время_ожидания>

Где:

• --name — имя триггера.

• --queue — идентификатор очереди.

  Чтобы узнать идентификатор очереди:

  1. В консоли управления перейдите в каталог, в котором находится очередь.
  2. Перейдите в сервис Message Queue.
  3. Выберите очередь.
  4. Идентификатор очереди будет в блоке Общая информация, в поле ARN.

• --invoke-function-id — идентификатор функции.

• --queue-service-account-name — идентификатор сервисного аккаунта с правами на чтение из очереди сообщений.

• --invoke-function-service-account-id — идентификатор сервисного аккаунта с правами на вызов функции.

• --batch-size — размер группы сообщений. Необязательный параметр. Допустимые значения от 1 до 1000, значение по умолчанию — 1.

• --batch-cutoff — максимальное время ожидания. Необязательный параметр. Допустимые значения от 0 до 20 секунд, значение по умолчанию — 10 секунд. Триггер группирует сообщения не дольше batch-cutoff и отправляет их в функцию. Число сообщений при этом не превышает batch-size.

Результат:

id: dd0cspdch6**********
folder_id: aoek49ghmk**********
created_at: "2019-08-28T12:14:45.762915Z"
name: ymq-trigger
rule:
  message_queue:
    queue_id: yrn:yc:ymq:ru-central1:aoek49ghmk**********:my-mq
    service_account_id: bfbqqeo6jk**********
    batch_settings:
      size: "1"
      cutoff: 10s
    invoke_function:
      function_id: b09e5lu91t**********
      function_tag: $latest
      service_account_id: bfbqqeo6j**********
status: ACTIVE

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробная информация о ресурсах провайдера в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы управлять инфраструктурой с помощью Terraform от имени сервисного аккаунта или пользовательских аккаунтов: аккаунта на Яндексе, федеративного аккаунта и локального пользователя, аутентифицируйтесь соответствующим способом.

Чтобы создать триггер для Message Queue:

1. Опишите в конфигурационном файле параметры триггера:

   resource "yandex_function_trigger" "my_trigger" {
     name        = "<имя_триггера>"
     description = "<описание_триггера>"
     function {
       id                 = "<идентификатор_функции>"
       service_account_id = "<идентификатор_сервисного_аккаунта>"
     }
     message_queue {
       queue_id           = "<идентификатор_очереди>"
       service_account_id = "<идентификатор_сервисного_аккаунта>"
       batch_size         = "<размер_группы_сообщений>"
       batch_cutoff       = "<максимальное_время_ожидания>"
   }
   

   Где:

   • name — имя триггера. Формат имени:

     • длина — от 3 до 63 символов;
     • может содержать строчные буквы латинского алфавита, цифры и дефисы;
     • первый символ — буква, последний — не дефис.

   • description — описание триггера.

   • function — параметры функции:

     • id — идентификатор функции.
     • service_account_id — идентификатор сервисного аккаунта с правами на вызов функции.

   • message_queue — параметры триггера:

     • queue_id — идентификатор очереди сообщений.

       Чтобы узнать идентификатор очереди:

       1. В консоли управления перейдите в каталог, в котором находится очередь.
       2. Перейдите в сервис Message Queue.
       3. Выберите очередь.
       4. Идентификатор очереди будет в блоке Общая информация, в поле ARN.

     • service_account_id — идентификатор сервисного аккаунта с правами на чтение из очереди сообщений.

     • batch_size — размер группы сообщений. Необязательный параметр. Допустимые значения от 1 до 1000, значение по умолчанию — 1.

     • batch_cutoff — максимальное время ожидания. Необязательный параметр. Допустимые значения от 0 до 20 секунд, значение по умолчанию — 10 секунд. Триггер группирует сообщения не дольше batch-cutoff и отправляет их в функцию. Число сообщений при этом не превышает batch-size.

   Подробнее о параметрах ресурса yandex_function_trigger в документации провайдера.

2. Создайте ресурсы:

   1. В терминале перейдите в директорию с конфигурационным файлом.

   2. Проверьте корректность конфигурации с помощью команды:

      terraform validate
      

      Если конфигурация является корректной, появится сообщение:

      Success! The configuration is valid.
      

   3. Выполните команду:

      terraform plan
      

      В терминале будет выведен список ресурсов с параметрами. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

   4. Примените изменения конфигурации:

      terraform apply
      

   5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

   Terraform создаст все требуемые ресурсы. Проверить появление ресурсов можно в консоли управления или с помощью команды CLI:

   yc serverless trigger list
   

Чтобы создать триггер для Yandex Message Queue, воспользуйтесь методом REST API create для ресурса Trigger или вызовом gRPC API TriggerService/Create.

Проверьте, что количество сообщений в очереди уменьшается. Для этого посмотрите статистику очереди:

1. Перейдите в сервис Message Queue.
2. Выберите очередь, для которой создали триггер.
3. Перейдите в раздел Мониторинг. Посмотрите график Сообщений в очереди.