Создать коннектор для Data Streams

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

1. Посмотрите описание команды CLI для создания коннектора:

   yc serverless eventrouter connector create data-stream --help
   

2. Создайте коннектор для Data Streams:

   yc serverless eventrouter connector create data-stream \
     --bus-id <идентификатор_шины> \
     --database <путь_к_БД>
     --stream-name <имя_потока>
     --consumer <имя_потребителя>
     --service-account-id <идентификатор_сервисного_аккаунта> \
     --name <имя_коннектора> \
     --description "<описание_коннектора>" \
     --labels <список_меток> \
     --deletion-protection
   

   Где:

   • --bus-id — идентификатор шины EventRouter.

   • --database — путь к базе данных Yandex Managed Service for YDB, указанной в настройках потока данных, например /kz1/b1gia87mbaom********/etnudu2n9ri3********.

   • --stream-name — имя потока данных.

   • --consumer — имя выделенного потребителя данных.

   • --service-account-id — идентификатор сервисного аккаунта, у которого есть права на чтение из потока данных.

   • --name — имя коннектора. Требования к имени:

     • Длина — от 3 до 63 символов.
     • Может содержать строчные и заглавные буквы латинского и русского алфавита, цифры, дефисы, подчеркивания и пробелы.
     • Первый символ должен быть буквой. Последний символ не может быть дефисом, подчеркиванием или пробелом.

   • --description — описание коннектора. Необязательный параметр.

   • --labels — список меток. Необязательный параметр.

     Можно указать одну или несколько меток через запятую в формате <ключ1>=<значение1>,<ключ2>=<значение2>.

   • --deletion-protection — защита от удаления коннектора. По умолчанию защита выключена. Пока опция включена, удалить коннектор невозможно. Чтобы отключить защиту от удаления, укажите параметр --no-deletion-protection. Необязательный параметр.

   Результат:

   id: f66g6jcnc5no********
   bus_id: f66qn4p7uk6p********
   folder_id: b1g681qpemb4********
   cloud_id: b1gia87mbaom********
   created_at: "2025-02-21T10:53:25.994124Z"
   name: yds-via-cli
   description: created via cli
   labels:
     interface: yccli
     owner: admin
   source:
     data_stream:
       database: /kz1/b1gia87mbaom********/etntd0p5tauu********
       stream_name: my-ydb-flow
       consumer: consumer-one
       service_account_id: ajelprpohp7r********
   deletion_protection: true
   status: RUNNING
   

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать коннектор для Data Streams:

1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

   resource "yandex_serverless_eventrouter_connector" "example_connector" {
     bus_id              = "<идентификатор_шины>"
     name                = "<имя_коннектора>"
     description         = "<описание_коннектора>"
     deletion_protection = <true|false>
   
     labels = {
       <ключ_1> = "<значение_1>"
       <ключ_2> = "<значение_2>"
       ...
       <ключ_n> = "<значение_n>"
     }
   
     ymq {
       database           = "<путь_к_БД>"
       stream_name        = "<имя_потока>"
       consumer           = "<имя_потребителя>"
       service_account_id = "<идентификатор_сервисного_аккаунта>"
     }
   }
   

   Где:

   • bus_id — идентификатор шины EventRouter.

   • name — имя коннектора. Требования к имени:

     • Длина — от 3 до 63 символов.
     • Может содержать строчные и заглавные буквы латинского и русского алфавита, цифры, дефисы, подчеркивания и пробелы.
     • Первый символ должен быть буквой. Последний символ не может быть дефисом, подчеркиванием или пробелом.

   • description — описание коннектора. Необязательный параметр.

   • deletion_protection — защита от удаления коннектора: true или false. Пока опция включена, удалить коннектор невозможно. Необязательный параметр.

   • labels — список меток. Метки задаются в формате <ключ> = "<значение>". Необязательный параметр.

   • database — путь к базе данных Yandex Managed Service for YDB, указанной в настройках потока данных, например /kz1/b1gia87mbaom********/etnudu2n9ri3********.

   • stream_name — имя потока данных.

   • consumer — имя выделенного потребителя данных.

   • service_account_id — идентификатор сервисного аккаунта, у которого есть права на чтение из потока данных.

   Более подробную информацию о параметрах ресурса yandex_serverless_eventrouter_connector см. в документации провайдера.

2. Создайте ресурсы:

   1. В терминале перейдите в папку, где вы отредактировали конфигурационный файл.

   2. Проверьте корректность конфигурационного файла с помощью команды:

      terraform validate
      

      Если конфигурация является корректной, появится сообщение:

      Success! The configuration is valid.
      

   3. Выполните команду:

      terraform plan
      

      В терминале будет выведен список ресурсов с параметрами. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

   4. Примените изменения конфигурации:

      terraform apply
      

   5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

   Terraform создаст все требуемые ресурсы. Проверить появление ресурсов можно в консоли управления или с помощью команды CLI:

   yc serverless eventrouter connector list
   

Чтобы создать коннектор для Data Streams, воспользуйтесь методом REST API Create для ресурса connector или вызовом gRPC API connector/Create.