Передача данных из эндпоинта-источника MongoDB

1. Оцените общее количество баз данных для трансфера и общую нагрузку на MongoDB. Если нагрузка на базы выше 10 000 операций на запись в секунду, создайте несколько эндпоинтов и трансферов. Подробнее см. в разделе Передача данных из эндпоинта-источника MongoDB.

2. Если вы не планируете использовать для подключения к внешнему кластеру сервис Cloud Interconnect или VPN, разрешите подключения к такому кластеру из интернета с IP-адресов, используемых сервисом Data Transfer.

   Подробнее о настройке сети для работы с внешними ресурсами см. в концепции.

3. Убедитесь, что версия MongoDB на приемнике не ниже 4.0.

4. Убедитесь, что кластер MongoDB сконфигурирован таким образом, чтобы на запросы к нему он возвращал корректно разрешающиеся IP-адреса или FQDN (Fully Qualified Domain Name).

5. Настройте доступ к кластеру-источнику из Yandex Cloud. Чтобы настроить кластер-источник для подключения из интернета:

   1. Измените в конфигурационном файле значение настройки net.bindIp со 127.0.0.1 на 0.0.0.0:

      # network interfaces
      net:
        port: 27017
        bindIp: 0.0.0.0
      

   2. Перезапустите сервис mongod:

      sudo systemctl restart mongod.service
      

6. Если кластер-источник не использует репликацию, включите ее:

   1. Добавьте в конфигурационный файл /etc/mongod.conf настройки репликации:

      replication:
        replSetName: <имя_набора_реплик>
      

   2. Перезапустите сервис mongod:

      sudo systemctl restart mongod.service
      

   3. Подключитесь к MongoDB и инициализируйте набор реплик командой:

      rs.initiate({
          _id: "<имя_набора_реплик>",
          members: [{
              _id: 0,
              host: "<IP-адрес_который_слушает_MongoDB>:<порт>"
          }]
      });
      

7. Создайте пользователя с ролью readWrite на все базы в источнике, которые будут реплицироваться:

   use admin
   db.createUser({
       user: "<имя_пользователя>",
       pwd: "<пароль>",
       mechanisms: ["SCRAM-SHA-1"],
       roles: [
           {
               db: "<имя_базы-источника_1>",
               role: "readWrite"
           },
           {
               db: "<имя_базы-источника_2>",
               role: "readWrite"
           },
           ...
       ]
   });
   

   После старта трансфер подключится к источнику от имени этого пользователя. Роль readWrite нужна для того, чтобы у трансфера было право записи в служебную коллекцию __data_transfer.__dt_cluster_time.

   Примечание

   Для версий MongoDB, начиная с 3.6, достаточно выдать созданному пользователю роль read на реплицируемые базы.

8. При использовании MongoDB, начиная с версии 3.6, для работы трансфера необходимо, чтобы пользователь обладал правами на чтение коллекции local.oplog.rs, а также на запись с чтением коллекции __data_transfer.__dt_cluster_time. Чтобы назначить пользователю роль clusterAdmin, предоставляющую такие права, подключитесь к MongoDB и выполните команды:

   use admin;
   db.grantRolesToUser("<имя_пользователя>", ["clusterAdmin"]);
   

   Для выдачи более гранулярных прав можно назначить роль clusterMonitor, необходимую для чтения коллекции local.oplog.rs, а также дать доступ на чтение и запись системной коллекции __data_transfer.__dt_cluster_time.

• Тип эндпоинта — mongo-source.

• --cluster-id — идентификатор кластера, к которому необходимо подключиться.

• --database — имя базы данных.

• --user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• --security-group — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• Чтобы задать пароль пользователя для доступа к базе данных, используйте один из параметров:

  • --raw-password — пароль в текстовом виде.

  • --password-file — путь к файлу с паролем.

• Тип эндпоинта — mongo_source.

• connection.connection_options.mdb_cluster_id — идентификатор кластера, к которому необходимо подключиться.

• subnet_id — идентификатор подсети, в которой находится кластер. Трансфер будет использовать эту подсеть для доступа к кластеру. Если идентификатор не указан, то кластер должен быть доступен из интернета.

  Если значение в этом поле задано для обоих эндпоинтов, то обе подсети должны быть размещены в одной зоне доступности.

• security_groups — группы безопасности для сетевого трафика.

  Правила групп безопасности применяются к трансферу. Они позволяют открыть сетевой доступ с ВМ трансфера к кластеру. Подробнее см. в разделе Сеть в Yandex Data Transfer.

  Группы безопасности и подсеть subnet_id, если она указана, должны принадлежать той же сети, в которой размещен кластер.

  Примечание

  В Terraform сеть для групп безопасности задавать не нужно.

• auth_source — имя базы данных в кластере.

• connection.connection_options.user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• connection.connection_options.password.raw — пароль в текстовом виде.

Пример структуры конфигурационного файла:

resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
  name = "<имя_эндпоинта>"
  settings {
    mongo_source {
      security_groups = ["<список_идентификаторов_групп_безопасности>"]
      subnet_id       = "<идентификатор_подсети>"
      connection {
        connection_options {
          mdb_cluster_id = "<идентификатор_кластера>"
          auth_source    = "<имя_базы_данных>"
          user           = "<имя_пользователя>"
          password {
            raw = "<пароль_пользователя>"
          }
        }
      }
      <дополнительные_настройки_эндпоинта>
    }
  }
}

Подробнее см. в документации провайдера Terraform.

• securityGroups — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• mdbClusterId — идентификатор кластера, к которому необходимо подключиться.

• database — имя базы данных.

• user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• password.raw — пароль пользователя для доступа к базе данных (в текстовом виде).

• Тип эндпоинта — mongo-source.

• --host — IP-адрес или FQDN хоста-мастера, к которому необходимо подключиться.

• --port — номер порта, который сервис Data Transfer будет использовать для подключения.

• --ca-certificate — сертификат CA, если требуется шифрование передаваемых данных, например для соответствия требованиям PCI DSS.

  Важно

  Если не добавить сертификат, трансфер может завершиться ошибкой.

• --subnet-id — идентификатор подсети, в которой находится хост. Трансфер будет использовать эту подсеть для доступа к хосту.

• --database — имя базы данных.

• --user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• --security-group — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• Чтобы задать пароль пользователя для доступа к базе данных, используйте один из параметров:

  • --raw-password — пароль в текстовом виде.

  • --password-file — путь к файлу с паролем.

• Тип эндпоинта — mongo_source.

• on_premise.port — номер порта, который сервис Data Transfer будет использовать для подключения.

• connection.connection_options.on_premise.tls_mode.enabled.ca_certificate — сертификат CA, если требуется шифрование передаваемых данных, например, для соответствия требованиям PCI DSS.

  Важно

  Если не добавить сертификат, трансфер может завершиться ошибкой.

• subnet_id — идентификатор подсети, в которой находится кластер. Трансфер будет использовать эту подсеть для доступа к кластеру. Если идентификатор не указан, то кластер должен быть доступен из интернета.

  Если значение в этом поле задано для обоих эндпоинтов, то обе подсети должны быть размещены в одной зоне доступности.

• security_groups — группы безопасности для сетевого трафика.

  Правила групп безопасности применяются к трансферу. Они позволяют открыть сетевой доступ с ВМ трансфера к ВМ c базой данных. Подробнее см. в разделе Сеть в Yandex Data Transfer.

  Группы безопасности должны принадлежать той же сети, что и подсеть subnet_id, если она указана.

  Примечание

  В Terraform сеть для групп безопасности задавать не нужно.

• connection.connection_options.on_premise.replica_set — укажите имя набора реплик.

• connection.connection_options.on_premise.hosts — укажите IP-адреса или FQDN хостов, к которым необходимо подключиться.

• auth_source — имя базы данных в кластере.

• connection.connection_options.user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• connection.connection_options.password.raw — пароль в текстовом виде.

Пример структуры конфигурационного файла:

resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
  name = "<имя_эндпоинта>"
  settings {
    mongo_source {
      security_groups = ["<список_идентификаторов_групп_безопасности>"]
      subnet_id       = "<идентификатор_подсети>"
      connection {
        connection_options {
          on_premise {
            hosts       = [ "список хостов набора реплик" ]
            port        = "<порт_для_подключения>"
            replica_set = "<имя_набора_реплик>"
            tls_mode {
              enabled {
                ca_certificate = "<сертификат_в_формате_PEM>"
              }
            }
          }
          auth_source = "<имя_базы_данных>"
          user        = "<имя_пользователя>"
          password {
            raw = "<пароль_пользователя>"
          }
        }
      }
      <дополнительные_настройки_эндпоинта>
    }
  }
}

Подробнее см. в документации провайдера Terraform.

• onPremise — параметры подключения к базе данных:

  • hosts — IP-адрес или FQDN хоста-мастера, к которому необходимо подключиться.

  • port — номер порта, который сервис Data Transfer будет использовать для подключения.

  • tlsMode — параметры шифрования передаваемых данных, если оно требуется, например для соответствия требованиям PCI DSS.

    • disabled — отключено.
    • enabled — включено

      • caCertificate — сертификат CA.

        Важно

        Если не добавить сертификат, трансфер может завершиться ошибкой.

  • subnetId — идентификатор подсети, в которой находится хост. Трансфер будет использовать эту подсеть для доступа к хосту.

• securityGroups — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• database — имя базы данных.

• user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• password.raw — пароль пользователя для доступа к базе данных (в текстовом виде).

• --include-collection — будут передаваться данные только из перечисленных коллекций. Значения указываются в формате <имя_базы_данных>.<имя_коллекции>. По умолчанию передаются все коллекции.

  Добавление новых коллекций при редактировании эндпоинта, использующегося в трансферах типа Копирование и репликация или Репликация в статусе Реплицируется, не приведет к загрузке истории данных по этим коллекциям. Чтобы добавить коллекцию с ее историческими данными, используйте поле Список объектов для переноса в настройках трансфера.

• --exclude-collection — будут передаваться данные из всех коллекций, кроме указанных. Значения указываются в формате <имя_базы_данных>.<имя_коллекции>.

• --prefer-secondary — задайте значение true для этого параметра, чтобы использовать для чтения данных реплики (если они есть в кластере) вместо хоста-мастера.

• collections — будут передаваться данные только из перечисленных коллекций. По умолчанию передаются все коллекции.

  Добавление новых коллекций при редактировании эндпоинта, использующегося в трансферах типа Копирование и репликация или Репликация в статусе Реплицируется, не приведет к загрузке истории данных по этим коллекциям. Чтобы добавить коллекцию с ее историческими данными, используйте поле Список объектов для переноса в настройках трансфера.

• excluded_collections — будут передаваться данные из всех коллекций, кроме указанных.

• secondary_preferred_mode — задайте значение true для этого параметра, чтобы использовать для чтения данных реплики (если они есть в кластере) вместо хоста-мастера.

• collections — будут передаваться данные только из перечисленных коллекций. Для каждой коллекции указываются:

  • databaseName — имя базы данных.
  • collectionName — имя коллекции.

  По умолчанию передаются все коллекции.

  Добавление новых коллекций при редактировании эндпоинта, использующегося в трансферах типа Копирование и репликация или Репликация в статусе Реплицируется, не приведет к загрузке истории данных по этим коллекциям. Чтобы добавить коллекцию с ее историческими данными, используйте поле Список объектов для переноса в настройках трансфера.

• excludedCollections — будут передаваться данные из всех коллекций, кроме указанных. Для каждой коллекции указываются:

  • databaseName — имя базы данных.
  • collectionName — имя коллекции.

• secondaryPreferredMode — задайте значение true для этого параметра, чтобы использовать для чтения данных реплики (если они есть в кластере) вместо хоста-мастера.