Передача данных в эндпоинт-приемник MongoDB/Yandex StoreDoc (Managed Service for MongoDB)

1. Если вы не планируете использовать для подключения к внешнему кластеру сервис Cloud Interconnect или VPN, разрешите подключения к такому кластеру из интернета с IP-адресов, используемых сервисом Data Transfer.

   Подробнее о настройке сети для работы с внешними ресурсами читайте в концепции.

2. Убедитесь, что версия MongoDB на приемнике не ниже, чем на источнике.

3. Убедитесь, что кластер MongoDB сконфигурирован таким образом, чтобы на запросы к нему он возвращал корректно разрешающиеся IP-адреса или FQDN (Fully Qualified Domain Name).

4. Настройте кластер-приемник, чтобы к нему можно было подключиться из интернета:

   1. Измените в конфигурационном файле значение настройки net.bindIp со 127.0.0.1 на 0.0.0.0:

      # network interfaces
      net:
        port: 27017
        bindIp: 0.0.0.0
      

   2. Перезапустите сервис mongod:

      sudo systemctl restart mongod.service
      

5. Если кластер-приемник не использует репликацию, включите ее:

   1. Добавьте в конфигурационный файл /etc/mongod.conf настройки репликации:

      replication:
        replSetName: <имя_набора_реплик>
      

   2. Перезапустите сервис mongod:

      sudo systemctl restart mongod.service
      

   3. Подключитесь к MongoDB и инициализируйте набор реплик командой:

      rs.initiate({
          _id: "<имя_набора_реплик>",
          members: [{
              _id: 0,
              host: "<IP-адрес_который_слушает_Yandex_StoreDoc>:<порт>"
          }]
      });
      

6. Подключитесь к кластеру и создайте базу-приемник:

   use <имя_базы>
   

7. Создайте пользователя с правами readWrite на базу-приемник:

   use admin;
   db.createUser({
       user: "<имя_пользователя>",
       pwd: "<пароль>",
       mechanisms: ["SCRAM-SHA-1"],
       roles: [
           {
               db: "<имя_базы-приемника>",
               role: "readWrite"
           }
       ]
   });
   

   После старта трансфер подключится к приемнику от имени этого пользователя.

8. Чтобы шардировать переносимые коллекции в кластере-приемнике:

   1. Подготовьте базу данных и создайте в ней пустые коллекции с теми же именами, что и на источнике.

      Сервис Data Transfer не шардирует переносимые коллекции автоматически. Шардирование больших коллекций может занять продолжительное время и снизить скорость трансфера.

   2. Включите шардирование для базы-приемника:

      sh.enableSharding("<имя_базы-приемника>")
      

   3. Задайте шардирование для каждой коллекции с учетом ее пространства имен:

      sh.shardCollection("<имя_базы-приемника>.<имя_коллекции>", { <имя_поля>: <1|"hashed">, ... });
      

   4. Чтобы убедиться в том, что шардирование настроено и включено, получите список доступных шардов:

      sh.status()
      

   5. Если для шардирования используется ключ, отличный от _id (значение по умолчанию), назначьте системную роль clusterManager пользователю, от имени которого сервис Data Transfer будет подключаться к кластеру-приемнику:

      use admin;
      db.grantRolesToUser("<имя_пользователя>", ["clusterManager"]);
      

   6. При создании эндпоинта для приемника выберите политику очистки DISABLED или TRUNCATE.

      Выбор политики DROP приведет к тому, что при активации трансфера сервис удалит из базы-приемника все данные, в т. ч. шардированные коллекции, и создаст вместо них новые, нешардированные.

• Тип эндпоинта — mongo-target.

• --cluster-id — идентификатор кластера, к которому необходимо подключиться.

• --database — имя базы данных.

• --user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• --security-group — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее читайте в разделе Сеть в Yandex Data Transfer.

• Чтобы задать пароль пользователя для доступа к базе данных, используйте один из параметров:

  • --raw-password — пароль в текстовом виде.

  • --password-file — путь к файлу с паролем.

• Тип эндпоинта — mongo_target.

• connection.connection_options.mdb_cluster_id — идентификатор кластера, к которому необходимо подключиться.

• subnet_id — идентификатор подсети, в которой находится кластер. Трансфер будет использовать эту подсеть для доступа к кластеру. Если идентификатор не указан, то кластер должен быть доступен из интернета.

  Если значение в этом поле задано для обоих эндпоинтов, то обе подсети должны быть размещены в одной зоне доступности.

• security_groups — группы безопасности для сетевого трафика.

  Правила групп безопасности применяются к трансферу. Они позволяют открыть сетевой доступ с ВМ трансфера к кластеру. Подробнее читайте в разделе Сеть в Yandex Data Transfer.

  Группы безопасности и подсеть subnet_id, если она указана, должны принадлежать той же сети, в которой размещен кластер.

  Примечание

  В Terraform сеть для групп безопасности задавать не нужно.

• auth_source — имя базы данных в кластере.

• connection.connection_options.user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• connection.connection_options.password.raw — пароль в текстовом виде.

Пример структуры конфигурационного файла:

resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
  name = "<имя_эндпоинта>"
  settings {
    mongo_target {
      security_groups = ["<список_идентификаторов_групп_безопасности>"]
      subnet_id       = "<идентификатор_подсети>"
      connection {
        connection_options {
          mdb_cluster_id = "<идентификатор_кластера>"
          auth_source    = "<имя_базы_данных>"
          user           = "<имя_пользователя>"
          password {
            raw = "<пароль_пользователя>"
          }
        }
      }
      <дополнительные_настройки_эндпоинта>
    }
  }
}

Подробнее в документации провайдера Terraform.

• securityGroups — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее читайте в разделе Сеть в Yandex Data Transfer.

• mdbClusterId — идентификатор кластера, к которому необходимо подключиться.

• database — имя базы данных.

• user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• password.raw — пароль пользователя для доступа к базе данных (в текстовом виде).

• Тип эндпоинта — mongo-target.

• --host — IP-адрес или FQDN хоста-мастера, к которому необходимо подключиться.

• --port — номер порта, который сервис Data Transfer будет использовать для подключения.

• --ca-certificate — сертификат CA, если требуется шифрование передаваемых данных, например для соответствия требованиям PCI DSS.

  Важно

  Если не добавить сертификат, трансфер может завершиться ошибкой.

• --subnet-id — идентификатор подсети, в которой находится хост. Трансфер будет использовать эту подсеть для доступа к хосту.

• --database — имя базы данных.

• --user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• --security-group — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее читайте в разделе Сеть в Yandex Data Transfer.

• Чтобы задать пароль пользователя для доступа к базе данных, используйте один из параметров:

  • --raw-password — пароль в текстовом виде.

  • --password-file — путь к файлу с паролем.

• Тип эндпоинта — mongo_target.

• on_premise.port — номер порта, который сервис Data Transfer будет использовать для подключения.

• connection.connection_options.on_premise.tls_mode.enabled.ca_certificate — сертификат CA, если требуется шифрование передаваемых данных, например, для соответствия требованиям PCI DSS.

  Важно

  Если не добавить сертификат, трансфер может завершиться ошибкой.

• subnet_id — идентификатор подсети, в которой находится кластер. Трансфер будет использовать эту подсеть для доступа к кластеру. Если идентификатор не указан, то кластер должен быть доступен из интернета.

  Если значение в этом поле задано для обоих эндпоинтов, то обе подсети должны быть размещены в одной зоне доступности.

• security_groups — группы безопасности для сетевого трафика.

  Правила групп безопасности применяются к трансферу. Они позволяют открыть сетевой доступ с ВМ трансфера к ВМ с базой данных. Подробнее читайте в разделе Сеть в Yandex Data Transfer.

  Группы безопасности должны принадлежать той же сети, что и подсеть subnet_id, если она указана.

  Примечание

  В Terraform сеть для групп безопасности задавать не нужно.

• connection.connection_options.on_premise.replica_set — укажите имя набора реплик.

• connection.connection_options.on_premise.hosts — укажите IP-адреса или FQDN хостов, к которым необходимо подключиться.

• auth_source — имя базы данных в кластере.

• connection.connection_options.user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• connection.connection_options.password.raw — пароль в текстовом виде.

Пример структуры конфигурационного файла:

resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
  name = "<имя_эндпоинта>"
  settings {
    mongo_target {
      security_groups = ["<список_идентификаторов_групп_безопасности>"]
      subnet_id       = "<идентификатор_подсети>"
      connection {
        connection_options {
          on_premise {
            hosts       = [ "список хостов набора реплик" ]
            port        = "<порт_для_подключения>"
            replica_set = "<имя_набора_реплик>"
            tls_mode {
              enabled {
                ca_certificate = "<сертификат_в_формате_PEM>"
              }
            }
          }
          auth_source = "<имя_базы_данных>"
          user        = "<имя_пользователя>"
          password {
            raw = "<пароль_пользователя>"
          }
        }
      }
      <дополнительные_настройки_эндпоинта>
    }
  }
}

Подробнее в документации провайдера Terraform.

• onPremise — параметры подключения к базе данных:

  • hosts — IP-адрес или FQDN хоста-мастера, к которому необходимо подключиться.

  • port — номер порта, который сервис Data Transfer будет использовать для подключения.

  • tlsMode — параметры шифрования передаваемых данных, если оно требуется, например для соответствия требованиям PCI DSS.

    • disabled — отключено.
    • enabled — включено

      • caCertificate — сертификат CA.

        Важно

        Если не добавить сертификат, трансфер может завершиться ошибкой.

  • subnetId — идентификатор подсети, в которой находится хост. Трансфер будет использовать эту подсеть для доступа к хосту.

• securityGroups — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее читайте в разделе Сеть в Yandex Data Transfer.

• database — имя базы данных.

• user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• password.raw — пароль пользователя для доступа к базе данных (в текстовом виде).

--target-database — укажите имя базы данных, если хотите создать коллекции в базе данных с именем, отличным от имени базы-источника.

• database — укажите имя базы данных, если хотите создать коллекции в базе данных с именем, отличным от имени базы-источника.

• cleanup_policy — укажите способ очистки данных в базе-приемнике перед переносом:

  • DISABLED — не очищать (вариант по умолчанию).

    Выберите эту опцию, если будет производиться только репликация без копирования данных.

  • DROP — полное удаление коллекций, участвующих в трансфере.

    Используйте эту опцию, чтобы при любой активации трансфера в базу-приемник всегда передавалась самая последняя версия коллекции из источника.

  • TRUNCATE — удалить только данные из коллекций, участвующих в трансфере, но оставить сами коллекции.

    Используйте эту опцию, если структура коллекций в базе-приемнике отличается от той, которая была бы перенесена из источника при трансфере.

• database — укажите имя базы данных, если хотите создать коллекции в базе данных с именем, отличным от имени базы-источника.

• cleanupPolicy — укажите способ очистки данных в базе-приемнике перед переносом:

  • DISABLED — не очищать (вариант по умолчанию).

    Выберите эту опцию, если будет производиться только репликация без копирования данных.

  • DROP — полное удаление коллекций, участвующих в трансфере.

    Используйте эту опцию, чтобы при любой активации трансфера в базу-приемник всегда передавалась самая последняя версия коллекции из источника.

  • TRUNCATE — удалить только данные из коллекций, участвующих в трансфере, но оставить сами коллекции.

    Используйте эту опцию, если структура коллекций в базе-приемнике отличается от той, которая была бы перенесена из источника при трансфере.