Передача данных из эндпоинта-источника MySQL®

1. Если вы не планируете использовать для подключения к внешнему кластеру сервис Cloud Interconnect или VPN, разрешите подключения к такому кластеру из интернета с IP-адресов, используемых сервисом Data Transfer.

   Подробнее о настройке сети для работы с внешними ресурсами см. в концепции.

2. Убедитесь, что источник использует подсистему хранения данных низкого уровня MyISAM или InnoDB. При использовании других подсистем трансфер может завершиться с ошибкой.

3. Включите режим полного бинарного лога на источнике, установив значение FULL или NOBLOB для параметра binlog_row_image.

4. Задайте строковый формат бинарного лога на источнике, установив значение ROW для параметра binlog_format.

5. Для типов трансфера Репликация и Копирование и репликация:

   • Укажите путь к расположению бинарного лог-файла в параметре log_bin.

   • Выведите информацию о бинарном логе с помощью запроса SHOW MASTER STATUS (для версий MySQL® 5.7 и 8.0) или SHOW BINARY LOG STATUS (для версии MySQL® 8.4). Запрос должен возвращать строку с информацией, а не пустой ответ.

6. Если источник репликации — кластер, который находится за балансером, включите для него GTID-режим (GTID-MODE = ON).

   Если по какой-то причине включить GTID-режим невозможно, убедитесь, что шаблон имен бинарных логов содержит имя хоста.

   В обоих случаях это позволит продолжить репликацию в случае смены хоста-мастера.

7. (Опционально) Настройте лимит на размер отправляемых кусков данных (chunk) с помощью параметра max_allowed_packet.

8. Создайте пользователя для подключения к источнику и выдайте ему необходимые привилегии:

   CREATE USER '<имя_пользователя>'@'%' IDENTIFIED BY '<пароль>';
   GRANT ALL PRIVILEGES ON <имя_базы>.* TO '<имя_пользователя>'@'%';
   GRANT REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO '<имя_пользователя>'@'%';
   

9. Для типов трансфера Репликация и Копирование и репликация таблицы без первичных ключей не переносятся. Чтобы сохранить работоспособность трансфера при переносе базы с такими таблицами:

   • Не переносите таблицы без первичных ключей. Для этого добавьте их в список исключенных таблиц в настройках эндпоинта для источника.

   • Создайте первичные ключи (PRIMARY KEY) в тех мигрируемых таблицах, где их нет.

     1. Чтобы получить список таблиц без первичного ключа, выполните запрос:

        SELECT
            tab.table_schema AS database_name,
            tab.table_name AS table_name,
            tab.table_rows AS table_rows
        FROM information_schema.tables tab
            LEFT JOIN information_schema.table_constraints tco
                ON (tab.table_schema = tco.table_schema
                    AND tab.table_name = tco.table_name
                    AND tco.constraint_type = 'PRIMARY KEY')
        WHERE
            tab.table_schema NOT IN ('mysql', 'information_schema', 'performance_schema', 'sys')
            AND tco.constraint_type IS NULL
            AND tab.table_type = 'BASE TABLE';
        

     2. Изучите структуру таблиц без первичного ключа, которые необходимо перенести на приемник:

        SHOW CREATE TABLE <имя_базы>.<имя_таблицы>;
        

     3. Добавьте простой или составной первичный ключ к таблицам, которые необходимо перенести на приемник:

        ALTER TABLE <имя_таблицы> ADD PRIMARY KEY (<столбец_или_группа_столбцов>);
        

     4. Если в переносимой на приемник таблице нет столбца или группы столбцов, подходящих на роль первичного ключа, создайте новый столбец:

        ALTER TABLE <имя_таблицы> ADD id BIGINT PRIMARY KEY AUTO_INCREMENT;
        

   Примечание

   Если создание первичного ключа завершается ошибкой Creating index 'PRIMARY' required more than 'innodb_online_alter_log_max_size' bytes of modification log. Please try again, увеличьте в настройках СУБД значение параметра inno_db_log_file_size.

10. Выключите перенос триггеров на стадии активации трансфера и включите его на стадии деактивации (для типов трансфера Репликация и Копирование и репликация). Подробнее см. в описании дополнительных настроек эндпоинта для источника MySQL®.

• Тип эндпоинта — mysql-source.

• --cluster-id — идентификатор кластера, к которому необходимо подключиться.

• --database — имя базы данных. Оставьте поле пустым, если хотите перенести таблицы из нескольких баз данных одновременно.

• --user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• Чтобы задать пароль пользователя для доступа к базе данных, используйте один из параметров:

  • --raw-password — пароль в текстовом виде.

  • --password-file — путь к файлу с паролем.

• Тип эндпоинта — mysql_source.

• security_groups — группы безопасности для сетевого трафика.

  Правила групп безопасности применяются к трансферу. Они позволяют открыть сетевой доступ с ВМ трансфера к кластеру. Подробнее см. в разделе Сеть в Yandex Data Transfer.

  Группы безопасности должны принадлежать той же сети, в которой размещен кластер.

  Примечание

  В Terraform сеть для групп безопасности задавать не нужно.

• connection.mdb_cluster_id — идентификатор кластера, к которому необходимо подключиться.

• database — имя базы данных. Оставьте поле пустым, если хотите перенести таблицы из нескольких баз данных одновременно.

• user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• password.raw — пароль в текстовом виде.

Пример структуры конфигурационного файла:

resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
  name = "<имя_эндпоинта>"
  settings {
    mysql_source {
      security_groups = ["<список_идентификаторов_групп_безопасности>"]
      connection {
        mdb_cluster_id = "<идентификатор_кластера>"
      }
      database = "<имя_переносимой_базы_данных>"
      user     = "<имя_пользователя_для_подключения>"
      password {
        raw = "<пароль_пользователя>"
      }
      <дополнительные_настройки_эндпоинта>
    }
  }
}

Подробнее см. в документации провайдера Terraform.

• securityGroups — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• mdbClusterId — идентификатор кластера, к которому необходимо подключиться.

• database — имя базы данных. Оставьте поле пустым, если хотите перенести таблицы из нескольких баз данных одновременно.

• user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• password.raw — пароль пользователя для доступа к базе данных (в текстовом виде).

• Тип эндпоинта — mysql-source.

• --host — IP-адрес или FQDN хоста-мастера, к которому необходимо подключиться.

• --port — номер порта, который сервис Data Transfer будет использовать для подключения.

• --ca-certificate — сертификат CA, если требуется шифрование передаваемых данных, например для соответствия требованиям PCI DSS.

  Важно

  Если не добавить сертификат, трансфер может завершиться ошибкой.

• --subnet-id — идентификатор подсети, в которой находится хост. Трансфер будет использовать эту подсеть для доступа к хосту.

• --database — имя базы данных. Оставьте поле пустым, если хотите перенести таблицы из нескольких баз данных одновременно.

• --user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• Чтобы задать пароль пользователя для доступа к базе данных, используйте один из параметров:

  • --raw-password — пароль в текстовом виде.

  • --password-file — путь к файлу с паролем.

• Тип эндпоинта — mysql_source.

• security_groups — группы безопасности для сетевого трафика.

  Правила групп безопасности применяются к трансферу. Они позволяют открыть сетевой доступ с ВМ трансфера к ВМ c базой данных. Подробнее см. в разделе Сеть в Yandex Data Transfer.

  Группы безопасности должны принадлежать той же сети, что и подсеть subnet_id, если она указана.

  Примечание

  В Terraform сеть для групп безопасности задавать не нужно.

• on_premise.hosts — список IP-адресов или FQDN хостов, к которым необходимо подключиться. Так как поддерживается только список из одного элемента, укажите адрес хоста-мастера.

• on_premise.port — номер порта, который сервис Data Transfer будет использовать для подключения.

• on_premise.tls_mode.enabled.ca_certificate — сертификат CA, если требуется шифрование передаваемых данных, например для соответствия требованиям PCI DSS.

  Важно

  Если не добавить сертификат, трансфер может завершиться ошибкой.

• on_premise.subnet_id — идентификатор подсети, в которой находится хост. Трансфер будет использовать эту подсеть для доступа к хосту.

• database — имя базы данных. Оставьте поле пустым, если хотите перенести таблицы из нескольких баз данных одновременно.

• user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• password.raw — пароль в текстовом виде.

Пример структуры конфигурационного файла:

resource "yandex_datatransfer_endpoint" "<имя_эндпоинта_в_Terraform>" {
  name = "<имя_эндпоинта>"
  settings {
    mysql_source {
      security_groups = ["<список_идентификаторов_групп_безопасности>"]
      connection {
        on_premise {
          hosts = ["<список_хостов>"]
          port  = <порт_для_подключения>
        }
      }
      database = "<имя_переносимой_базы_данных>"
      user     = "<имя_пользователя_для_подключения>"
      password {
        raw = "<пароль_пользователя>"
      }
      <дополнительные_настройки_эндпоинта>
    }
  }
}

Подробнее см. в документации провайдера Terraform.

• onPremise — параметры подключения к базе данных:

  • hosts — IP-адрес или FQDN хоста-мастера, к которому необходимо подключиться.

  • port — номер порта, который сервис Data Transfer будет использовать для подключения.

  • tlsMode — параметры шифрования передаваемых данных, если оно требуется, например для соответствия требованиям PCI DSS.

    • disabled — отключено.
    • enabled — включено

      • caCertificate — сертификат CA.

        Важно

        Если не добавить сертификат, трансфер может завершиться ошибкой.

  • subnetId — идентификатор подсети, в которой находится хост. Трансфер будет использовать эту подсеть для доступа к хосту.

• securityGroups — группы безопасности для сетевого трафика, правила которых применятся к ВМ и кластерам без изменения их настроек. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• database — имя базы данных. Оставьте поле пустым, если хотите перенести таблицы из нескольких баз данных одновременно.

• user — имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• password.raw — пароль пользователя для доступа к базе данных (в текстовом виде).

• --include-table-regex — список включенных таблиц. Будут передаваться данные только из таблиц этого списка. Задается с помощью регулярных выражений.

  Добавление новых таблиц при редактировании эндпоинта, использующегося в трансферах типа Копирование и репликация или Репликация в статусе Реплицируется, не приведет к загрузке истории данных по этим таблицам. Чтобы добавить таблицу с ее историческими данными, используйте поле Список объектов для переноса в настройках трансфера.

• --exclude-table-regex — список исключенных таблиц. Данные таблиц из этого списка передаваться не будут. Задается с помощью регулярных выражений.

• --timezone — часовой пояс базы, указывается как идентификатор IANA Time Zone Database. По умолчанию используется UTC+0.

• Настройки переноса схемы:

  • --transfer-before-data — при активации трансфера.
  • --transfer-after-data — при деактивации трансфера.

• include_table_regex — список включенных таблиц. Будут передаваться данные только из таблиц этого списка. Задается с помощью регулярных выражений.

  Добавление новых таблиц при редактировании эндпоинта, использующегося в трансферах типа Копирование и репликация или Репликация в статусе Реплицируется, не приведет к загрузке истории данных по этим таблицам. Чтобы добавить таблицу с ее историческими данными, используйте поле Список объектов для переноса в настройках трансфера.

• exclude_table_regex — список исключенных таблиц. Данные таблиц из этого списка передаваться не будут. Задается с помощью регулярных выражений.

• timezone — часовой пояс базы, указывается как идентификатор IANA Time Zone Database. По умолчанию используется UTC+0.

• object_transfer_settings — настройки переноса схемы:

  • view — представления;
  • routine — процедуры и функции;
  • trigger — триггеры.

  Для каждой сущности может быть задано одно из значений:

  • BEFORE_DATA — перенос на этапе активации трансфера;
  • AFTER_DATA — перенос на этапе деактивации трансфера;
  • NEVER — не переносить.

• includeTablesRegex — список включенных таблиц. Будут передаваться данные только из таблиц этого списка. Задается с помощью регулярных выражений.

  Добавление новых таблиц при редактировании эндпоинта, использующегося в трансферах типа Копирование и репликация или Репликация в статусе Реплицируется, не приведет к загрузке истории данных по этим таблицам. Чтобы добавить таблицу с ее историческими данными, используйте поле Список объектов для переноса в настройках трансфера.

• excludeTablesRegex — список исключенных таблиц. Данные таблиц из этого списка передаваться не будут. Задается с помощью регулярных выражений.

• timezone — часовой пояс базы, указывается как идентификатор IANA Time Zone Database. По умолчанию используется UTC+0.

• objectTransferSettings — настройки переноса схемы при активации и деактивации трансфера (значения BEFORE_DATA и AFTER_DATA, соответственно).