Стратегия миграции базы данных в Yandex Cloud
Перенести базу данных в управляемый сервис баз данных Yandex Cloud можно несколькими способами: с помощью сервиса Data Transfer, используя логическую репликацию, логический дамп или снапшоты. Способ зависит от того, какую базу данных вы переносите, какой у нее объем данных и какой простой допустим. Под минимальным простоем понимается окно переключения: источник переводится в режим «только чтение», после того как данные перенесутся на приемник, переключается приложение. Если минимальный простой недоступен — запись на источнике останавливается на все время переноса.
Общие правила для всех баз данных:
- Пользователи и права доступа не переносятся ни одним способом — создайте их в кластере управляемой базы данных заново.
- Для Data Transfer нужен сетевой доступ к источнику: из интернета, через VPN или Cloud Interconnect.
- Квота по умолчанию — 50 трансферов, из них 10 могут быть запущены одновременно.
Выбор СУБД-источника
PostgreSQL
Приемник: Managed Service for PostgreSQL.
Способы: Data Transfer, логическая репликация, логический дамп.
| Особенности БД | Способ |
|---|---|
| База до 4 ТБ, у таблиц есть первичные ключи, допустим минимальный простой | Рекомендуемый способ: Data Transfer |
| База больше 4 ТБ | Логическая репликация |
На источнике нельзя установить плагин wal2json |
Логическая репликация |
| Простой допустим и база небольшая | Логический дамп: pg_dump и pg_restore |
Нельзя включить wal_level = logical, много таблиц без первичных ключей, есть большие объекты |
Логический дамп |
Используйте, если размер БД до 4 ТБ, на источнике установлен плагин wal2json, у таблиц на источнике есть первичные ключи. Выбирайте трансфер типа «Копирование и репликация».
- Подготовьте источник: настройки и пользователь для трансфера, сетевой доступ. Требования к базам — в подготовке к трансферу.
- Создайте кластер-приемник: версия не ниже, чем на источнике.
- Создайте эндпоинты источника и приемника.
- Создайте и активируйте трансфер
. - Переключите приложение на приемник.
- Создайте пользователей и права в новом кластере — они не переносятся.
Особенности применения Data Transfer:
- Пока трансфер активен, слот репликации удерживает WAL на источнике. Лимит по умолчанию — 50 ГБ.
- Таблицы без первичных ключей не переносятся на этапе репликации.
- Не переносятся большие объекты и данные материализованных представлений.
- Изменения схемы на этапе репликации применяются на приемнике вручную.
Подробности в руководстве.
Используйте логическую репликацию PostgreSQL, если размер БД более 4 ТБ, на источнике нельзя установить плагин wal2json. Источник PostgreSQL должен быть версии 10 и выше, схема переносится вручную, изменения схемы не реплицируются. Минимальный простой — окно переключения.
Используйте логический дамп, когда на источнике нельзя включить wal_level = logical, много таблиц без первичных ключей и есть большие объекты (large objects). Этот способ применим для БД размером до 4 ТБ, допускающих простой.
ClickHouse®
Приемник — Managed Service for ClickHouse®. Способы: Data Transfer, BACKUP и RESTORE через Object Storage, функция remoteSecure(). Все способы однократные: изменения, сделанные на источнике после начала переноса, в приемник не попадут.
| Особенности БД | Способ |
|---|---|
| База до 1 ТБ, у таблиц есть первичные ключи, допускается остановка записи на время переноса | Рекомендуемый способ: Data Transfer |
| База больше 1 ТБ | BACKUP и RESTORE через Object Storage |
| Шардированный приемник | BACKUP и RESTORE или remoteSecure() |
| Нужно перенести таблицы как есть: с движками, TTL и проекциями | BACKUP и RESTORE |
| Отдельные таблицы | remoteSecure() |
| Останавливать запись нельзя | Обратитесь в техническую поддержку |
Используйте для баз данных, не превышающих 1 ТБ. Тип трансфера — «Копирование», приемник нешардированный. Запись на источнике останавливается на время переноса.
- Подготовьте источник: настройки и пользователь для трансфера, сетевой доступ. Требования к базам — в подготовке к трансферу.
- Создайте кластер-приемник: версия не ниже, чем на источнике.
- Создайте эндпоинты источника и приемника.
- Создайте и активируйте трансфер
. - Переключите приложение на приемник.
- Создайте пользователей и права в новом кластере — они не переносятся.
Особенности применения Data Transfer:
- Переносятся таблицы семейства
MergeTreeи материализованные представления. Обычные представления и словари создаются вручную. - Для каждой базы данных нужен отдельный трансфер. Базы с дефисом в названии не переносятся.
- Data Transfer не поддерживает шардирование.
Подробности в руководстве.
Используйте встроенные команды BACKUP и RESTORE через Object Storage, если размер БД более 1 ТБ, приемник шардированный или нужно перенести таблицы с сохранением движков, TTL и проекций. Источник ClickHouse® должен быть версии и выше с доступом к Object Storage.
Используйте функцию remoteSecure() для отдельных таблиц. Запрос нагружает источник, большие таблицы переносите по партициям.
MySQL®
Приемник: Managed Service for MySQL®.
Способы: Data Transfer, логический дамп.
| Особенности БД | Способ |
|---|---|
| База до 1 ТБ, у таблиц есть первичные ключи, допускается остановка записи на время переноса | Рекомендуемый способ: Data Transfer |
| Простой допустим и база небольшая | Логический дамп: mysqldump или mydumper |
На источнике нельзя включить binlog_format = ROW |
Логический дамп |
| Много таблиц без первичных ключей и уникальных индексов | Логический дамп |
| База больше 1 ТБ | Обратитесь в техническую поддержку |
Используйте для баз данных, не превышающих 1 ТБ. Тип трансфера — «Копирование», приемник нешардированный. Запись на источнике останавливается на время переноса.
- Подготовьте источник: настройки и пользователь для трансфера, сетевой доступ. Требования к базам — в подготовке к трансферу.
- Создайте кластер-приемник: версия не ниже, чем на источнике.
- Создайте эндпоинты источника и приемника.
- Создайте и активируйте трансфер
. - Переключите приложение на приемник.
- Создайте пользователей и права в новом кластере — они не переносятся.
Особенности применения Data Transfer:
- Таблицы без первичных ключей и уникальных индексов не переносятся на этапе репликации.
- Команда
ALTERна этапе копирования прерывает трансфер. - Если источник находится за балансировщиком, включите GTID.
- Транзакция с бинарным логом больше 4 ГБ приводит к ошибке активации.
Подробности в руководстве.
Используйте логический дамп (mysqldump или mydumper), если простой допустим и база небольшая. Также, если нельзя включить binlog_format = ROW или база данных содержит много таблиц без первичных ключей и уникальных индексов.
MongoDB
Приемник: Yandex StoreDoc.
Способы: Data Transfer, дамп.
| Особенности БД | Способ |
|---|---|
| Источник — набор реплик | Рекомендуемый способ: Data Transfer |
| База до 100 ГБ, и простой допустим | Дамп: mongodump и mongorestore |
Есть коллекции Time Series |
Дамп |
| Большой объем, тысячи операций записи в секунду | Несколько трансферов Data Transfer |
Используйте для переноса MongoDB версии 3.6 и выше, источник — набор реплик. При тысячах операций записи в секунду перенос делят на несколько эндпоинтов и трансферов.
- Подготовьте источник: настройки и пользователь для трансфера, сетевой доступ. Требования к базам — в подготовке к трансферу.
- Создайте кластер-приемник: версия не ниже, чем на источнике.
- Создайте эндпоинты источника и приемника.
- Создайте и активируйте трансфер
. - Переключите приложение на приемник.
- Создайте пользователей и права в новом кластере — они не переносятся.
Особенности применения Data Transfer:
- Коллекции
Time Seriesтрансфер не поддерживает — исключите их в эндпоинте-источнике. - При нагрузке выше 10 000 операций записи в секунду перенос делят на несколько эндпоинтов и трансферов.
- Если копирование длится дольше окна
oplog, трансфер завершится ошибкой — перед переносом увеличьте размерoplog. - Репликация прерывается на объектах размером более 16 МБ.
Подробности в руководстве.
Используйте дамп (mongodump и mongorestore), если размер БД не более 100 ГБ, простой допустим или есть коллекции Time Series. Возможен также перенос сторонним инструментом Percona ClusterSync for MongoDB
Redis и Valkey™
Приемник: Yandex Managed Service for Valkey™.
Способ: логический дамп.
| Особенности БД | Способ |
|---|---|
| Данные нужно сохранить | Логический дамп: redis-dump-go и redis-cli |
| В базе только кеш | Создайте кластер без переноса — кеш восстанавливается сам |
| Останавливать запись нельзя | Обратитесь в техническую поддержку |
Логический дамп — файл с набором команд, последовательное выполнение которых восстанавливает состояние баз данных в кластере.
Для переноса с помощью логического дампа:
- Создайте кластер-приемник.
- Остановите запись и снимите дамп на хосте-мастере источника.
- Подготовьте промежуточную виртуальную машину, если к кластеру нет доступа из интернета.
- Загрузите дамп в кластер-приемник.
- Сверьте число ключей и переключите приложение.
Особенности применения логического дампа:
- Бинарный RDB-файл загрузить нельзя: доступа к файловой системе хостов нет.
- В шардированный кластер дамп загружается в мастер каждого шарда.
Подробности в руководстве.
Greenplum®
Приемник: Yandex MPP Analytics for PostgreSQL.
Способы: Data Transfer, загрузка из Object Storage через PXF.
| Особенности БД | Способ |
|---|---|
| Данные не выгружены, запись на источнике можно остановить | Рекомендуемый способ: Data Transfer |
| Данные уже выгружены файлами в Object Storage | Загрузка через PXF |
| Останавливать запись нельзя | Обратитесь в техническую поддержку |
Используйте для переноса Greenplum® версии 6.28 и выше или Apache Cloudberry™ 2, если на источнике допускается остановка записи. Используйте трансфер типа «Копирование».
- Подготовьте источник: настройки и пользователь для трансфера, сетевой доступ. Требования к базам — в подготовке к трансферу.
- Создайте кластер-приемник: версия не ниже, чем на источнике.
- Создайте эндпоинты источника и приемника.
- Создайте и активируйте трансфер
. - Переключите приложение на приемник.
- Создайте пользователей и права в новом кластере — они не переносятся.
Особенности применения Data Transfer:
- Данные материализованных представлений не переносятся.
- При параллельном копировании переносятся только таблицы. Таблицы
DISTRIBUTED REPLICATEDне переносятся. - Число потоков копирования ограничено числом сегментов источника.
Подробности в руководстве.
Загрузка через PXF — если данные уже выгружены в Object Storage файлами. С помощью внешних таблиц вы сможете загрузить наборы данных в кластер Yandex MPP Analytics for PostgreSQL. Подробнее в описании внешних таблиц.
Elasticsearch или OpenSearch
Приемник: Managed Service for OpenSearch.
Способы: удаленная переиндексация, снапшоты через Object Storage, Data Transfer.
| Особенности БД | Способ |
|---|---|
| Источник доступен из интернета, допустим минимальный простой | Рекомендуемый способ: удаленная переиндексация |
| Источник закрыт от интернета, но может писать в Object Storage | Снапшоты через Object Storage; источник — Elasticsearch не новее 7.11 |
| Остальные способы не подошли | Data Transfer, тип «Копирование», включается по запросу |
Используйте удаленную переиндексацию
Используйте снапшоты через Object Storage — если источник закрыт от интернета, но может писать в Object Storage. Источник — Elasticsearch не новее 7.11, на всех хостах источника должен быть установлен плагин repository-s3. Чтобы мигрировать данные из кластера-источника Elasticsearch в кластер-приемник Managed Service for OpenSearch с помощью снапшотов:
Используйте Data Transfer как запасной способ. Выберите тип трансфера «Копирование» — включается по запросу. В индексе по умолчанию должно быть не более 1000 полей. Если у документов нет первичных ключей, то при повторной передаче появятся дубли.
Если ни один способ не подошел
Для миграции больших баз данных и таких баз, для которых не допустим простой, обратитесь в техническую поддержку
Подробнее о переносе баз данных с помощью Data Transfer: