Миграция базы данных из стороннего кластера Redis в Yandex Managed Service for Redis

Для миграции данных в Redis используется логический дамп — файл с набором команд, последовательное выполнение которых восстанавливает состояние баз данных в кластере. Его можно создать разными способами, далее для примера используется redis-dump-go.

Чтобы мигрировать базы данных Redis из кластера-источника в кластер-приемник:

1. Подключитесь к кластеру-источнику и создайте логический дамп.

2. (Опционально) Загрузите дамп на промежуточную виртуальную машину.

   Переносить данные с помощью виртуальной машины в Yandex Compute Cloud нужно, если:

   • К вашему кластеру Managed Service for Redis нет доступа из интернета.
   • Ваше оборудование или соединение с кластером в Yandex Cloud недостаточно надежны.

3. Восстановите дамп в кластере-приемнике.

4. Убедитесь, что дамп полностью восстановлен.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Подготовьте инфраструктуруПодготовьте инфраструктуру

Установите дополнительное ПОУстановите дополнительное ПО

1. (Опционально) Установите на локальный компьютер утилиты для скачивания и загрузки файлов по протоколу SSH, например:

   • WinSCP
   • Putty SCP

2. Убедитесь, что на кластере-источнике установлена утилита GNU Screen.

   Создание и восстановление дампа могут занять длительное время. Чтобы эти процессы не прерывались при закрытии SSH-сессии по таймауту, запускайте их с помощью этой утилиты. Если при создании или восстановлении дампа SSH-соединение будет прервано, подключитесь повторно и восстановите состояние сессии с помощью команды:

   screen -R
   

Подключитесь к кластеру-источнику и создайте логический дампПодключитесь к кластеру-источнику и создайте логический дамп

1. Подключитесь к хосту-мастеру кластера-источника по SSH.

2. Загрузите архив с утилитой redis-dump-go со страницы проекта. Далее в примерах используется версия 0.5.1.

   wget https://github.com/yannh/redis-dump-go/releases/download/v0.5.1/redis-dump-go_0.5.1_linux_amd64.tar.gz
   

3. Распакуйте архив в текущий каталог:

   tar xf redis-dump-go_0.5.1_linux_amd64.tar.gz
   

4. Изучите параметры запуска утилиты:

   ./redis-dump-go -h
   

5. Если для подключения к кластеру Redis нужен пароль, укажите его в значении переменной окружения REDISDUMPGO_AUTH:

   export REDISDUMPGO_AUTH="<пароль_Redis>"
   

6. Запустите интерактивную сессию screen:

   screen
   

7. Запустите процесс создания логического дампа:

   ./redis-dump-go \
       -host <IP-адрес_или_FQDN_хоста-мастера_в_кластере_Redis> \
       -port <порт_Redis> > <файл_дампа>
   

   Совет

   В процессе создания дампа на экран будет выводиться количество обработанных ключей. Запомните или запишите последнее выведенное значение, оно понадобится при проверке полноты восстановления дампа в кластере-приемнике.

8. Когда дамп будет создан, скачайте его на свой компьютер.

9. Завершите интерактивную сессию screen:

   exit
   

(Опционально) Загрузите дамп на промежуточную виртуальную машину(Опционально) Загрузите дамп на промежуточную виртуальную машину

1. Подключитесь к промежуточной виртуальной машине по SSH.

2. Загрузите дамп со своего компьютера на промежуточную виртуальную машину любым удобным способом.

Восстановите дамп в кластере-приемникеВосстановите дамп в кластере-приемнике

1. Подключитесь к кластеру и запустите интерактивную сессию screen:

   screen
   

2. Запустите процесс восстановления дампа:

   Подключение без TLS

   Подключение с TLS

   Перед подключением установите зависимости:

   sudo apt update && sudo apt install -y redis-tools
   

   Подключение с помощью Sentinel

   host=$(redis-cli \
     -h <FQDN_любого_хоста_Redis> \
     -p 26379 \
     sentinel \
     get-master-addr-by-name \
     no-shards-no-tls | head -n 1)
   redis-cli \
     -h ${host} \
     -p 6379 \
     -a <пароль_кластера-приемника> \
     --pipe < <файл_дампа>
   

   Подключение напрямую к мастеру

   redis-cli \
     -h <FQDN_хоста-мастера> \
     -p 6379 \
     -a <пароль_кластера-приемника> \
     --pipe < <файл_дампа>
   

   При подключении к нешардированному кластеру вместо FQDN хоста-мастера можно использовать особые FQDN.

   Подключение к шардированному кластеру

   1. Создайте скрипт с командами загрузки дампа:

      load-dump.sh

      shards=('<FQDN_хоста-мастера_в_шарде_1>' \
              ...
              '<FQDN_хоста-мастера_в_шарде_N>')
      
      for shard in "${shards[@]}" ; do
        redis-cli -h "${shard}" \
                  -p 6379 \
                  -a "<пароль_кластера-приемника>" \
                  --pipe < <файл_дампа>
      done
      

   2. Запустите скрипт:

      bash ./load-dump.sh
      

      Во время работы скрипта будут выводиться сообщения об ошибках вставки данных. Это нормальное поведение команды redis-cli, связанное с тем, что в шардированном кластере каждый шард хранит только часть данных. Подробнее см. в разделе Шардирование в Managed Service for Redis.

   Перед подключением установите зависимости:

   Соберите утилиту redis-tools с поддержкой TLS одним из двух способов::

   • Из репозитория

     1. Подключите репозиторий:

        sudo apt-add-repository ppa:redislabs/redis
        

        Пакеты в этом репозитории уже собраны с флагом BUILD_TLS=yes.

     2. Установите утилиту:

        sudo apt update && sudo apt install -y redis-tools
        

   • Вручную

     Перейдите в директорию, куда хотите скачать дистрибутив. Скачайте стабильную версию утилиты и выполните сборку и установку:

     wget https://download.redis.io/redis-stable.tar.gz && \
     tar -xzvf redis-stable.tar.gz && \
     cd redis-stable && \
     make BUILD_TLS=yes && \
     sudo make install && \
     sudo cp ./src/redis-cli /usr/bin/
     

   Подключение с помощью Sentinel

   host=$(redis-cli \
          -h <FQDN_любого_хоста_Redis> \
          -p 26379 \
          sentinel \
          get-master-addr-by-name \
          no-shards-tls | head -n 1)
   redis-cli \
       -h ${host} \
       -p 6380 \
       -a <пароль_кластера-приемника> \
       --tls \
       --cacert ~/.redis/YandexInternalRootCA.crt \
       --pipe < <файл_дампа>
   

   Подключение напрямую к мастеру

   redis-cli \
       -h c-<идентификатор_кластера>.rw.mdb.yandexcloud.net \
       -p 6380 \
       -a <пароль_кластера-приемника> \
       --tls \
       --cacert ~/.redis/YandexInternalRootCA.crt \
       --pipe < <файл_дампа>
   

   При подключении к нешардированному кластеру вместо FQDN хоста-мастера можно использовать особые FQDN.

   Подключение к шардированному кластеру

   1. Создайте скрипт с командами загрузки дампа:

      load-dump.sh

      shards=('<FQDN_хоста-мастера_в_шарде_1>' \
              ...
              '<FQDN_хоста-мастера_в_шарде_N>')
      
      for shard in "${shards[@]}" ; do
        redis-cli -h "${shard}" \
                  -p 6380 \
                  -a "<пароль_кластера-приемника>" \
                  --tls \
                  --cacert ~/.redis/YandexInternalRootCA.crt \
                  --pipe < <файл_дампа>
      done
      

   2. Запустите скрипт:

      bash ./load-dump.sh
      

      Во время работы скрипта будут выводиться сообщения об ошибках вставки данных. Это нормальное поведение команды redis-cli, связанное с тем, что в шардированном кластере каждый шард хранит только часть данных. Подробнее см. в разделе Шардирование в Managed Service for Redis.

3. Завершите интерактивную сессию screen:

   exit
   

Убедитесь, что дамп полностью восстановленУбедитесь, что дамп полностью восстановлен

1. В консоли управления перейдите в каталог, где нужно восстановить кластер.
2. В списке сервисов выберите Managed Service for Redis.
3. Нажмите на имя нужного кластера и выберите вкладку Мониторинг.

Обратите внимание на график DB Keys, отображающий количество ключей, хранящихся в кластере. Если кластер шардированный, на графике будет выводиться количество ключей в каждом шарде. В этом случае количество ключей в кластере равно суммарному количеству ключей в шардах.

Общее количество ключей в кластере должно совпадать с числом ключей, обработанных утилитой redis-dump-go при создании дампа.

Удалите созданные ресурсыУдалите созданные ресурсы

Удалите ресурсы, которые вы больше не будете использовать, чтобы за них не списывалась плата: