Миграция базы данных из стороннего кластера Valkey™ в Yandex Managed Service for Valkey™

Для миграции данных в Valkey™ используется логический дамп — файл с набором команд, последовательное выполнение которых восстанавливает состояние баз данных в кластере. Его можно создать разными способами, далее для примера используется redis-dump-go.

Чтобы мигрировать базы данных Valkey™ из кластера-источника в кластер-приемник:

1. Подключитесь к кластеру-источнику и создайте логический дамп.

2. (Опционально) Загрузите дамп на промежуточную виртуальную машину.

   Переносить данные с помощью виртуальной машины в Yandex Compute Cloud нужно, если:

   • К вашему кластеру Yandex Managed Service for Valkey™ нет доступа из интернета.
   • Ваше оборудование или соединение с кластером в Yandex Cloud недостаточно надежны.

3. Восстановите дамп в кластере-приемнике.

4. Убедитесь, что дамп полностью восстановлен.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер-приемник Yandex Managed Service for Valkey™: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы Valkey™).
• Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• При создании виртуальной машины для загрузки дампа — плата за использование вычислительных ресурсов, хранилища, операционной системы (для отдельных ОС) и публичного IP-адреса (опционально) (см. тарифы Compute Cloud).

Перед началом работыПеред началом работы

Подготовьте инфраструктуруПодготовьте инфраструктуру

Установите дополнительное ПОУстановите дополнительное ПО

1. (Опционально) Установите на локальный компьютер утилиты для скачивания и загрузки файлов по протоколу SSH, например:

   • WinSCP
   • Putty SCP

2. Убедитесь, что на кластере-источнике установлена утилита GNU Screen.

   Создание и восстановление дампа могут занять длительное время. Чтобы эти процессы не прерывались при закрытии SSH-сессии по таймауту, запускайте их с помощью этой утилиты. Если при создании или восстановлении дампа SSH-соединение будет прервано, подключитесь повторно и восстановите состояние сессии с помощью команды:

   screen -R
   

Подключитесь к кластеру-источнику и создайте логический дампПодключитесь к кластеру-источнику и создайте логический дамп

1. Подключитесь к хосту-мастеру кластера-источника по SSH.

2. Загрузите архив с утилитой redis-dump-go со страницы проекта. Далее в примерах используется версия 0.5.1.

   wget https://github.com/yannh/redis-dump-go/releases/download/v0.5.1/redis-dump-go_0.5.1_linux_amd64.tar.gz
   

3. Распакуйте архив в текущий каталог:

   tar xf redis-dump-go_0.5.1_linux_amd64.tar.gz
   

4. Изучите параметры запуска утилиты:

   ./redis-dump-go -h
   

5. Если для подключения к кластеру Valkey™ нужен пароль, укажите его в значении переменной окружения REDISDUMPGO_AUTH:

   export REDISDUMPGO_AUTH="<пароль_Valkey™>"
   

6. Запустите интерактивную сессию screen:

   screen
   

7. Запустите процесс создания логического дампа:

   ./redis-dump-go \
       -host <IP-адрес_или_FQDN_хоста-мастера_в_кластере_Valkey™> \
       -port <порт_Valkey™> > <файл_дампа>
   

   Совет

   В процессе создания дампа на экран будет выводиться количество обработанных ключей. Запомните или запишите последнее выведенное значение, оно понадобится при проверке полноты восстановления дампа в кластере-приемнике.

8. Когда дамп будет создан, скачайте его на свой компьютер.

9. Завершите интерактивную сессию screen:

   exit
   

(Опционально) Загрузите дамп на промежуточную виртуальную машину(Опционально) Загрузите дамп на промежуточную виртуальную машину

1. Подключитесь к промежуточной виртуальной машине по SSH.

2. Загрузите дамп со своего компьютера на промежуточную виртуальную машину любым удобным способом.

Восстановите дамп в кластере-приемникеВосстановите дамп в кластере-приемнике

1. Подключитесь к кластеру и запустите интерактивную сессию screen:

   screen
   

2. Запустите процесс восстановления дампа:

   Подключение без TLS

   Подключение с TLS

   Перед подключением установите зависимости:

   sudo apt update && sudo apt install -y redis-tools
   

   Подключение с помощью Sentinel

   host=$(redis-cli \
     -h <FQDN_любого_хоста_Valkey™> \
     -p 26379 \
     sentinel \
     get-master-addr-by-name \
     no-shards-no-tls | head -n 1)
   redis-cli \
     -h ${host} \
     -p 6379 \
     -a <пароль_кластера-приемника> \
     --pipe < <файл_дампа>
   

   Подключение напрямую к мастеру

   redis-cli \
     -h <FQDN_хоста-мастера> \
     -p 6379 \
     -a <пароль_кластера-приемника> \
     --pipe < <файл_дампа>
   

   При подключении к нешардированному кластеру вместо FQDN хоста-мастера можно использовать особые FQDN.

   Подключение к шардированному кластеру

   1. Создайте скрипт с командами загрузки дампа:

      load-dump.sh

      shards=('<FQDN_хоста-мастера_в_шарде_1>' \
              ...
              '<FQDN_хоста-мастера_в_шарде_N>')
      
      for shard in "${shards[@]}" ; do
        redis-cli -h "${shard}" \
                  -p 6379 \
                  -a "<пароль_кластера-приемника>" \
                  --pipe < <файл_дампа>
      done
      

   2. Запустите скрипт:

      bash ./load-dump.sh
      

      Во время работы скрипта будут выводиться сообщения об ошибках вставки данных. Это нормальное поведение команды redis-cli, связанное с тем, что в шардированном кластере каждый шард хранит только часть данных. Подробнее см. в разделе Шардирование в Yandex Managed Service for Valkey™.

   Перед подключением установите зависимости:

   Соберите утилиту redis-tools с поддержкой TLS одним из двух способов::

   • Из репозитория

     1. Подключите репозиторий:

        sudo apt-add-repository ppa:redislabs/redis
        

        Пакеты в этом репозитории уже собраны с флагом BUILD_TLS=yes.

     2. Установите утилиту:

        sudo apt update && sudo apt install -y redis-tools
        

   • Вручную

     Перейдите в директорию, куда хотите скачать дистрибутив. Скачайте стабильную версию утилиты и выполните сборку и установку:

     wget https://download.redis.io/redis-stable.tar.gz && \
     tar -xzvf redis-stable.tar.gz && \
     cd redis-stable && \
     make BUILD_TLS=yes && \
     sudo make install && \
     sudo cp ./src/redis-cli /usr/bin/
     

   Подключение с помощью Sentinel

   host=$(redis-cli \
          -h <FQDN_любого_хоста_Valkey™> \
          -p 26379 \
          sentinel \
          get-master-addr-by-name \
          no-shards-tls | head -n 1)
   redis-cli \
       -h ${host} \
       -p 6380 \
       -a <пароль_кластера-приемника> \
       --tls \
       --cacert ~/.redis/YandexInternalRootCA.crt \
       --pipe < <файл_дампа>
   

   Подключение напрямую к мастеру

   redis-cli \
       -h c-<идентификатор_кластера>.rw.mdb.yandexcloud.net \
       -p 6380 \
       -a <пароль_кластера-приемника> \
       --tls \
       --cacert ~/.redis/YandexInternalRootCA.crt \
       --pipe < <файл_дампа>
   

   При подключении к нешардированному кластеру вместо FQDN хоста-мастера можно использовать особые FQDN.

   Подключение к шардированному кластеру

   1. Создайте скрипт с командами загрузки дампа:

      load-dump.sh

      shards=('<FQDN_хоста-мастера_в_шарде_1>' \
              ...
              '<FQDN_хоста-мастера_в_шарде_N>')
      
      for shard in "${shards[@]}" ; do
        redis-cli -h "${shard}" \
                  -p 6380 \
                  -a "<пароль_кластера-приемника>" \
                  --tls \
                  --cacert ~/.redis/YandexInternalRootCA.crt \
                  --pipe < <файл_дампа>
      done
      

   2. Запустите скрипт:

      bash ./load-dump.sh
      

      Во время работы скрипта будут выводиться сообщения об ошибках вставки данных. Это нормальное поведение команды redis-cli, связанное с тем, что в шардированном кластере каждый шард хранит только часть данных. Подробнее см. в разделе Шардирование в Yandex Managed Service for Valkey™.

3. Завершите интерактивную сессию screen:

   exit
   

Убедитесь, что дамп полностью восстановленУбедитесь, что дамп полностью восстановлен

1. В консоли управления перейдите в каталог, где нужно восстановить кластер.
2. В списке сервисов выберите Yandex Managed Service for Valkey™.
3. Нажмите на имя нужного кластера и выберите вкладку Мониторинг.

Обратите внимание на график DB Keys, отображающий количество ключей, хранящихся в кластере. Если кластер шардированный, на графике будет выводиться количество ключей в каждом шарде. В этом случае количество ключей в кластере равно суммарному количеству ключей в шардах.

Общее количество ключей в кластере должно совпадать с числом ключей, обработанных утилитой redis-dump-go при создании дампа.

Удалите созданные ресурсыУдалите созданные ресурсы

Удалите ресурсы, которые вы больше не будете использовать, чтобы за них не списывалась плата: