Шардирование в Yandex Managed Service for Valkey™
Шардирование в Yandex Managed Service for Valkey™ реализовано с помощью Valkey™ Cluster.
Преимущества шардирования
Шардирование предлагает распределить нагрузку по хостам базы данных — это позволяет преодолеть ограничения ресурсов одного сервера, что особенно актуально при больших объемах данных или необходимости в интенсивных вычислениях.
Горизонтальное масштабирование включает в себя распределение набора данных и нагрузки по нескольким узлам. Емкость одной машины или ее скорость могут быть невысокими, но в горизонтально масштабируемом кластере каждая машина обрабатывает лишь часть общей нагрузки и хранит лишь часть общих данных. Это делает систему потенциально эффективнее, чем единственный сервер с большой емкостью.
Более подробно шардирование баз Valkey™ рассмотрено в документации Valkey™.
Структура Valkey™ Cluster
Valkey™ Cluster позволяет создать инсталляцию Valkey™ с автоматическим шардированием данных между хостами. Valkey™ Cluster включает в себя набор хостов, на которых хранятся данные. Valkey™ Cluster делится на шарды, каждый из которых состоит из мастера и набора реплик. На хосты-мастеры записываются данные от клиентов, которые затем реплицируются.
В каждом кластере находятся 16348 хеш-слота, которые равномерно распределяются между шардами. Слоты определяют набор данных, который хранится в том или ином шарде.
Масштабирование
При необходимости горизонтального масштабирования кластера, в него можно добавлять новые шарды.
Новый шард создается без хеш-слотов. Чтобы перераспределить данные, необходимо выполнить ребалансировку кластера. После этого на новый шард переместится часть уже существующих слотов.
Перемещение слотов между шардами не требует остановки работы кластера. Если клиент отправил запрос к мастеру на данные, которые были перемещены на другой шард, этот запрос будет переадресован на новый шард, куда переместились данные. Сами хосты не проксируют запросы, а только перенаправляют клиента на правильный шард.
Yandex Managed Service for Valkey™ может содержать от 1 до 10 шардов, каждый из которых, в свою очередь, может включать в себя разное количество хостов. Минимальное количество хостов в шарде зависит от выбранного типа диска.
Допустимо создать кластер либо с одним шардом, либо с тремя и более шардами. Кластер с двумя шардами нельзя создать, но можно изменить количество шардов в уже существующем кластере.
Информация об ограничениях на количество хостов в шарде приведена в разделе Квоты и лимиты.