Хранилище в Managed Service for OpenSearch

Managed Service for OpenSearch позволяет использовать сетевые и локальные диски для организации хранилища кластеров баз данных. Сетевые диски реализованы на базе сетевых блоков — виртуальных дисков в инфраструктуре Yandex Cloud. Локальные диски физически размещаются в серверах кластера.

При создании кластера вы можете выбрать для хранилища следующие типы дисков:

• Сетевые HDD-диски (network-hdd) — самый экономичный вариант для кластеров, не требовательных к скорости записи и чтения.

• Сетевые SSD-диски (network-ssd) — компромиссный вариант: медленнее, чем локальные SSD-диски, но, в отличие от них, обеспечивают сохранность данных при выходе из строя оборудования Yandex Cloud.

• Нереплицируемые SSD-диски (network-ssd-nonreplicated) — сетевые диски с повышенной производительностью, реализованной за счет устранения избыточности.

  Объем такого хранилища можно увеличивать только с шагом 93 ГБ.

• Сверхбыстрые сетевые SSD-диски с тремя репликами (network-ssd-io-m3) — сетевые диски с теми же скоростными характеристиками, что и нереплицируемые. Этот тип диска обеспечивает избыточность.

  Объем таких дисков можно увеличивать только с шагом 93 ГБ.

• Локальные SSD-диски (local-ssd) — самые быстрые диски.

  Объем такого хранилища можно увеличивать:

  • для платформы Intel Cascade Lake — только с шагом 100 ГБ;
  • для платформы Intel Ice Lake — только с шагом 368 ГБ.

  Для кластеров, хосты которых располагаются в зоне доступности kz1-d, недоступно хранилище на локальных SSD-дисках при использовании платформы Intel Cascade Lake.

Выбор типа хранилища при создании кластераВыбор типа хранилища при создании кластера

Количество хостов с ролью DATA, которые можно создать вместе с кластером OpenSearch, зависит от выбранного типа хранилища:

• Вы можете создать кластер только из трех или более хостов при использовании следующих типов дисков:

  • локальные SSD-диски (local-ssd);
  • нереплицируемые SSD-диски (network-ssd-nonreplicated).

  Такой кластер будет отказоустойчивым.

  Хранилище на локальных SSD-дисках влияет на тарификацию кластера: он тарифицируется, даже если остановлен. Подробнее в правилах тарификации.

• Вы можете добавить любое количество хостов в пределах текущей квоты при использовании следующих типов дисков:

  • сетевые HDD-диски (network-hdd);
  • сетевые SSD-диски (network-ssd);
  • сверхбыстрые сетевые SSD-диски с тремя репликами (network-ssd-io-m3).

Подробнее об ограничениях на количество хостов в кластере см. в разделе Квоты и лимиты.

Для повышения отказоустойчивости вы можете настроить репликацию индексов (только для многохостовых конфигураций кластера).

Управление дисковым пространствомУправление дисковым пространством

Когда хранилище заполняется на 95%, хосты кластера автоматически переходят в режим read-only. В этом режиме запросы на запись данных завершаются ошибкой. Чтобы вывести хосты из режима read-only, увеличьте размер хранилища или обратитесь в техническую поддержку.

Отслеживание перехода в read-onlyОтслеживание перехода в read-only

Чтобы отслеживать степень заполнения хранилища кластера, настройте алерты в Yandex Monitoring:

1. Перейдите на страницу каталога и выберите сервис Monitoring.

2. Создайте канал уведомлений.

3. Создайте алерт со следующими параметрами:

   1. Метрики — задайте параметры метрики:

      • Облако.
      • Каталог.
      • Сервис Managed Service for OpenSearch.
      • Метка disk.free_bytes.
      • Нужный кластер Managed Service for OpenSearch. Имя и идентификатор кластера можно получить со списком кластеров в каталоге.

   2. Условия срабатывания — задайте условие для заполнения свободного дискового пространства, при котором сработает алерт:

      • Функция агрегации — Минимум (минимальное значение метрики за период).
      • Функция сравнения — Меньше или равно.
      • Warning — 90 (90 % от размера хранилища).
      • Alarm — 95 (95 % от размера хранилища).
      • Окно вычисления — желаемый период, с которым будет обновляться значение метрики.
      • Задержка вычисления — предпочтительный сдвиг по времени назад в секундах. Позволяет исключить срабатывания алерта, когда в нем указано несколько метрик и они собираются с разным интервалом. Подробнее о задержке вычисления см. в документации Yandex Monitoring.

   3. Уведомления — добавьте созданный ранее канал уведомлений.

Автоматическое увеличение размера хранилищаАвтоматическое увеличение размера хранилища

Автоматическое увеличение размера хранилища позволяет избежать ситуаций, когда свободное место на диске закончилось и хосты перешли в режим read-only. Хранилище увеличивается, когда достигнут установленный порог срабатывания — процент от общего объема хранилища. Есть два порога:

• Порог для планового увеличения. Когда он достигнут, объем хранилища увеличивается во время ближайшего окна обслуживания. Если задан этот порог, настройте расписание обслуживания.
• Порог для незамедлительного увеличения. Когда он достигнут, объем хранилища увеличивается немедленно.

Можно использовать один либо оба порога. Если заданы оба, порог для незамедлительного увеличения должен быть выше, чем порог для планового.

Если заданный порог достигнут, размер хранилища увеличивается по-разному в зависимости от типа диска:

• Для сетевых HDD- и SSD-дисков — на большее из двух значений: 20 ГБ или 20% от текущего размера диска.

• Для нереплицируемых SSD-дисков — на 93 ГБ.

• Для локальных SSD-дисков:

  • В кластере на платформе Intel Cascade Lake — на 100 ГБ.
  • В кластере на платформе Intel Ice Lake — на 368 ГБ.

Если порог срабатывания достигнут повторно, размер хранилища будет автоматически увеличиваться, пока не достигнет заданного максимума. После этого вы можете задать новый максимальный размер хранилища вручную.

Настроить автоматическое увеличение размера хранилища можно при создании кластера, а также при создании или изменении группы хостов.

Шифрование дискаШифрование диска

При создании или восстановлении кластера из резервной копии можно зашифровать диск хранилища пользовательским ключом KMS. Чтобы зашифровать диск уже созданного кластера, отключить шифрование или зашифровать диск другим ключом, создайте резервную копию кластера и восстановите его с новыми настройками.

Для создания зашифрованного диска нужна роль kms.keys.user или выше.

Если деактивировать ключ, которым был зашифрован диск, доступ к данным будет приостановлен, пока ключ не будет снова активирован.