Высокая доступность и отказоустойчивость Managed Service for Kubernetes
Примечание
В регионе Казахстан поддерживаются базовые и высокодоступные мастера в одной зоне доступности.
Рекомендации ниже помогут подготовить мастер, узлы и приложения к отказу узла или зоны доступности. Тестируйте предлагаемые стратегии в тестовом окружении перед вводом приложений в промышленную эксплуатацию.
- Общие рекомендации.
- Размещение нагрузки.
- Запас мощности и автомасштабирование.
- Приоритеты и ограничения ресурсов.
Примечание
Список рекомендаций пополняется.
Общие рекомендации
-
Используйте релизный канал
REGULARилиSTABLE.Совет
Используйте релизный канал
RAPIDдля тестовых окружений, чтобы быстрее тестировать обновления Kubernetes и Managed Service for Kubernetes. -
Контролируйте обновление кластера и группы узлов. Либо отключайте автоматическое обновление и выполняйте его вручную, либо задавайте время обновления так, чтобы ваши приложения были доступны в часы их активного использования.
-
Настраивайте политики PodDisruptionBudget, чтобы сократить время простоя сервисов во время обновления.
-
Настраивайте корректные проверки состояния для балансировщиков нагрузки.
Размещение нагрузки
Распределяйте компоненты кластера и реплики приложений по нескольким зонам доступности, чтобы снизить влияние отказа отдельного узла или зоны на работу приложений.
Размещайте мастер в трех зонах доступности
Выбирайте высокодоступный мастер, размещенный в трех зонах доступности. Он позволяет сохранить доступ к API Kubernetes и управление объектами при отказе одной зоны. Гарантии доступности определяются соглашением об уровне обслуживания
Порядок настройки размещения мастера приведен в инструкции Создать кластер Managed Service for Kubernetes с высокодоступным мастером в трех зонах доступности.
Создавайте группы узлов в разных зонах доступности
Создавайте отдельные группы узлов в разных зонах:
- Для групп фиксированного размера задавайте число узлов (
scale_policy.fixed_scale.size) так, чтобы после отказа одной зоны ресурсов узлов в остальных зонах хватало для продолжения работы критичных приложений и системных компонентов. - Для групп с автоматическим масштабированием задавайте максимальное число узлов (
scale_policy.auto_scale.max) так, чтобы группы в остальных зонах могли увеличиться и принять нагрузку из отказавшей зоны.
Примечание
Managed Service for Kubernetes использует группы ВМ Yandex Compute Cloud. Учитывайте поведение групп ВМ при зональном инциденте.
Распределяйте реплики приложений по зонам и узлам
Разворачивайте приложения в нескольких экземплярах. Распределяйте реплики по зонам и узлам с помощью topologySpreadConstraints и podAntiAffinity.
Используйте метку topology.kubernetes.io/zone, чтобы распределить реплики по зонам доступности, и kubernetes.io/hostname, чтобы распределить их по узлам.
Пример распределения реплик по зонам и узлам
Добавляйте поля в spec.template объекта Deployment. Метка app: checkout должна совпадать с меткой приложения и селектором Deployment. Число реплик задавайте отдельно в spec.replicas.
metadata:
labels:
app: checkout
spec:
topologySpreadConstraints:
- maxSkew: 1
topologyKey: topology.kubernetes.io/zone
whenUnsatisfiable: ScheduleAnyway
labelSelector:
matchLabels:
app: checkout
- maxSkew: 1
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: ScheduleAnyway
labelSelector:
matchLabels:
app: checkout
Значение ScheduleAnyway задает предпочтение равномерного размещения, но не гарантирует его. Если выполнить ограничения невозможно, поды могут быть размещены с отклонением от них.
Не ограничивайте размещение приложений одной зоной или узлом
Проверяйте в шаблонах подов в Deployment, StatefulSet, DaemonSet, Job и CronJob, что правила размещения допускают запуск подов на оставшихся узлах после отказа.
|
Параметр или правило |
Что проверять |
|
|
Не задавайте имя конкретного узла в шаблоне приложения: при отказе этого узла новые поды с таким значением не смогут запуститься на других узлах. |
|
|
Проверяйте ограничения по зоне, имени узла, группе узлов и пользовательским меткам. Сопоставляйте их с именами и метками узлов в других зонах: после отказа должны оставаться узлы, подходящие под заданные условия. |
|
Обязательные правила |
Проверяйте селекторы подов, пространства имен и |
|
|
Проверяйте, что у подов заданы |
|
|
Проверяйте значения |
Узлы должны иметь доступ к нужным данным и иметь достаточно свободных ресурсов.
Проверяйте размещение подов при отказе узла или зоны в тестовом окружении. Восстановление зоны само по себе не перераспределяет уже работающие поды.
Запас мощности и автомасштабирование
Проверяйте доступные облачные квоты
Заранее запрашивайте увеличение квот Managed Service for Kubernetes, Compute Cloud и Virtual Private Cloud, чтобы после отказа зоны можно было создать дополнительные узлы.
Например, если после отказа зоны потребуется создать 12 дополнительных узлов по 4 vCPU и 16 ГБ оперативной памяти, предусматривайте свободные квоты Compute Cloud на 12 виртуальных машин, а также 48 vCPU и 192 ГБ памяти в резервной зоне.
Обеспечивайте запас узлов
На создание узлов, скачивание образов и запуск подов требуется время — поддерживайте достаточное количество работающих узлов и реплик, чтобы критичная нагрузка продолжала работать после отказа зоны.
-
Используйте пулы резервов ВМ и создавайте группы узлов из пула.
Например, если после отказа зоны потребуется создать 12 дополнительных узлов по 4 vCPU и 16 ГБ оперативной памяти, предусматривайте свободные квоты Compute Cloud на 12 виртуальных машин, а также 48 vCPU и 192 ГБ памяти в резервной зоне.
Не размещайте критичные приложения на прерываемых ВМ
Не используйте прерываемые ВМ для размещения критичных приложений — например, собственных Ingress-контроллеров.
Узлам на непрерываемых ВМ присваивается служебная метка yandex.cloud/preemptible: "false". Чтобы запускать поды приложения только на таких узлах, добавляйте в spec.template.spec ресурса Deployment:
nodeSelector:
yandex.cloud/preemptible: "false"
Приоритеты и ограничения ресурсов
Ограничивайте неконтролируемое использование ресурсов в кластере
Ресурсы подов и контейнеров. Изолируйте ресурсы — настраивайте потребление CPU и памяти с помощью ресурсов (requests) и лимитов (limits) для всех подов кластера. Чтобы ограничения применялись автоматически и проверялись при создании пода, используйте LimitRange. Подробнее о LimitRange в документации Kubernetes
Место для временных файлов и логов контейнера. Ограничивайте использование временного дискового пространства, чтобы снизить риск заполнения диска узла и нарушения работы других подов.
Для ephemeral-storage задавайте requests и limits. Значения по умолчанию и допустимые границы можно так же задавать через LimitRangerequests.ephemeral-storage наряду с запросами CPU и памяти. Подробнее — в документации Kubernetes о временном хранилище
Для дисковых томов emptyDir дополнительно ограничивайте размер каждого тома с помощью sizeLimit. Подробнее — в документации Kubernetes
Ресурсы и количество объектов в пространстве имен. Используйте политику ResourceQuota, чтобы ограничить ресурсы в пределах пространства имен. Ограничивайте не только CPU и память, но и количество объектов, например count/jobs.batch, count/secrets, count/configmaps и persistentvolumeclaims. Оставляйте запас квоты на масштабирование и обновления.
Подбирайте ресурсы и число реплик по результатам нагрузочных тестов
При отказе части подов их нагрузку принимают оставшиеся реплики. Подбирайте ресурсы и число реплик так, чтобы приложение продолжало обрабатывать запросы до запуска новых подов.
На нагрузочных тестах измеряйте потребление CPU и памяти одной репликой при штатной работе, запуске и росте нагрузки. Определяйте, какую нагрузку реплика выдерживает при допустимых задержках и доле ошибок. Учитывайте, что увеличение ресурсов не всегда повышает производительность: ее могут ограничивать настройки приложения и зависимые сервисы.
По результатам тестов:
- Задавайте
requestsс учетом ресурсов, необходимых реплике для устойчивой работы. Если после отказа потребление может превыситьrequests, предусматривайте запас ресурсов на узлах. - Подбирайте
limitsс запасом на запуск и перераспределение нагрузки. Проверяйте, что ограничения CPU и памяти не приводят к недопустимым задержкам и завершению контейнеров с причинойOOMKilled. - Выбирайте число реплик так, чтобы после отказа узла или зоны оставшиеся реплики справлялись с нагрузкой. Учитывайте время запуска новых подов и неравномерное распределение запросов.
Проверяйте выбранные параметры вместе: отключайте часть реплик в тестовом окружении под рабочей нагрузкой и измеряйте задержки, ошибки, потребление ресурсов и время восстановления.
Например, приложение получает 1200 запросов в секунду, а одна реплика обрабатывает до 400. Если шесть реплик равномерно размещены в трех зонах, после отказа одной зоны останутся четыре. При равномерном распределении каждая получит 300 запросов в секунду — на 25% меньше измеренного предела. Подтверждайте этот запас нагрузочным тестом.
Подробнее об управлении ресурсами контейнеров — в документации Kubernetes
Настройте горизонтальное автомасштабирование подов
Чтобы число реплик приложения менялось в зависимости от нагрузки, настраивайте горизонтальное автомасштабирование подов (Horizontal Pod Autoscaler, HPA). Выбирайте метрики масштабирования по результатам нагрузочных тестов, чтобы новые поды успевали запуститься до перегрузки работающих реплик.
Для масштабирования по потреблению CPU и памяти используйте Metrics Server, установленный по умолчанию в кластерах Managed Service for Kubernetes. Для масштабирования по метрикам Monium настройте Metrics Provider.
Задавайте minReplicas с запасом на отказ части подов и время запуска новых реплик. Минимального числа должно хватать для обработки нагрузки, пока выполняется масштабирование.
Выбирайте maxReplicas с учетом пиковой нагрузки. Проверяйте, что суммарные запросы ресурсов всех приложений при максимальном количестве реплик укладываются в доступные ресурсы и квоты.
Если числом реплик управляет HPA, исключайте конкурирующее изменение spec.replicas через манифесты Deployment, в том числе при использовании GitOps. Для существующих приложений следуйте процедуре передачи управления HPA
Назначайте приоритеты критичным приложениям
Создавайте классы приоритета (PriorityClass) и назначайте критичным приложениям классы с более высоким значением. Планировщик сможет вытеснять поды меньшего приоритета, чтобы освободить ресурсы. При этом соблюдение PodDisruptionBudget не гарантируется. Подробнее в документации Kubernetes
Пример назначения приоритетов приложениям
Например, создайте два класса приоритета манифестом priorities.yaml:
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
name: business-critical
value: 100000
globalDefault: false
preemptionPolicy: PreemptLowerPriority
description: "Критичные пользовательские приложения"
---
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
name: batch-low
value: -1000
globalDefault: false
preemptionPolicy: Never
description: "Фоновые задания, допускающие прерывание"
Классы действуют на весь кластер. Перед применением согласовывайте их значения с существующей шкалой приоритетов.
kubectl apply -f priorities.yaml
Для критичного приложения добавляйте в spec.template.spec объекта Deployment:
priorityClassName: business-critical
Для фоновых заданий указывайте batch-low. Политика Never запрещает таким подам вытеснять другие поды, но не защищает их от вытеснения подами с более высоким приоритетом. Если ресурсов недостаточно, фоновые поды будут ожидать их освобождения. Для критичных подов с политикой PreemptLowerPriority планировщик может освободить ресурсы за счет подов с меньшим приоритетом.