Yandex Cloud
КейсыДокументация
ПрезентацияСвязаться с намиНачать бесплатно
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»
Yandex Managed Service for Kubernetes
  • Сопоставление с другими сервисами Yandex Cloud
  • Начало работы
    • Взаимосвязь ресурсов сервиса
    • Большие кластеры
    • Релизные каналы и обновления
    • Поддержка версий Kubernetes
    • Разграничение зон контроля в Managed Service for Kubernetes
    • Обновление операционной системы в группе узлов
    • Шифрование
    • Сеть в Managed Service for Kubernetes
    • Кластеры с несколькими диапазонами IP-адресов подов
    • Целевые группы сетевых балансировщиков
    • Сетевые настройки и политики кластера
    • Кластеры без предустановленного CNI
    • Автоматическое масштабирование
    • Политика аудита
    • Внешние узлы кластера
    • Квоты и лимиты
    • Рекомендации по использованию Managed Service for Kubernetes
      • Высокая доступность и отказоустойчивость
    • Рекомендуемые конфигурации мастера
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • История изменений
  • Обучающие курсы

В этой статье:

  • Общие рекомендации
  • Размещение нагрузки
  • Размещайте мастер в трех зонах доступности
  • Создавайте группы узлов в разных зонах доступности
  • Распределяйте реплики приложений по зонам и узлам
  • Не ограничивайте размещение приложений одной зоной или узлом
  • Запас мощности и автомасштабирование
  • Проверяйте доступные облачные квоты
  • Обеспечивайте запас узлов
  • Не размещайте критичные приложения на прерываемых ВМ
  • Приоритеты и ограничения ресурсов
  • Ограничивайте неконтролируемое использование ресурсов в кластере
  • Подбирайте ресурсы и число реплик по результатам нагрузочных тестов
  • Настройте горизонтальное автомасштабирование подов
  • Назначайте приоритеты критичным приложениям
  1. Концепции
  2. Рекомендации по использованию Managed Service for Kubernetes
  3. Высокая доступность и отказоустойчивость

Высокая доступность и отказоустойчивость Managed Service for Kubernetes

Статья создана
Yandex Cloud
Обновлена 18 ноября 2026 г.
Открыть в Markdown
  • Общие рекомендации
  • Размещение нагрузки
    • Размещайте мастер в трех зонах доступности
    • Создавайте группы узлов в разных зонах доступности
    • Распределяйте реплики приложений по зонам и узлам
    • Не ограничивайте размещение приложений одной зоной или узлом
  • Запас мощности и автомасштабирование
    • Проверяйте доступные облачные квоты
    • Обеспечивайте запас узлов
    • Не размещайте критичные приложения на прерываемых ВМ
  • Приоритеты и ограничения ресурсов
    • Ограничивайте неконтролируемое использование ресурсов в кластере
    • Подбирайте ресурсы и число реплик по результатам нагрузочных тестов
    • Настройте горизонтальное автомасштабирование подов
    • Назначайте приоритеты критичным приложениям

Рекомендации ниже помогут подготовить мастер, узлы и приложения к отказу узла или зоны доступности. Тестируйте предлагаемые стратегии в тестовом окружении перед вводом приложений в промышленную эксплуатацию.

  • Общие рекомендации.
  • Размещение нагрузки.
  • Запас мощности и автомасштабирование.
  • Приоритеты и ограничения ресурсов.

Примечание

Список рекомендаций пополняется.

Общие рекомендацииОбщие рекомендации

  • Используйте релизный канал REGULAR или STABLE.

    Совет

    Используйте релизный канал RAPID для тестовых окружений, чтобы быстрее тестировать обновления Kubernetes и Managed Service for Kubernetes.

  • Контролируйте обновление кластера и группы узлов. Либо отключайте автоматическое обновление и выполняйте его вручную, либо задавайте время обновления так, чтобы ваши приложения были доступны в часы их активного использования.

  • Настраивайте политики PodDisruptionBudget, чтобы сократить время простоя сервисов во время обновления.

  • Настраивайте корректные проверки состояния для балансировщиков нагрузки.

Размещение нагрузкиРазмещение нагрузки

Распределяйте компоненты кластера и реплики приложений по нескольким зонам доступности, чтобы снизить влияние отказа отдельного узла или зоны на работу приложений.

Размещайте мастер в трех зонах доступностиРазмещайте мастер в трех зонах доступности

Выбирайте высокодоступный мастер, размещенный в трех зонах доступности. Он позволяет сохранить доступ к API Kubernetes и управление объектами при отказе одной зоны. Гарантии доступности определяются соглашением об уровне обслуживания.

Порядок настройки размещения мастера приведен в инструкции Создать кластер Managed Service for Kubernetes с высокодоступным мастером в трех зонах доступности.

Создавайте группы узлов в разных зонах доступностиСоздавайте группы узлов в разных зонах доступности

Создавайте отдельные группы узлов в разных зонах:

  • Для групп фиксированного размера задавайте число узлов (scale_policy.fixed_scale.size) так, чтобы после отказа одной зоны ресурсов узлов в остальных зонах хватало для продолжения работы критичных приложений и системных компонентов.
  • Для групп с автоматическим масштабированием задавайте максимальное число узлов (scale_policy.auto_scale.max) так, чтобы группы в остальных зонах могли увеличиться и принять нагрузку из отказавшей зоны.

Примечание

Managed Service for Kubernetes использует группы ВМ Yandex Compute Cloud. Учитывайте поведение групп ВМ при зональном инциденте.

Распределяйте реплики приложений по зонам и узламРаспределяйте реплики приложений по зонам и узлам

Разворачивайте приложения в нескольких экземплярах. Распределяйте реплики по зонам и узлам с помощью topologySpreadConstraints и podAntiAffinity.

Используйте метку topology.kubernetes.io/zone, чтобы распределить реплики по зонам доступности, и kubernetes.io/hostname, чтобы распределить их по узлам.

Пример распределения реплик по зонам и узлам

Добавляйте поля в spec.template объекта Deployment. Метка app: checkout должна совпадать с меткой приложения и селектором Deployment. Число реплик задавайте отдельно в spec.replicas.

metadata:
  labels:
    app: checkout
spec:
  topologySpreadConstraints:
    - maxSkew: 1
      topologyKey: topology.kubernetes.io/zone
      whenUnsatisfiable: ScheduleAnyway
      labelSelector:
        matchLabels:
          app: checkout
    - maxSkew: 1
      topologyKey: kubernetes.io/hostname
      whenUnsatisfiable: ScheduleAnyway
      labelSelector:
        matchLabels:
          app: checkout

Значение ScheduleAnyway задает предпочтение равномерного размещения, но не гарантирует его. Если выполнить ограничения невозможно, поды могут быть размещены с отклонением от них.

Не ограничивайте размещение приложений одной зоной или узломНе ограничивайте размещение приложений одной зоной или узлом

Проверяйте в шаблонах подов в Deployment, StatefulSet, DaemonSet, Job и CronJob, что правила размещения допускают запуск подов на оставшихся узлах после отказа.

Параметр или правило

Что проверять

nodeName

Не задавайте имя конкретного узла в шаблоне приложения: при отказе этого узла новые поды с таким значением не смогут запуститься на других узлах.

nodeSelector и обязательные правила nodeAffinity

Проверяйте ограничения по зоне, имени узла, группе узлов и пользовательским меткам. Сопоставляйте их с именами и метками узлов в других зонах: после отказа должны оставаться узлы, подходящие под заданные условия.

Обязательные правила podAffinity и podAntiAffinity

Проверяйте селекторы подов, пространства имен и topologyKey. Сопоставляйте эти условия с размещением выбранных подов после отказа узла или зоны. Например, обязательное размещение каждой реплики на отдельном узле требует достаточного количества работающих узлов.

tolerations и taint-политики

Проверяйте, что у подов заданы tolerations для taint-политик с эффектами NoSchedule и NoExecute на узлах, предназначенных для приема нагрузки после отказа.

topologySpreadConstraints

Проверяйте значения topologyKey, labelSelector, maxSkew и minDomains: допускают ли они запуск реплик в оставшихся зонах. Значение whenUnsatisfiable: DoNotSchedule запрещает размещение, если правила выполнить невозможно, и поды могут остаться в состоянии Pending. Значение ScheduleAnyway допускает отклонения от равномерного распределения.

Узлы должны иметь доступ к нужным данным и иметь достаточно свободных ресурсов.

Проверяйте размещение подов при отказе узла или зоны в тестовом окружении. Восстановление зоны само по себе не перераспределяет уже работающие поды.

Запас мощности и автомасштабированиеЗапас мощности и автомасштабирование

Проверяйте доступные облачные квотыПроверяйте доступные облачные квоты

Заранее запрашивайте увеличение квот Managed Service for Kubernetes, Compute Cloud и Virtual Private Cloud, чтобы после отказа зоны можно было создать дополнительные узлы.

Например, если после отказа зоны потребуется создать 12 дополнительных узлов по 4 vCPU и 16 ГБ оперативной памяти, предусматривайте свободные квоты Compute Cloud на 12 виртуальных машин, а также 48 vCPU и 192 ГБ памяти в резервной зоне.

Обеспечивайте запас узловОбеспечивайте запас узлов

На создание узлов, скачивание образов и запуск подов требуется время — поддерживайте достаточное количество работающих узлов и реплик, чтобы критичная нагрузка продолжала работать после отказа зоны.

  • Настраивайте автоматическое масштабирование кластера.

  • Используйте пулы резервов ВМ и создавайте группы узлов из пула.

Например, если после отказа зоны потребуется создать 12 дополнительных узлов по 4 vCPU и 16 ГБ оперативной памяти, предусматривайте свободные квоты Compute Cloud на 12 виртуальных машин, а также 48 vCPU и 192 ГБ памяти в резервной зоне.

Не размещайте критичные приложения на прерываемых ВМНе размещайте критичные приложения на прерываемых ВМ

Не используйте прерываемые ВМ для размещения критичных приложений — например, собственных Ingress-контроллеров.

Узлам на непрерываемых ВМ присваивается служебная метка yandex.cloud/preemptible: "false". Чтобы запускать поды приложения только на таких узлах, добавляйте в spec.template.spec ресурса Deployment:

nodeSelector:
  yandex.cloud/preemptible: "false"

Приоритеты и ограничения ресурсовПриоритеты и ограничения ресурсов

Ограничивайте неконтролируемое использование ресурсов в кластереОграничивайте неконтролируемое использование ресурсов в кластере

Ресурсы подов и контейнеров. Изолируйте ресурсы — настраивайте потребление CPU и памяти с помощью ресурсов (requests) и лимитов (limits) для всех подов кластера. Чтобы ограничения применялись автоматически и проверялись при создании пода, используйте LimitRange. Подробнее о LimitRange в документации Kubernetes.

Место для временных файлов и логов контейнера. Ограничивайте использование временного дискового пространства, чтобы снизить риск заполнения диска узла и нарушения работы других подов.

Для ephemeral-storage задавайте requests и limits. Значения по умолчанию и допустимые границы можно так же задавать через LimitRange. При выборе узла планировщик учитывает requests.ephemeral-storage наряду с запросами CPU и памяти. Подробнее — в документации Kubernetes о временном хранилище.

Для дисковых томов emptyDir дополнительно ограничивайте размер каждого тома с помощью sizeLimit. Подробнее — в документации Kubernetes.

Ресурсы и количество объектов в пространстве имен. Используйте политику ResourceQuota, чтобы ограничить ресурсы в пределах пространства имен. Ограничивайте не только CPU и память, но и количество объектов, например count/jobs.batch, count/secrets, count/configmaps и persistentvolumeclaims. Оставляйте запас квоты на масштабирование и обновления.

Подбирайте ресурсы и число реплик по результатам нагрузочных тестовПодбирайте ресурсы и число реплик по результатам нагрузочных тестов

При отказе части подов их нагрузку принимают оставшиеся реплики. Подбирайте ресурсы и число реплик так, чтобы приложение продолжало обрабатывать запросы до запуска новых подов.

На нагрузочных тестах измеряйте потребление CPU и памяти одной репликой при штатной работе, запуске и росте нагрузки. Определяйте, какую нагрузку реплика выдерживает при допустимых задержках и доле ошибок. Учитывайте, что увеличение ресурсов не всегда повышает производительность: ее могут ограничивать настройки приложения и зависимые сервисы.

По результатам тестов:

  • Задавайте requests с учетом ресурсов, необходимых реплике для устойчивой работы. Если после отказа потребление может превысить requests, предусматривайте запас ресурсов на узлах.
  • Подбирайте limits с запасом на запуск и перераспределение нагрузки. Проверяйте, что ограничения CPU и памяти не приводят к недопустимым задержкам и завершению контейнеров с причиной OOMKilled.
  • Выбирайте число реплик так, чтобы после отказа узла или зоны оставшиеся реплики справлялись с нагрузкой. Учитывайте время запуска новых подов и неравномерное распределение запросов.

Проверяйте выбранные параметры вместе: отключайте часть реплик в тестовом окружении под рабочей нагрузкой и измеряйте задержки, ошибки, потребление ресурсов и время восстановления.

Например, приложение получает 1200 запросов в секунду, а одна реплика обрабатывает до 400. Если шесть реплик равномерно размещены в трех зонах, после отказа одной зоны останутся четыре. При равномерном распределении каждая получит 300 запросов в секунду — на 25% меньше измеренного предела. Подтверждайте этот запас нагрузочным тестом.

Подробнее об управлении ресурсами контейнеров — в документации Kubernetes.

Настройте горизонтальное автомасштабирование подовНастройте горизонтальное автомасштабирование подов

Чтобы число реплик приложения менялось в зависимости от нагрузки, настраивайте горизонтальное автомасштабирование подов (Horizontal Pod Autoscaler, HPA). Выбирайте метрики масштабирования по результатам нагрузочных тестов, чтобы новые поды успевали запуститься до перегрузки работающих реплик.

Для масштабирования по потреблению CPU и памяти используйте Metrics Server, установленный по умолчанию в кластерах Managed Service for Kubernetes. Для масштабирования по метрикам Monium настройте Metrics Provider.

Задавайте minReplicas с запасом на отказ части подов и время запуска новых реплик. Минимального числа должно хватать для обработки нагрузки, пока выполняется масштабирование.

Выбирайте maxReplicas с учетом пиковой нагрузки. Проверяйте, что суммарные запросы ресурсов всех приложений при максимальном количестве реплик укладываются в доступные ресурсы и квоты.

Если числом реплик управляет HPA, исключайте конкурирующее изменение spec.replicas через манифесты Deployment, в том числе при использовании GitOps. Для существующих приложений следуйте процедуре передачи управления HPA, чтобы при изменении манифеста случайно не уменьшить число реплик.

Назначайте приоритеты критичным приложениямНазначайте приоритеты критичным приложениям

Создавайте классы приоритета (PriorityClass) и назначайте критичным приложениям классы с более высоким значением. Планировщик сможет вытеснять поды меньшего приоритета, чтобы освободить ресурсы. При этом соблюдение PodDisruptionBudget не гарантируется. Подробнее в документации Kubernetes.

Пример назначения приоритетов приложениям

Например, создайте два класса приоритета манифестом priorities.yaml:

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: business-critical
value: 100000
globalDefault: false
preemptionPolicy: PreemptLowerPriority
description: "Критичные пользовательские приложения"
---
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: batch-low
value: -1000
globalDefault: false
preemptionPolicy: Never
description: "Фоновые задания, допускающие прерывание"

Классы действуют на весь кластер. Перед применением согласовывайте их значения с существующей шкалой приоритетов.

kubectl apply -f priorities.yaml

Для критичного приложения добавляйте в spec.template.spec объекта Deployment:

priorityClassName: business-critical

Для фоновых заданий указывайте batch-low. Политика Never запрещает таким подам вытеснять другие поды, но не защищает их от вытеснения подами с более высоким приоритетом. Если ресурсов недостаточно, фоновые поды будут ожидать их освобождения. Для критичных подов с политикой PreemptLowerPriority планировщик может освободить ресурсы за счет подов с меньшим приоритетом.

Была ли статья полезна?

Предыдущая
Рекомендации по использованию Managed Service for Kubernetes
Следующая
Рекомендуемые конфигурации мастера
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»