Настройка групп безопасности

Для групп безопасности действует принцип «весь трафик, который не разрешен, запрещен». Чтобы кластер работал:

1. Создайте правила в его группах безопасности, разрешающие нужный трафик для узлов кластера:

   • Служебный трафик внутри кластера.

     Эти правила разрешают внутрикластерную коммуникацию и подключение к кластеру через API Kubernetes.

   • Подключение к сервисам из интернета.

   • Подключение к узлам по SSH.

   Совет

   Поместите каждый из этих наборов правил в отдельную группу безопасности.

   Тогда будет удобно применять эти группы безопасности к кластеру и его группам узлов.

2. (Опционально) Если вы планируете использовать L7-балансировщик Yandex Application Load Balancer вместе с кластером, то добавьте правила для балансировщика.

3. Примените группы безопасности с этими правилами к кластеру и группам узлов.

Вы можете задать более детальные правила для групп безопасности, например, разрешающие трафик только в определенных подсетях.

Группы безопасности должны быть корректно настроены для всех подсетей, в которых будет размещен кластер. От этого зависит работоспособность и доступность кластера и запущенных в нем сервисов.

Перед изменением списка групп безопасности или настроек входящих в них правил убедитесь, что это не нарушит работу кластера и его групп узлов.

Создать правила для служебного трафикаСоздать правила для служебного трафика

Разрешить трафик для кластера и групп узловРазрешить трафик для кластера и групп узлов

Чтобы кластер работал корректно, создайте правила для входящего и исходящего трафика, и примените их к кластеру и группам узлов:

1. Добавьте правила для входящего трафика, которые разрешают:

   • Выполнять проверки состояния сетевого балансировщика нагрузки:
     • Диапазон портов — 0-65535.
     • Протокол — TCP.
     • Источник — Проверки состояния балансировщика.
   • Передавать служебный трафик между мастером и узлами:
     • Диапазон портов — 0-65535.
     • Протокол — Любой (Any).
     • Источник — Группа безопасности.
     • Группа безопасности — Текущая (Self).
   • Проверять работоспособность узлов с помощью ICMP-запросов из подсетей внутри Yandex Cloud:
     • Протокол — ICMP.
     • Источник — CIDR.
     • CIDR блоки — диапазоны адресов подсетей внутри Yandex Cloud, из которых будет осуществляться проверка работоспособности, например:
       • 10.0.0.0/8.
       • 192.168.0.0/16.
       • 172.16.0.0/12.

2. Добавьте правило для исходящего служебного трафика между мастером и узлами:

   • Диапазон портов — 0-65535.
   • Протокол — Любой (Any).
   • Назначение — Группа безопасности.
   • Группа безопасности — Текущая (Self).

Разрешить трафик для групп узловРазрешить трафик для групп узлов

Чтобы группы узлов работали корректно, создайте правила для входящего и исходящего трафика, и примените их к группам узлов:

1. Добавьте правило для входящего трафика, которое разрешает передачу трафика между подами и сервисами:

   • Диапазон портов — 0-65535.
   • Протокол — Любой (Any).
   • Источник — CIDR.
   • CIDR блоки — CIDR кластера и CIDR сервисов. Например, 10.96.0.0/16 и 10.112.0.0/16.

2. Добавьте правило для исходящего трафика, которое разрешает узлам в группе узлов подключаться к внешним ресурсам, например, чтобы скачивать образы с Docker Hub или работать с Yandex Object Storage:

   • Диапазон портов — 0-65535.
   • Протокол — Любой (Any).
   • Назначение — CIDR.
   • CIDR блоки — 0.0.0.0/0.

   Примечание

   Если вы используете высокодоступный тип мастера и не хотите разрешать узлам подключаться к любым адресам (CIDR — 0.0.0.0/0), разрешите исходящий трафик до CIDR подсетей, в которых расположены хосты мастера, или до CIDR кластера. Это нужно, чтобы у узлов был доступ к мастеру.

   Примеры

   • Доступ к CIDR кластера:

     • Диапазон портов — 0-65535.
     • Протокол — Любой (Any).
     • Назначение — CIDR.
     • CIDR блоки — 10.131.0.32/32.

   • Доступ к CIDR подсетей с хостами мастера:

     • Диапазон портов — 0-65535.
     • Протокол — Любой (Any).
     • Назначение — CIDR.
     • CIDR блоки — 10.128.0.0/24, 10.129.0.0/24, 10.131.0.0/24.

Разрешить трафик для кластераРазрешить трафик для кластера

Чтобы кластер работал корректно и к нему можно было подключиться, создайте правила для входящего и исходящего трафика и примените их к кластеру:

1. Добавьте правила для входящего трафика, которые разрешают подключение к мастеру через порты 6443 и 443. Это позволит получить доступ к API Kubernetes и управлять кластером с помощью kubectl и других утилит.

   Создайте два правила для входящего трафика, по одному для каждого порта:

   • Диапазон портов — 443, 6443.
   • Протокол — TCP.
   • Источник — CIDR.
   • CIDR блоки — укажите диапазон адресов подсетей, из которых будете управлять кластером, например:
     • 85.23.23.22/32 — для внешней сети.
     • 192.168.0.0/24 — для внутренней сети.

2. Добавьте правила для исходящего трафика, которые разрешают:

   • Передачу трафика между мастером и подами metric-server:

     • Диапазон портов — 4443.
     • Протокол — TCP.
     • Назначение — CIDR.
     • CIDR блоки — укажите CIDR кластера, например 10.96.0.0/16.

   • Подключение мастера к NTP-серверам для синхронизации времени:

     • Диапазон портов — 123.
     • Протокол — UDP.
     • Назначение — CIDR.
     • CIDR блоки — 0.0.0.0/0.

Создать правило для подключения к сервисам из интернетаСоздать правило для подключения к сервисам из интернета

Чтобы запущенные на узлах сервисы были доступны из интернета и подсетей внутри Yandex Cloud, создайте правило для входящего трафика, и примените его к группе узлов:

• Диапазон портов — 30000-32767.
• Протокол — TCP.
• Источник — CIDR.
• CIDR блоки — 0.0.0.0/0.

Создать правило для подключения к узлам по SSHСоздать правило для подключения к узлам по SSH

Чтобы получить доступ к узлам по протоколу SSH, создайте правило для входящего трафика и примените его к группе узлов:

• Диапазон портов — 22.
• Протокол — TCP.
• Источник — CIDR.
• CIDR блоки — диапазоны адресов подсетей внутри Yandex Cloud, а также публичные IP-адреса компьютеров в интернете, например:
  • 10.0.0.0/8.
  • 192.168.0.0/16.
  • 172.16.0.0/12.
  • 85.32.32.22/32.

Применить группы безопасности с правиламиПрименить группы безопасности с правилами

В зависимости от правил, которые содержатся в группах безопасности, эти группы должны быть назначены кластеру или группе узлов:

Примеры правилПримеры правил

Группы безопасности для кластера Managed Service for KubernetesГруппы безопасности для кластера Managed Service for Kubernetes

Пусть планируется создать кластер Kubernetes, в котором:

• Используется следующая конфигурация:

  • Высокодоступный мастер, размещенный в зонах доступности ru-central1-a, ru-central1-b и ru-central1-d.
  • Группа узлов worker-nodes-a, размещенная в зоне доступности ru-central1-a.
  • CIDR кластера — 10.96.0.0/16, CIDR сервисов — 10.112.0.0/16.

• Применяются следующие политики по обмену трафиком:

  • Проверка работоспособности узлов с помощью ICMP-запросов разрешена из следующих подсетей внутри Yandex Cloud:

    • 10.0.0.0/8,
    • 172.16.0.0/12,
    • 192.168.0.0/16.

  • Подключение к сервисам из интернета разрешено с любых адресов — 0.0.0.0/0.

  • Подключение к узлам по SSH разрешено только с одного адреса — 85.32.32.22/32.

  • Доступ к API Kubernetes разрешен из одной подсети — 203.0.113.0/24.

Чтобы создать такой кластер:

Группы безопасности для L7-балансировщика Application Load Balancer и кластера Managed Service for KubernetesГруппы безопасности для L7-балансировщика Application Load Balancer и кластера Managed Service for Kubernetes

Пусть необходимо создать правила для следующих условий:

• Требуется развернуть в трех подсетях балансировщик с публичным IP-адресом, принимающий HTTPS-трафик. CIDR подсетей — 10.128.0.0/24, 10.129.0.0/24 и 10.130.0.0/24.
• При создании кластера были указаны CIDR кластера 10.96.0.0/16 и CIDR сервисов 10.112.0.0/16.
• Группа узлов в кластере расположена в подсети, имеющей CIDR 10.140.0.0/24.
• Подключаться к узлам по SSH и управлять кластером через API, kubectl и другие утилиты можно только из CIDR 203.0.113.0/24.

locals {
  network-id = "<идентификатор_облачной_сети>"
}

resource "yandex_vpc_security_group" "alb" {
  description = "Группа безопасности балансировщика"
  name        = "alb"
  network_id  = local.network-id
  ingress {
    description    = "Правило для получения входящего HTTP-трафика"
    port           = 80
    protocol       = "TCP"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
  ingress {
    description    = "Правило для получения входящего HTTPS-трафика"
    port           = 443
    protocol       = "TCP"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
  ingress {
    description       = "Правило для проверок состояния узлов балансировщика"
    port              = 30080
    protocol          = "TCP"
    predefined_target = "loadbalancer_healthchecks"
  }
  egress {
    description    = "Правило для отправки трафика на узлы, в том числе для проверок состояния"
    from_port      = 0
    to_port        = 65535
    protocol       = "TCP"
    v4_cidr_blocks = ["10.140.0.0/24"]
  }
}

resource "yandex_vpc_security_group" "nodegroup-backend" {
  description = "Группа безопасности группы узлов для проверок состояния бэкендов"
  name        = "nodegroup-backend"
  network_id  = local.network-id
  ingress {
    description    = "Правило для проверок состояния бэкендов"
    port           = 10501
    protocol       = "TCP"
    v4_cidr_blocks = ["10.128.0.0/24", "10.129.0.0/24", "10.130.0.0/24"]
  }
}

resource "yandex_vpc_security_group" "k8s-cluster-nodegroup-traffic" {
  description = "Группа безопасности кластера и группы узлов для служебного трафика"
  name        = "k8s-cluster-nodegroup-traffic"
  network_id  = local.network-id
  ingress {
    description       = "Правило для сетевого балансировщика нагрузки"
    from_port         = 0
    to_port           = 65535
    protocol          = "TCP"
    predefined_target = "loadbalancer_healthchecks"
  }
  ingress {
    description       = "Правило для трафика между мастером и узлами"
    from_port         = 0
    to_port           = 65535
    protocol          = "ANY"
    predefined_target = "self_security_group"
  }
  ingress {
    description    = "Правило для проверки работоспособности узлов из подсетей внутри Yandex Cloud"
    from_port      = 0
    to_port        = 65535
    protocol       = "IPV6_ICMP"
    v4_cidr_blocks = ["10.0.0.0/8", "192.168.0.0/16", "172.16.0.0/12"]
  }
  egress {
    description       = "Правило для трафика между мастером и узлами"
    from_port         = 0
    to_port           = 65535
    protocol          = "ANY"
    predefined_target = "self_security_group"
  }
}

resource "yandex_vpc_security_group" "nodegroup-traffic" {
  description = "Группа безопасности группы узлов для служебного трафика"
  name        = "nodegroup-traffic"
  network_id  = local.network-id
  ingress {
    description    = "Правило для трафика между подами и сервисами"
    from_port      = 0
    to_port        = 65535
    protocol       = "ANY"
    v4_cidr_blocks = ["10.96.0.0/16", "10.112.0.0/16"]
  }
  egress {
    description    = "Правило для доступа к внешним ресурсам"
    from_port      = 0
    to_port        = 65535
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
}

resource "yandex_vpc_security_group" "k8s-cluster-traffic" {
  description = "Группа безопасности кластера для служебного трафика"
  name        = "k8s-cluster-traffic"
  network_id  = local.network-id
  ingress {
    description    = "Правило для доступа к API Kubernetes"
    port           = 443
    protocol       = "TCP"
    v4_cidr_blocks = ["203.0.113.0/24"]
  }
  ingress {
    description    = "Правило для доступа к API Kubernetes"
    port           = 6443
    protocol       = "TCP"
    v4_cidr_blocks = ["203.0.113.0/24"]
  }
  egress {
    description    = "Правило для трафика между мастером и подами metric-server"
    port           = 4443
    protocol       = "TCP"
    v4_cidr_blocks = ["10.96.0.0/16"]
  }
}

resource "yandex_vpc_security_group" "nodegroup-services-access" {
  description = "Группа безопасности группы узлов для подключения к сервисам из интернета"
  name        = "nodegroup-services-access"
  network_id  = local.network-id
  ingress {
    description    = "Правило для доступа к сервисам из интернета и подсетей Yandex Cloud"
    from_port      = 30000
    to_port        = 32767
    protocol       = "TCP"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
}

resource "yandex_vpc_security_group" "nodegroup-ssh" {
  description = "Группа безопасности группы узлов для подключения к узлам по SSH"
  name        = "nodegroup-ssh"
  network_id  = local.network-id
  ingress {
    description    = "Правило для подключения к узлам по SSH"
    port           = 22
    protocol       = "TCP"
    v4_cidr_blocks = ["203.0.113.0/24"]
  }
}