Миграция сервисов с балансировщика NLB с целевыми ресурсами из кластера Yandex Managed Service for Kubernetes на L7-балансировщик ALB с помощью Terraform

Статья создана

Yandex Cloud

Обновлена 17 марта 2025 г.

Рекомендации по миграции сервисов
Создайте инфраструктуру
Установите Ingress-контроллер Application Load Balancer и создайте ресурсы в кластере Managed Service for Kubernetes
Проверьте работу L7-балансировщика
Мигрируйте пользовательскую нагрузку с сетевого балансировщика на L7-балансировщик
- Сохранить публичный IP-адрес для вашего сервиса
- Не сохранять публичный IP-адрес для вашего сервиса

Чтобы мигрировать сервис с сетевого балансировщика на L7-балансировщик:

Ознакомьтесь с рекомендациями по миграции сервисов.
Создайте инфраструктуру. На этом этапе вы подключите профиль безопасности Smart Web Security к виртуальному хосту L7-балансировщика.
Установите Ingress-контроллер Application Load Balancer и создайте ресурсы в кластере Managed Service for Kubernetes. На этом этапе вы подключите профиль безопасности Smart Web Security к L7-балансировщику.
Проверьте работу L7-балансировщика.
Мигрируйте пользовательскую нагрузку с сетевого балансировщика на L7-балансировщик.

Создайте инфраструктуру

Если у вас еще нет Terraform, установите его.
Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.
Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.
Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.
Скачайте в ту же рабочую директорию файл конфигурации в зависимости от используемого протокола:
- HTTP — файл конфигурации alb-k8s-http.tf.
- HTTPS — файл конфигурации alb-k8s-https.tf.
В этих файлах описаны:
- подсети для L7-балансировщика;
- группа безопасности для L7-балансировщика;
- статический адрес для L7-балансировщика;
- импорт TLS-сертификата в Certificate Manager (если используется протокол HTTPS);
- профиль безопасности Smart Web Security.
В конфигурационном файле укажите значения переменных:
- domain_name — имя домена вашего сервиса.
- network_id — идентификатор сети, в которой находятся виртуальные машины из целевой группы сетевого балансировщика нагрузки.
- certificate (если используется протокол HTTPS) — путь к файлу самоподписанного пользовательского сертификата.
- private_key (если используется протокол HTTPS) — путь к файлу с закрытым ключом.
Проверьте корректность файлов конфигурации Terraform с помощью команды:
```
terraform validate
```
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Создайте необходимую инфраструктуру:
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.
В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Установите Ingress-контроллер Application Load Balancer и создайте ресурсы в кластере Managed Service for Kubernetes

Установите Ingress-контроллер Yandex Application Load Balancer.
Создайте ресурс IngressClass для Ingress-контроллера L7-балансировщика:
1. Создайте YAML-файл, в котором опишите ресурс IngressClass.
  
  Пример ресурса IngressClass:
```
apiVersion: networking.k8s.io/v1
kind: IngressClass
metadata:
  labels:
    app.kubernetes.io/component: controller
  name: ingress-alb
spec:
  controller: ingress.alb.yc.io/yc-alb-ingress-controller
```
2. Создайте ресурс IngressClass с помощью команды:
```
kubectl apply -f <файл_с_ресурсом_IngressClass>
```
Создайте ресурс Ingress:
1. Ознакомьтесь с описанием полей и аннотаций ресурса Ingress и примером.
2. Создайте YAML-файл, в котором опишите ресурс Ingress:
  - Заполните раздел annotations для настроек L7-балансировщика:
    - ingress.alb.yc.io/subnets — идентификаторы подсетей в трех зонах доступности для узлов L7-балансировщика. Идентификаторы перечисляются через запятую без пробелов.
    - ingress.alb.yc.io/security-groups — идентификатор одной или нескольких групп безопасности для L7-балансировщика. Идентификаторы нескольких групп перечисляются через запятую без пробелов.
    - ingress.alb.yc.io/external-ipv4-address — зарезервированный ранее статический публичный IP-адрес.
    - ingress.alb.yc.io/group-name — имя группы ресурсов Ingress. Ресурсы Ingress объединяются в группы, каждая из которых обслуживается отдельным экземпляром Application Load Balancer с отдельным публичным IP-адресом.
    - ingress.alb.yc.io/security-profile-id — идентификатор созданного ранее профиля безопасности Smart Web Security.
      
      Важно
      
      Профиль безопасности будет привязан к виртуальному хосту L7-балансировщика. Указание профиля безопасности является ключевым шагом для подключения сервиса Smart Web Security.
    - ingress.alb.yc.io/autoscale-min-zone-size — минимальное количество ресурсных единиц в каждой зоне доступности в соответствии с ожидаемой нагрузкой на ваш сервис.
      
      Количество ресурсных единиц рекомендуется выбирать на основе нагрузки на ваш сервис, измеряемой в следующих величинах:
      - количество запросов в секунду (RPS);
      - количество одновременных активных соединений;
      - количество новых соединений в секунду;
      - объем трафика в секунду.
  - Для поля ingressClassName укажите имя созданного ранее ресурса IngressClass.
  - При использовании протокола HTTPS заполните раздел tls:
    - hosts — доменное имя вашего сервиса, которому соответствует TLS-сертификат.
    - secretName — TLS-сертификат вашего сервиса в Yandex Certificate Manager в формате yc-certmgr-cert-id-<идентификатор_сертификата>.
  - Заполните раздел rules в соответствии с правилами распределения входящего трафика по бэкендам в зависимости от доменного имени (поле host) и запрашиваемого ресурса (поле http.paths):
    - host — имя домена вашего сервиса.
    - pathType — тип указания на запрашиваемый ресурс:
      - Exact — путь в URI запроса должен совпадать со значением поля path.
      - Prefix — путь в URI запроса должен начинаться со значения поля path.
    - path — путь в URI входящего запроса (если тип Exact) или его начало (если тип Prefix).
    - backend — указание на бэкенд или группу бэкендов, которые должны обрабатывать запросы с указанным доменным именем и путем в URI. Укажите либо сервис-бэкенд (service), либо группу бэкендов (resource), но не оба одновременно:
      - service — сервис Managed Service for Kubernetes, который должен обрабатывать запросы в качестве бэкенда:
        
        name — имя сервиса Managed Service for Kubernetes. Ресурс Service, на который указывает это поле, должен быть описан по конфигурации.
        
        port — порт сервиса, к которому будет обращаться Ingress. Для порта сервиса укажите либо номер (number), либо имя (name), но не оба одновременно.
        
        Важно
        
        Сервисы Managed Service for Kubernetes, используемые в качестве бэкендов, должны иметь тип NodePort.
      - resource — указание на группу бэкендов HttpBackendGroup, которые должны обрабатывать запросы. Бэкендами в такой группе могут быть сервисы Managed Service for Kubernetes и бакеты Yandex Object Storage. При использовании группы бэкендов доступна расширенная функциональность Application Load Balancer. Также можно указывать относительные веса бэкендов для пропорционального распределения трафика между ними.
        
        kind — HttpBackendGroup.
        
        name — имя группы бэкендов. Оно должно совпадать с именем, указанным в поле metadata.name ресурса HttpBackendGroup. Ресурс HttpBackendGroup, на который указывает это поле, должен быть описан по конфигурации.
        
        apiGroup — alb.yc.io.
  Пример ресурса Ingress:
```
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: <имя_ресурса>
  annotations:
    ingress.alb.yc.io/subnets: <идентификатор_подсети_ru-central1-a,идентификатор_подсети_ru-central1-b,идентификатор_подсети_ru-central1-d>
    ingress.alb.yc.io/security-groups: <идентификатор_группы_безопасности_L7-балансировщика>
    ingress.alb.yc.io/external-ipv4-address: <статический_публичный_IP-адрес>
    ingress.alb.yc.io/group-name: <имя_группы_ресурсов>
    ingress.alb.yc.io/security-profile-id: <идентификатор_профиля_безопасности_Smart_Web_Security>
    ingress.alb.yc.io/autoscale-min-zone-size: <минимальное_количество_ресурсных_единиц_L7-балансировщика_в_каждой_зоне>
spec:
  ingressClassName: <имя_ресурса_IngressClass>
  tls:
    - hosts:
        - <имя_домена_сервиса>
      secretName: yc-certmgr-cert-id-<идентификатор_сертификата>
  rules:
    - host: <имя_домена_сервиса>
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service:
              name: <имя_сервиса_Kubernetes>
              port:
                number: <номер_порта,_например_443>
```
3. Создайте ресурс Ingress с помощью команды:
```
kubectl apply -f <файл_с_ресурсом_Ingress>
```
По конфигурации ресурса Ingress будет развернут L7-балансировщик. Дождитесь завершения его создания и привязки к Ingress публичного IP-адреса. Этот IP-адрес понадобится для проверки запросов. Посмотреть информацию о ресурсе вы можете с помощью команды:
```
kubectl get ingress <имя_ресурса_Ingress> -w
```

Проверьте работу L7-балансировщика

Протестируйте запрос к сервису через L7-балансировщик. Например, одним из способов:

В файле hosts на рабочей станции добавьте запись <публичный_IP-адрес_L7-балансировщика> <имя_домена_сервиса>. Удалите запись после тестирования.

Выполните запрос с помощью cURL в зависимости от типа протокола:

curl http://<имя_домена_сервиса> \
    --resolve <имя_домена_сервиса>:<порт_сервиса>:<публичный_IP-адрес_L7-балансировщика>

curl https://<имя_домена_сервиса> \
    --resolve <имя_домена_сервиса>:<порт_сервиса>:<публичный_IP-адрес_L7-балансировщика>

Мигрируйте пользовательскую нагрузку с сетевого балансировщика на L7-балансировщик

Выберите один из вариантов миграции:

Сохранить публичный IP-адрес для вашего сервиса

Если у сетевого балансировщика используется динамический публичный IP-адрес, сделайте его статическим.
В сетевом балансировщике удалите все обработчики для освобождения статического публичного IP-адреса. После этого ваш сервис не будет доступен через сетевой балансировщик.
В L7-балансировщике назначьте обработчику публичный IP-адрес, который ранее был у сетевого балансировщика:
1. Откройте YAML-файл с описанием ресурса Ingress.
2. В разделе annotations для поля ingress.alb.yc.io/external-ipv4-address укажите публичный IP-адрес, который ранее был у сетевого балансировщика.
3. Примените изменения с помощью команды:
```
kubectl apply -f <файл_с_ресурсом_Ingress>
```
Дождитесь завершения изменения публичного IP-адреса у ресурса Ingress. Посмотреть информацию о ресурсе вы можете с помощью команды:
```
kubectl get ingress <имя_ресурса_Ingress> -w
```
После изменения IP-адреса восстановится доступность вашего сервиса через L7-балансировщик.
Перейдите в L7-балансировщик:
1. В консоли управления перейдите в каталог, в котором находится кластер Managed Service for Kubernetes.
2. Выберите сервис Managed Service for Kubernetes.
3. Выберите нужный кластер.
4. Слева выберите Сеть, а в правой части — вкладку Ingress. Для вашего Ingress-ресурса в столбце Балансировщик перейдите по ссылке на L7-балансировщик.
5. Наблюдайте за пользовательской нагрузкой, поступающей на L7-балансировщик, на графиках статистики работы балансировщика.
Удалите освободившийся статический публичный IP-адрес, который был зарезервирован для L7-балансировщика:
1. Откройте конфигурационный файл, который вы использовали для создания L7-балансировщика (alb-k8s-http.tf или alb-k8s-https.tf).
2. Удалите из файла описание ресурса yandex_vpc_address:
```
resource "yandex_vpc_address" "static-address" {
  description = "Static public IP address for the Application Load Balancer"
  name        = "alb-static-address"
  external_ipv4_address {
    zone_id                  = "ru-central1-a"
    ddos_protection_provider = "qrator"
  }
}
```
3. Примените изменения:
  1. В терминале перейдите в папку, где вы отредактировали конфигурационный файл.
  2. Проверьте корректность конфигурационного файла с помощью команды:
```
terraform validate
```
    Если конфигурация является корректной, появится сообщение:
```
Success! The configuration is valid.
```
  3. Выполните команду:
```
terraform plan
```
    В терминале будет выведен список ресурсов с параметрами. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.
  4. Примените изменения конфигурации:
```
terraform apply
```
  5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.
(Опционально) После переноса пользовательской нагрузки на L7-балансировщик удалите сетевой балансировщик.

Не сохранять публичный IP-адрес для вашего сервиса

Чтобы мигрировать пользовательскую нагрузку с сетевого балансировщика на L7-балансировщик, в DNS-сервисе, обслуживающем публичную зону вашего домена, измените значение А-записи для доменного имени сервиса на публичный IP-адрес L7-балансировщика. Если публичная зона домена была создана в Yandex Cloud DNS, то измените запись по инструкции.

Примечание

Распространение изменений в записи DNS зависит от значения времени жизни записи (TTL) и количества звеньев цепочки DNS-запросов. Это может занять продолжительное время.
По мере распространения изменений в записи DNS наблюдайте за ростом запросов, поступающих на L7-балансировщик:
1. В консоли управления перейдите в каталог, в котором находится кластер Managed Service for Kubernetes.
2. Выберите сервис Managed Service for Kubernetes.
3. Выберите нужный кластер.
4. Слева выберите Сеть, а в правой части — вкладку Ingress. Для вашего Ingress-ресурса в столбце Балансировщик перейдите по ссылке на L7-балансировщик.
5. Наблюдайте за пользовательской нагрузкой, поступающей на L7-балансировщик, на графиках статистики работы балансировщика.
Наблюдайте за снижением нагрузки на сетевой балансировщик с помощью метрик балансировщика processed_bytes и processed_packets. Для визуализации этих метрик можно создать дашборд. Отсутствие нагрузки на сетевом балансировщике в течение продолжительного времени свидетельствует о том, что перенос пользовательской нагрузки на L7-балансировщик завершен.
(Опционально) После переноса пользовательской нагрузки на L7-балансировщик удалите сетевой балансировщик.

Миграция сервисов с балансировщика NLB с целевыми ресурсами из кластера Yandex Managed Service for Kubernetes на L7-балансировщик ALB с помощью Terraform

Рекомендации по миграции сервисовРекомендации по миграции сервисов

Создайте инфраструктуруСоздайте инфраструктуру

Проверьте работу L7-балансировщикаПроверьте работу L7-балансировщика

Сохранить публичный IP-адрес для вашего сервисаСохранить публичный IP-адрес для вашего сервиса

Не сохранять публичный IP-адрес для вашего сервисаНе сохранять публичный IP-адрес для вашего сервиса

Была ли статья полезна?

Рекомендации по миграции сервисов

Создайте инфраструктуру

Проверьте работу L7-балансировщика

Сохранить публичный IP-адрес для вашего сервиса

Не сохранять публичный IP-адрес для вашего сервиса