Настройка логирования для L7-балансировщика Yandex Application Load Balancer с помощью Ingress-контроллера

Вы можете задать настройки логирования для L7-балансировщиков, созданных с помощью Ingress-контроллеров Application Load Balancer в кластере Managed Service for Kubernetes.

Из этой статьи вы узнаете, как создать три L7-балансировщика с различными настройками логирования:

• Запись в лог-группу по умолчанию.
• Запись в пользовательскую лог-группу.
• Без записи логов.

Чтобы задать настройки для L7-балансировщиков:

1. Создайте тестовое приложение.
2. Создайте ресурсы Ingress.
3. Задайте настройки для групп ресурсов Ingress.
4. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за DNS-зону и DNS-запросы (см. тарифы Cloud DNS).
• Плата за кластер Managed Service for Kubernetes: использование мастера и исходящий трафик (см. тарифы Managed Service for Kubernetes).
• Плата за узлы кластера (ВМ): использование вычислительных ресурсов, операционной системы и хранилища (см. тарифы Compute Cloud).
• Плата за использование вычислительных ресурсов каждого L7-балансировщика (см. тарифы Application Load Balancer).
• Плата за публичные IP-адреса для узлов кластера и L7-балансировщиков (см. тарифы Virtual Private Cloud).
• Плата за сервис Cloud Logging: запись и хранение данных (см. тарифы Cloud Logging).

Перед началом работыПеред началом работы

Подготовьте инфраструктуруПодготовьте инфраструктуру

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Подготовьтесь к работе с кластером Managed Service for KubernetesПодготовьтесь к работе с кластером Managed Service for Kubernetes

1. Установите kubectl и настройте его на работу с созданным кластером.

   Если для кластера не предоставлен публичный адрес и kubectl настроен через внутренний адрес кластера, выполняйте команды kubectl на ВМ Yandex Cloud, находящейся в одной сети с кластером.

2. Установите менеджер пакетов Kubernetes Helm.

Зарегистрируйте доменную зонуЗарегистрируйте доменную зону

Зарегистрируйте публичную доменную зону и делегируйте домен.

Установите Ingress-контроллер Application Load BalancerУстановите Ingress-контроллер Application Load Balancer

Установите приложение ALB Ingress Controller согласно инструкции. При установке используйте данные ключа key.json из раздела Подготовьте инфраструктуру.

Создайте тестовое приложениеСоздайте тестовое приложение

Создайте объекты ConfigMap, Deployment с NGINX и Service для приложения.

1. Создайте файл приложения app.yaml:

   app.yaml

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: alb-demo-1
   data:
     nginx.conf: |
       worker_processes auto;
       events {
       }
       http {
         server {
           listen 80 ;
           location = /_healthz {
             add_header Content-Type text/plain;
             return 200 'ok';
           }
           location / {
             add_header Content-Type text/plain;
             return 200 'Index';
           }
           location = /app1 {
             add_header Content-Type text/plain;
             return 200 'This is APP#1';
           }
         }
       }
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: alb-demo-1
     labels:
       app: alb-demo-1
       version: v1
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: alb-demo-1
     strategy:
       type: RollingUpdate
       rollingUpdate:
         maxSurge: 1
         maxUnavailable: 0
     template:
       metadata:
         labels:
           app: alb-demo-1
           version: v1
       spec:
         terminationGracePeriodSeconds: 5
         volumes:
           - name: alb-demo-1
             configMap:
               name: alb-demo-1
         containers:
           - name: alb-demo-1
             image: nginx:latest
             ports:
               - name: http
                 containerPort: 80
             livenessProbe:
               httpGet:
                 path: /_healthz
                 port: 80
               initialDelaySeconds: 3
               timeoutSeconds: 2
               failureThreshold: 2
             volumeMounts:
               - name: alb-demo-1
                 mountPath: /etc/nginx
                 readOnly: true
             resources:
               limits:
                 cpu: 250m
                 memory: 128Mi
               requests:
                 cpu: 100m
                 memory: 64Mi
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: alb-demo-1
   spec:
     selector:
       app: alb-demo-1
     type: NodePort
     ports:
       - name: http
         port: 80
         targetPort: 80
         protocol: TCP
         nodePort: 30081
   

2. Создайте приложение:

   kubectl apply -f app.yaml
   

   Результат:

   configmap/alb-demo-1 created
   deployment.apps/alb-demo-1 created
   service/alb-demo-1 created
   

Создайте ресурсы IngressСоздайте ресурсы Ingress

Создайте три ресурса Ingress, из которых Ingress-контроллер Application Load Balancer создаст три балансировщика с нужными обработчиками и HTTP-роутерами.

1. Создайте файл ingress.yaml и укажите в нем настройки балансировщиков и доменное имя:

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: logs-demo-nondefault
     annotations:
       ingress.alb.yc.io/group-name: non-default
       ingress.alb.yc.io/subnets: <список_идентификаторов_подсетей>
       ingress.alb.yc.io/security-groups: <список_идентификаторов_групп_безопасности>
       ingress.alb.yc.io/group-settings-name: non-default-settings
       ingress.alb.yc.io/external-ipv4-address: auto
   spec:
     rules:
       - host: <доменное_имя>
         http:
           paths:
             - pathType: Prefix
               path: "/"
               backend:
                 service:
                   name: alb-demo-1
                   port: 
                     name: http
   ---
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: logs-demo-disabled
     annotations:
       ingress.alb.yc.io/group-name: logs-disabled
       ingress.alb.yc.io/subnets: <список_идентификаторов_подсетей>
       ingress.alb.yc.io/security-groups: <список_идентификаторов_групп_безопасности>
       ingress.alb.yc.io/group-settings-name: logs-disabled-settings
       ingress.alb.yc.io/external-ipv4-address: auto
   spec:
     rules:
       - host: <доменное_имя>
         http:
           paths:
             - pathType: Prefix
               path: "/"
               backend:
                 service:
                   name: alb-demo-1
                   port:
                     name: http
   ---
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: logs-demo-default
     annotations:
       ingress.alb.yc.io/group-name: default
       ingress.alb.yc.io/subnets: <список_идентификаторов_подсетей>
       ingress.alb.yc.io/security-groups: <список_идентификаторов_групп_безопасности>
       ingress.alb.yc.io/external-ipv4-address: auto
   spec:
     rules:
       - host: <доменное_имя>
         http:
           paths:
             - pathType: Prefix
               path: "/"
               backend:
                 service:
                   name: alb-demo-1
                   port:
                     name: http
   

   Где:

   • ingress.alb.yc.io/group-name — имя группы. Ресурсы Ingress объединяются в группы, каждая из которых обслуживается отдельным L7-балансировщиком Application Load Balancer.

   • ingress.alb.yc.io/subnets — одна или несколько подсетей, в которых будет расположен балансировщик.

   • ingress.alb.yc.io/security-groups — одна или несколько групп безопасности для балансировщика. Если параметр не задан, используется группа безопасности по умолчанию.

   • ingress.alb.yc.io/external-ipv4-address — предоставление публичного доступа к балансировщику из интернета. Укажите заранее полученный IP-адрес либо установите значение auto, чтобы получить новый.

     Если вы указали значение auto, то при удалении балансировщика из облака также будет удален его IP-адрес. Чтобы избежать этого, используйте имеющийся зарезервированный адрес.

   • ingress.alb.yc.io/group-settings-name — имя для настроек группы ресурсов Ingress, которые должны быть описаны в дополнительном ресурсе IngressGroupSettings.

   (Опционально) Укажите дополнительные настройки контроллеров.

   Примечание

   Перечисленные ниже настройки будут применены только к виртуальным хостам для ресурса Ingress, в котором заданы аннотации, соответствующие этим настройкам.

   К виртуальным хостам остальных ресурсов Ingress в группе эти настройки применены не будут.

   • ingress.alb.yc.io/internal-ipv4-address — предоставление внутреннего доступа к балансировщику. Укажите внутренний IP-адрес, либо установите значение auto, чтобы получить IP-адрес автоматически.

     Примечание

     Вы можете одновременно использовать только один тип доступа к балансировщику: ingress.alb.yc.io/external-ipv4-address или ingress.alb.yc.io/internal-ipv4-address.

   • ingress.alb.yc.io/internal-alb-subnet — подсеть, в которой нужно разместить балансировщик. Обязательный параметр, если выбран параметр ingress.alb.yc.io/internal-ipv4-address.

   • ingress.alb.yc.io/protocol — протокол соединений между балансировщиком и бэкендами:

     • http — HTTP/1.1. Значение по умолчанию.
     • http2 — HTTP/2.
     • grpc — gRPC.

   • ingress.alb.yc.io/transport-security — протокол шифрования соединений между балансировщиком и бэкендами.

     Важно

     В ALB Ingress Controller версии 0.2.0 и позднее аннотация используется только в объекте Service.

     Если указать аннотацию в ресурсах Ingress, где используется один сервис с одинаковыми настройками для групп бэкендов, аннотация применится корректно. Но такой механизм устарел, в дальнейшем он не будет поддерживаться.

     Допустимое значение: tls — TLS без проверки сертификата.

     Если аннотация не указана, балансировщик соединяется с бэкендами без шифрования.

   • ingress.alb.yc.io/prefix-rewrite — замена пути на указанное значение.

   • ingress.alb.yc.io/upgrade-types — допустимые значения HTTP-заголовка Upgrade, например, websocket.

   • ingress.alb.yc.io/request-timeout — максимальный период, на который может быть установлено соединение.

   • ingress.alb.yc.io/idle-timeout — максимальный период, в течение которого соединение может простаивать без передачи данных.

     Значения для request-timeout и idle-timeout следует указывать с единицами измерения, например: 300ms, 1.5h. Допустимые единицы измерения:

     • ns — наносекунды.
     • us — микросекунды.
     • ms — миллисекунды.
     • s — секунды.
     • m — минуты.
     • h — часы.

   Подробное описание настроек ресурса Ingress см. в статье Поля и аннотации ресурса Ingress.

2. Создайте ресурсы Ingress:

   kubectl apply -f ingress.yaml
   

   Результат:

   ingress.networking.k8s.io/logs-demo-nondefault created
   ingress.networking.k8s.io/logs-demo-disabled created
   ingress.networking.k8s.io/logs-demo-default created
   

   По конфигурациям ресурсов Ingress будут автоматически развернуты три L7-балансировщика.

Задайте настройки для групп ресурсов IngressЗадайте настройки для групп ресурсов Ingress

Создайте ресурс IngressGroupSettings с настройками логирования для групп ресурсов Ingress:

• non-default-settings — запись в пользовательскую лог-группу, созданную ранее, с определенными правилами.
• logs-disabled-settings — запись логов отключена.

Для записи в лог-группу по умолчанию настройки не указываются.

1. Создайте файл settings.yaml и укажите в нем идентификатор лог-группы:

   apiVersion: alb.yc.io/v1alpha1
   kind: IngressGroupSettings
   metadata:
     name: non-default-settings
   logOptions:
     logGroupID: <идентификатор_пользовательской_лог-группы>
     discardRules:
       - discardPercent: 50
         grpcCodes:
           - OK
           - CANCELLED
           - UNKNOWN
       - discardPercent: 67
         httpCodeIntervals:
           - HTTP_1XX
       - discardPercent: 20
         httpCodes:
           - 200
           - 404
   ---
   apiVersion: alb.yc.io/v1alpha1
   kind: IngressGroupSettings
   metadata:
     name: logs-disabled-settings
   logOptions:
     disable: true
   

2. Создайте ресурсы:

   kubectl apply -f settings.yaml
   

   Результат:

   ingressgroupsettings.alb.yc.io/non-default-settings created
   ingressgroupsettings.alb.yc.io/logs-disabled-settings created
   

Настройки, указанные в этих ресурсах, применятся к группам ресурсов Ingress в соответствии с аннотациями ingress.alb.yc.io/group-settings-name, указанными для ресурсов Ingress.

Проверьте результатПроверьте результат

Получите идентификаторы лог-групп для созданных L7-балансировщиков и убедитесь, что они соответствуют настройкам в файле settings.yaml:

• Для одного балансировщика должна быть выбрана созданная пользовательская лог-группа с определенными правилами.
• Для другого — лог-группа по умолчанию.
• Для третьего запись логов должна быть отключена.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать: