Мониторинг кластера Managed Service for Kubernetes с помощью Filebeat OSS

Filebeat OSS — плагин, который позволяет собирать и передавать логи в экосистему OpenSearch. Filebeat устанавливается в кластер Managed Service for Kubernetes, собирает логи кластера и подов, а затем отправляет их в сервис Yandex Managed Service for OpenSearch.

Чтобы настроить мониторинг кластера Managed Service for Kubernetes с помощью Filebeat OSS:

1. Установите Filebeat OSS.
2. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

1. Создайте кластер Managed Service for Kubernetes и группу узлов.

   Вручную

   Terraform

   1. Если у вас еще нет сети, создайте ее.

   2. Если у вас еще нет подсетей, создайте их в зонах доступности, где будут созданы кластер Managed Service for Kubernetes и группа узлов.

   3. Создайте группы безопасности для кластера Managed Service for Kubernetes и входящих в него групп узлов.

      Важно

      От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

   4. Создайте кластер Managed Service for Kubernetes и группу узлов любой подходящей конфигурации. При создании укажите группы безопасности, подготовленные ранее.

   1. Если у вас еще нет Terraform, установите его.

   2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

   3. Скачайте в ту же рабочую директорию файл конфигурации кластера Managed Service for Kubernetes k8s-cluster.tf. В файле описаны:

      • Сеть.

      • Подсеть.

      • Кластер Managed Service for Kubernetes.

      • Сервисный аккаунт, необходимый для работы кластера Managed Service for Kubernetes и группы узлов.

      • Группы безопасности, которые содержат необходимые правила для кластера Managed Service for Kubernetes и входящих в него групп узлов.

        Важно

        От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

   4. Укажите в файле конфигурации:

      • Идентификатор каталога.
      • Версию Kubernetes для кластера Managed Service for Kubernetes и групп узлов.
      • CIDR кластера Managed Service for Kubernetes.
      • Имя сервисного аккаунта. Оно должно быть уникальным в рамках каталога.

   5. Выполните команду terraform init в директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

   6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   7. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

2. Установите kubectl и настройте его на работу с созданным кластером.

3. Создайте кластер Managed Service for OpenSearch любой подходящей конфигурации.

Установите Filebeat OSSУстановите Filebeat OSS

Установите Filebeat OSS согласно инструкции.

Проверьте результатПроверьте результат

Убедитесь, что логи кластера Managed Service for Kubernetes поступают в кластер Managed Service for OpenSearch:

curl \
  --user admin:<пароль_пользователя_admin_кластера_Managed_Service_for_OpenSearch> \
  --cacert CA.pem \
  --request GET 'https://<имя_хоста_OpenSearch_с_ролью_DATA>:9200/_cat/indices?v'

В списке должны быть индексы filebeat-7.12.1-<дата_лога> c логами кластера Managed Service for Kubernetes.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать.

Удалите кластер Managed Service for OpenSearch.

Остальные ресурсы удалите в зависимости от способа их создания: