Установка Filebeat OSS

Filebeat OSS — плагин, который позволяет собирать и передавать логи в экосистему OpenSearch. Filebeat OSS устанавливается в кластер Managed Service for Kubernetes, собирает логи кластера и подов, а затем отправляет их в сервис Yandex Managed Service for OpenSearch.

Перед началом работыПеред началом работы

1. Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

   По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

2. Убедитесь, что кластер Managed Service for Kubernetes расположен в той же облачной сети, что и кластер Managed Service for OpenSearch.

3. Убедитесь, что группы безопасности для кластера Managed Service for Kubernetes и его групп узлов настроены корректно. Если отсутствует какое-либо из правил — добавьте его.

   Важно

   От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

4. Включите режим совместимости для поддержки клиента Filebeat OSS в OpenSearch. Для этого выполните запрос:

   wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" && \
   curl \
   --user <имя_пользователя>:<пароль> --cacert CA.pem \
   --request PUT https://<имя_хоста_с_ролью_DATA>:9200/_cluster/settings \
   --header "Content-Type: application/json" \
   --data \
   '{
   "persistent": {
     "compatibility": {
       "override_main_response_version": true
     }
   }
   }'
   

   Где:

   • <имя_пользователя> — имя пользователя OpenSearch.
   • <пароль> — пароль пользователя OpenSearch.
   • <имя_хоста> — имя хоста Managed Service for OpenSearch с ролью DATA, например, rc1a-7hkolet********.mdb.yandexcloud.net.

   Успешный ответ приходит в виде:

   {
     "acknowledged":true,
     "persistent":
     {
       "compatibility":
       {
         "override_main_response_version":"true"
       }
     },
     "transient":{}
   }
   

Установка с помощью Yandex Cloud MarketplaceУстановка с помощью Yandex Cloud Marketplace

1. Перейдите на страницу каталога и выберите сервис Managed Service for Kubernetes.
2. Нажмите на имя нужного кластера Managed Service for Kubernetes и выберите вкладку Marketplace.
3. В разделе Доступные для установки приложения выберите Filebeat OSS и нажмите кнопку Перейти к установке.
4. Задайте настройки приложения:
   • Пространство имен — создайте новое пространство имен (например, filebeat-oss-space). Если вы оставите пространство имен по умолчанию, Filebeat OSS может работать некорректно.
   • Название приложения — укажите название приложения, например filebeat-oss.
   • Имя пользователя OpenSearch — введите имя учетной записи, под которой Filebeat OSS будет подключаться к кластеру Managed Service for OpenSearch.
   • Пароль для подключения к OpenSearch — введите пароль для учетной записи в кластере Managed Service for OpenSearch.
   • FQDN сервиса OpenSearch — укажите URL и порт для хоста кластера Managed Service for OpenSearch с ролью DATA, например https://rc1a-7hkolet********.mdb.yandexcloud.net:9200. Подробнее о подключении к кластеру см. в документации сервиса.
5. Нажмите кнопку Установить.
6. Дождитесь перехода приложения в статус Deployed.

Установка с помощью Helm-чартаУстановка с помощью Helm-чарта

1. Установите менеджер пакетов Helm версии не ниже 3.8.0.

2. Установите kubectl и настройте его на работу с созданным кластером.

3. Для установки Helm-чарта с Filebeat OSS выполните команду:

   helm pull oci://cr.yandex/yc-marketplace/yandex-cloud/filebeat-oss/chart/filebeat-oss \
     --version 7.12.1-1 \
     --untar && \
   helm install \
     --namespace <пространство_имен> \
     --create-namespace \
     --set app.url='<URL_и_порт_для_хоста_кластера_Managed_Service_for_OpenSearch_с_ролью_DATA>' \
     --set app.username='<имя_пользователя_в_кластере_OpenSearch>' \
     --set app.password='<пароль_пользователя_в_кластере_OpenSearch>' \
     filebeatoss ./filebeat-oss/
   

   Эта команда также создаст новое пространство имен, необходимое для работы Filebeat OSS.

   Если вы укажете в параметре namespace пространство имен по умолчанию, Filebeat OSS может работать некорректно. Рекомендуем указывать значение, отличное от всех существующих пространств имен (например, filebeat-oss-space).

   Примечание

   Если вы используете версию Helm ниже 3.8.0, добавьте в начало команды строку export HELM_EXPERIMENTAL_OCI=1 && \, чтобы включить поддержку Open Container Initiative (OCI) в клиенте Helm.

4. Убедитесь, что под Filebeat OSS перешел в состояние Running:

   kubectl get pods --namespace=<пространство_имен> -l app=filebeatoss-filebeat-oss -w
   

Примеры использованияПримеры использования

• Мониторинг кластера Managed Service for Kubernetes с помощью Filebeat OSS.

См. такжеСм. также

• Документация Managed Service for OpenSearch.
• Документация Filebeat.