Запись логов балансировщика в PostgreSQL

1. В консоли управления выберите сервис Virtual Private Cloud.
2. Нажмите кнопку Создать сеть.
3. Укажите Имя сети: alb-logging-network.
4. В поле Дополнительно выберите опцию Создать подсети.
5. Нажмите кнопку Создать сеть.

1. В консоли управления выберите нужный каталог.
2. В списке сервисов выберите Identity and Access Management.
3. Нажмите кнопку Создать сервисный аккаунт.
4. В поле Имя введите alb-logging-service-account.
5. Добавьте роли: functions.functionInvoker и editor.
6. Нажмите кнопку Создать.

1. В консоли управления выберите сервис Virtual Private Cloud.

2. Откройте вкладку Группы безопасности.

3. Создайте группу безопасности для балансировщика:

   1. Нажмите кнопку Создать группу безопасности.

   2. Укажите Имя группы: alb-logging-sg-balancer.

   3. Выберите Сеть alb-logging-network.

   4. В блоке Правила создайте следующие правила по инструкции под таблицей:

      Направление трафика	Описание	Диапазон портов	Протокол	Источник / назначение	CIDR блоки
      Исходящий	any	Весь	Любой	CIDR	0.0.0.0/0
      Входящий	ext-http	80	TCP	CIDR	0.0.0.0/0
      Входящий	ext-https	443	TCP	CIDR	0.0.0.0/0
      Входящий	healthchecks	30080	TCP	Проверки состояния балансировщика	—

      1. Выберите вкладку Исходящий трафик или Входящий трафик.

      2. Нажмите кнопку Добавить правило.

      3. В открывшемся окне в поле Диапазон портов укажите один порт или диапазон портов, куда или откуда будет поступать трафик.

      4. В поле Протокол укажите нужный протокол или оставьте Любой, чтобы разрешить передачу трафика по всем протоколам.

      5. В поле Назначение или Источник выберите назначение правила:

         • CIDR — правило будет применено к диапазону IP-адресов. В поле CIDR блоки укажите CIDR и маски подсетей, в которые или из которых будет поступать трафик. Чтобы добавить несколько CIDR, нажимайте кнопку Добавить CIDR.
         • Группа безопасности — правило будет применено к ВМ из текущей группы или из выбранной группы безопасности.
         • Проверки состояния балансировщика — правило, которое позволяет балансировщику проверять состояние ВМ.

      6. Нажмите кнопку Сохранить. Таким образом создайте все правила из таблицы.

   5. Нажмите кнопку Сохранить.

4. Аналогично создайте группу безопасности для ВМ с именем alb-logging-sg-vms, той же сетью alb-logging-network и следующими правилами:

   Направление трафика	Описание	Диапазон портов	Протокол	Источник / назначение	CIDR блоки
   Входящий	balancer	80	TCP	Группа безопасности	alb-logging-sg-balancer
   Входящий	ssh	22	TCP	CIDR	0.0.0.0/0

5. Аналогично создайте группу безопасности для кластера PostgreSQL с именем alb-logging-sg-cluster, той же сетью alb-logging-network и следующим правилом:

   Направление трафика	Описание	Диапазон портов	Протокол	Источник / назначение	CIDR блоки
   Входящий	db	6432	TCP	CIDR	0.0.0.0/0

1. В консоли управления выберите сервис Managed Service for PostgreSQL.

2. Нажмите кнопку Создать кластер.

3. В поле Имя кластера введите alb-logging-cluster.

4. В поле Окружение выберите PRODUCTION.

5. В поле Версия выберите 12.

6. В блоке Класс хоста:

   • Укажите платформу Intel Cascade Lake.
   • Выберите тип burstable.
   • Укажите класс b2.medium.

   Важно

   Класс b2.medium был выбран только в рамках тестирования. В реальных проектах использовать хосты с гарантированной долей vCPU ниже 100% не рекомендуется.

7. В блоке Размер хранилища:

   • Выберите network-ssd.
   • Укажите размер равным 10 ГБ.

   Примечание

   Тип и размер диска следует выбирать в соответствии с решаемыми задачами. Значения, указанные выше, используются для тестирования.

8. В блоке База данных укажите атрибуты БД:

   • Имя базы данных. Имя БД должно быть уникальным в рамках каталога и содержать только латинские буквы, цифры и подчеркивания.
   • Имя пользователя — владельца БД. Имя пользователя должно содержать только латинские буквы, цифры и подчеркивания.
   • Пароль пользователя. Длина — от 8 до 128 символов.

   Для базы данных, которая создается вместе с кластером, устанавливаются настройки набора символов (кодировки) LC_CTYPE=C и LC_COLLATE=C. После создания эти настройки изменить нельзя, но вы можете создать новую базу с нужными настройками.

9. В блоке Сетевые настройки:

   • Выберите сеть alb-logging-network.
   • Выберите группу безопасности alb-logging-sg-cluster.

10. В блоке Хосты добавьте хост, который будет доступен извне Yandex Cloud. Для этого включите опцию Публичный доступ.

11. В блоке Дополнительные настройки включите опции Доступ из консоли управления и Доступ из Serverless.

12. Остальные поля оставьте заполненными по умолчанию.

13. Нажмите кнопку Создать кластер.

После создания кластера вы автоматически будете перенаправлены на страницу Кластеры.

1. Дождитесь, когда статус кластера alb-logging-cluster изменится на Alive, и выберите этот кластер.

2. Перейдите на вкладку SQL.

3. Выберите пользователя, созданного вместе с кластером, и введите его пароль.

4. Выберите базу данных, созданную вместе с кластером, и нажмите кнопку Подключиться.

5. В окне редактирования введите следующий запрос:

   CREATE TABLE load_balancer_requests (
       type            varchar(24) NOT NULL,
       "time"          timestamptz NOT NULL,
       http_status     varchar(4) NOT NULL,
       backend_ip      varchar(40) NULL,
       request_time    numeric NULL
   );
   

6. Нажмите кнопку Выполнить.

7. Дождитесь появления надписи о завершении выполнения запроса.

1. В консоли управления выберите сервис Compute Cloud.

2. Откройте вкладку Группы виртуальных машин. Нажмите кнопку Создать группу виртуальных машин.

3. Укажите имя группы ВМ: alb-logging-ig.

4. В поле Сервисный аккаунт выберите аккаунт, созданный ранее.

5. В блоке Распределение выберите несколько зон доступности, чтобы обеспечить отказоустойчивость хостинга.

6. В блоке Шаблон виртуальной машины нажмите кнопку Задать.

7. В блоке Образ загрузочного диска откройте вкладку Marketplace и нажмите кнопку Показать все продукты Marketplace. Выберите продукт LEMP и нажмите кнопку Использовать.

8. В блоке Вычислительные ресурсы:

   • Выберите платформу виртуальной машины.
   • Укажите необходимое количество vCPU и объем RAM.

   Для функционального тестирования сайта хватит минимальной конфигурации:

   • Платформа — Intel Cascade Lake.
   • Гарантированная доля vCPU — 5%.
   • vCPU — 2.
   • RAM — 1 ГБ.

9. В блоке Сетевые настройки выберите Сеть alb-logging-network, созданную ранее, и ее подсети.

10. В поле Публичный адрес выберите Автоматически.

11. Выберите группу безопасности alb-logging-sg-vms, созданную ранее.

12. Укажите данные для доступа на виртуальную машину:

    • В поле Логин введите имя пользователя.

    • В поле SSH-ключ вставьте содержимое файла открытого ключа.

      Пару ключей для подключения по SSH необходимо создать самостоятельно, см. раздел о подключении к виртуальным машинам по SSH.

    Внимание

    IP-адрес и имя хоста (FQDN) для подключения к машине назначатся ей при создании. Если вы выбрали вариант Без адреса в поле Публичный адрес, вы не сможете обращаться к ВМ из интернета.

13. Нажмите кнопку Сохранить.

14. В блоке Масштабирование укажите Размер группы ВМ — 2.

15. В блоке Интеграция с Application Load Balancer выберите опцию Создать целевую группу и укажите имя группы — alb-logging-tg. Подробнее о целевых группах.

16. Нажмите кнопку Создать.

1. В консоли управления перейдите в каталог, в котором хотите создать лог-группу.
2. Выберите сервис Cloud Logging.
3. Нажмите кнопку Создать группу.
4. Введите имя и описание лог-группы, например alb-logging-group.
5. Укажите срок хранения записей в лог-группе.
6. Нажмите кнопку Создать группу.

1. В консоли управления выберите сервис Application Load Balancer.
2. На панели слева выберите Группы бэкендов. Нажмите кнопку Создать группу бэкендов.
3. Укажите Имя группы бэкендов: alb-logging-bg.
4. В блоке Бэкенды нажмите кнопку Добавить.
5. Укажите Имя бэкенда: alb-logging-backend.
6. В поле Целевые группы выберите группу alb-logging-tg.
7. Укажите Порт, на котором ВМ бэкенда будут принимать входящий трафик от балансировщика: 80.
8. Нажмите кнопку Добавить проверку состояния.
9. Укажите Порт, на котором ВМ бэкенда будут принимать проверочные соединения: 80.
10. Укажите Путь, к которому будет обращаться балансировщик при проверке состояния: /.
11. Нажмите кнопку Создать.

1. В консоли управления выберите сервис Application Load Balancer.
2. На панели слева выберите HTTP-роутеры. Нажмите кнопку Создать HTTP-роутер.
3. Укажите Имя HTTP-роутера: alb-logging-router.
4. Нажмите кнопку Добавить виртуальный хост.
5. Укажите Имя виртуального хоста: alb-logging-host.
6. Нажмите кнопку Добавить маршрут.
7. Укажите Имя маршрута: alb-logging-route.
8. В поле Группа бэкендов выберите группу alb-logging-bg.
9. Нажмите кнопку Создать.

1. В консоли управления выберите сервис Application Load Balancer.
2. Нажмите кнопку Создать L7-балансировщик и выберите опцию Вручную.
3. Укажите Имя балансировщика: alb-logging-balancer.
4. В блоке Сетевые настройки выберите сеть alb-logging-network и группу безопасности alb-logging-sg-balancer, созданные ранее.
5. В блоке Настройки логов укажите лог-группу alb-logging-group.
6. В блоке Обработчики нажмите кнопку Добавить обработчик.
7. Укажите Имя обработчика: alb-logging-listener.
8. В поле Протокол выберите пункт HTTPS.
9. В поле HTTP-роутер выберите роутер alb-logging-router, созданный ранее.
10. Нажмите кнопку Создать.

1. В консоли управления выберите сервис Cloud Functions.

2. Нажмите кнопку Создать функцию.

3. Введите имя функции: alb-logging-function.

4. Нажмите кнопку Создать. После создания функции вы автоматически будете перенаправлены на страницу Редактор.

5. Выберите среду выполнения Python версии 3.8 и нажмите кнопку Продолжить.

6. Очистите область редактирования файла и вставьте в нее следующий код:

   Код функции

   import os
   import logging
   import psycopg2
   import json
   
   logger = logging.getLogger()
   logger.setLevel(logging.INFO)
   verboseLogging = eval(os.environ['VERBOSE_LOG'])
   if verboseLogging:
       logger.info('Loading handler function')
   
   def handler(event, context):
       statusCode = 500
       
       if verboseLogging:
           logger.info(event)
           logger.info(context)
       
       connection_string = (
           "host='{db_hostname}' port='{db_port}' dbname='{db_name}' "
           "user='{db_user}' password='{db_password}' sslmode='require'"
       ).format(
           db_hostname=os.environ['DB_HOSTNAME'],
           db_port=os.environ['DB_PORT'],
           db_name=os.environ['DB_NAME'],
           db_user=os.environ['DB_USER'],
           db_password=os.environ['DB_PASSWORD']
       )
           
       if verboseLogging:
           logger.info(f'Connecting: {connection_string}')
   
       conn = psycopg2.connect(connection_string)
       cursor = conn.cursor()
   
       messages = event['messages'][0]['details']['messages']
   
       for message in messages:
           alb_message = message['json_payload']
           alb_message['table_name'] = 'load_balancer_requests'
           insert_statement = (
               'INSERT INTO {table_name} ' 
               '(type, "time", http_status, backend_ip, request_time) ' 
               'VALUES(\'{type}\', timestamptz \'{time}\', \'{http_status}\', ' 
               '\'{backend_ip}\', {request_processing_times[request_time]});'
           ).format(**alb_message)
   
           if verboseLogging:
               logger.info(f'Exec: {insert_statement}')
           try:
               cursor.execute(insert_statement)
               statusCode = 200
           except Exception as error:
               logger.error(error)
           
           conn.commit()
           
       cursor.close()
       conn.close()
   
       return {
           'statusCode': statusCode,
           'headers': {
               'Content-Type': 'text/plain'
           }
       }
   

7. Задайте следующие параметры версии:

   • Таймаут — 10.
   • Память — 128 МБ.

8. Выберите созданный ранее сервисный аккаунт alb-logging-service-account. От имени этого аккаунта функция будет записывать данные в БД.

9. Добавьте переменные окружения:

   • VERBOSE_LOG — параметр, отвечающий за вывод подробной информации о выполнении функции. Введите значение True.
   • DB_HOSTNAME — имя хоста БД PostgreSQL для подключения.
   • DB_PORT — порт для подключения.
   • DB_NAME — имя базы данных для подключения.
   • DB_USER — имя пользователя для подключения.
   • DB_PASSWORD — пароль, который был введен при создании кластера.

   Чтобы определить значения параметров для подключения:

   1. В консоли управления выберите сервис Managed Service for PostgreSQL.
   2. Выберите кластер alb-logging-cluster.
   3. Нажмите значок в строке с нужной БД.
   4. Выберите пункт Подключиться.
   5. На вкладке Shell найдите пример строки подключения.
   6. Перенесите значения переменных host, port, dbname и user в соответствующее поле Значение переменных окружения функции.

10. Нажмите кнопку Сохранить изменения.

1. В консоли управления перейдите в каталог, в котором хотите создать триггер.

2. Выберите сервис Cloud Functions.

3. На панели слева выберите Триггеры.

4. Нажмите кнопку Создать триггер.

5. В блоке Базовые параметры:

   • Введите имя триггера, например alb-logging-trigger.
   • В поле Тип выберите Cloud Logging.
   • В поле Запускаемый ресурс выберите Функция.

6. В блоке Настройки Cloud Logging:

   • В поле Лог-группа выберите alb-logging-group.
   • В поле Типы ресурсов укажите alb.loadBalancer.

7. В блоке Настройки группирования сообщений:

   • В поле Время ожидания, с укажите 15.
   • В поле Размер группы укажите 10.

8. В блоке Настройки функции выберите функцию, созданную ранее, и укажите:

   • тег версии функции — $latest;
   • сервисный аккаунт, созданный ранее.

9. Нажмите кнопку Создать триггер.