Настройка Managed Service for ClickHouse® для Graphite

Yandex Managed Service for ClickHouse® можно использовать как хранилище данных для Graphite.

Движок таблиц GraphiteMergeTree позволяет прореживать и агрегировать или усреднять содержимое БД специально для Graphite. Движок уменьшает объем хранения данных и повышает эффективность запросов от Graphite.

Чтобы настроить БД для работы с Graphite:

1. Подготовьте окружение.
2. Создайте кластер.
3. Зарегистрируйте конфигурацию rollup в кластере.
4. Создайте и настройте виртуальную машину.
5. Подключите виртуальную машину к базе данных.
6. Создайте таблицу на основе GraphiteMergeTree.
7. Настройте Graphite.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте окружениеПодготовьте окружение

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки БД ClickHouse® для Graphite входит:

• плата за вычислительные ресурсы кластера, объем хранилища и резервных копий (см. тарифы Yandex Managed Service for ClickHouse®);
• плата за запущенную ВМ для управления БД (см. тарифы Yandex Compute Cloud).

Создайте кластерСоздайте кластер

1. Создайте кластер Managed Service for ClickHouse® любой подходящей вам конфигурации с БД db1 и публичным доступом ко всем его хостам. Сохраните имя БД, имя пользователя БД и пароль.
2. В консоли управления выберите сервис Managed Service for ClickHouse®, перейдите в созданный кластер. На вкладке Обзор сохраните идентификатор кластера.
3. В правом верхнем углу нажмите Подключиться, на вкладке Shell из поля Пример строки подключения сохраните параметр --host, например rc1a-2sqal8f0********.mdb.yandexcloud.net, это FQDN хоста кластера, он потребуется в дальнейшем.

Зарегистрируйте конфигурацию rollup в кластереЗарегистрируйте конфигурацию rollup в кластере

Зарегистрируйте в кластере конфигурацию rollup для прореживания и агрегирования или усреднения содержимого БД для Graphite:

"graphiteRollup": [
          {
            "name": "test_rollup",
            "patterns": [
              {
                "regexp": "click_cost",
                "function": "max",
                "retention": [
                  {
                    "age": "86400",
                    "precision": "60"
                  }
                ]
              }
            ]
          }
        ]

Создайте и настройте виртуальную машинуСоздайте и настройте виртуальную машину

1. В той же облачной сети, где расположен кластер, создайте ВМ на основе Linux.

2. Подключитесь к ВМ по SSH.

3. Подключите DEB-репозиторий ClickHouse®:

   sudo apt update && sudo apt install -y apt-transport-https ca-certificates dirmngr && \
   sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4 && \
   echo "deb https://packages.clickhouse.com/deb stable main" | sudo tee \
   /etc/apt/sources.list.d/clickhouse.list
   

4. Установите зависимости и клиентское приложение clickhouse-client:

   sudo apt update && sudo apt install -y clickhouse-client
   

5. Загрузите файл конфигурации для clickhouse-client:

   mkdir -p ~/.clickhouse-client && \
   wget "https://storage.yandexcloud.net/doc-files/clickhouse-client.conf.example" \
     --output-document ~/.clickhouse-client/config.xml
   

6. Получите SSL-сертификат:

   sudo mkdir --parents /usr/local/share/ca-certificates/Yandex/ && \
   sudo wget "https://storage.yandexcloud.net/cloud-certs/RootCA.pem" \
        --output-document /usr/local/share/ca-certificates/Yandex/RootCA.crt && \
   sudo chmod 655 /usr/local/share/ca-certificates/Yandex/RootCA.crt && \
   sudo update-ca-certificates
   

Подключите виртуальную машину к базе данныхПодключите виртуальную машину к базе данных

1. Если вы используете группы безопасности для облачной сети, настройте их так, чтобы был разрешен весь необходимый трафик между кластером и ВМ.

2. Подключитесь.

3. Запустите ClickHouse® CLI со следующими параметрами: вместо <FQDN_хоста>, <имя_БД>, <имя_пользователя_БД> и <пароль_пользователя_БД> укажите ранее сохраненные параметры.

   clickhouse-client --host <FQDN_хоста> \
                     --secure \
                     --user <имя_пользователя_БД> \
                     --database <имя_БД> \
                     --password <пароль_пользователя_БД> \
                     --port 9440
   

Создайте таблицу на основе GraphiteMergeTreeСоздайте таблицу на основе GraphiteMergeTree

CREATE TABLE GraphiteTable
(        
    Path String, 
    Time DateTime, 
    Value Int64, 
    Version UInt64
)
ENGINE = GraphiteMergeTree('test_rollup')
PARTITION BY Time
ORDER BY cityHash64(Version, Path)

Настройте GraphiteНастройте Graphite

Настройте Graphite для сохранения значений метрик в кластере ClickHouse®. При этом прореживание данных будет проводиться автоматически средствами сервера ClickHouse® в соответствии с параметрами, которые вы указали.

1. В системе с Graphite установите утилиту carbon-clickhouse:

   wget https://github.com/go-graphite/carbon-clickhouse/releases/download/v0.11.2/carbon-clickhouse_0.11.2_amd64.deb && \
   sudo apt-get install $(pwd)/carbon-clickhouse_0.11.2_amd64.deb
   

2. Настройте carbon-clickhouse.

3. Запустите carbon-clickhouse:

   sudo systemctl enable carbon-clickhouse && \
   sudo systemctl start carbon-clickhouse
   

4. Установите утилиту graphite-clickhouse:

   wget https://github.com/go-graphite/graphite-clickhouse/releases/download/v0.13.2/graphite-clickhouse_0.13.2_amd64.deb && \
   sudo apt-get install $(pwd)/graphite-clickhouse_0.13.2_amd64.deb
   

5. Настройте graphite-clickhouse.

6. Запустите graphite-clickhouse:

   sudo systemctl enable graphite-clickhouse && \
   sudo systemctl start graphite-clickhouse
   

   Подробнее о настройке Graphite см. в документации.

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы удалить из кластера конфигурацию rollup:

1. Удалите все таблицы, которые используют эту конфигурацию.
2. Используйте команду yc managed-clickhouse cluster remove-graphite-rollup.

Подробнее о команде см. в справочнике CLI.

Удалите ресурсы, которые вы больше не будете использовать, чтобы за них не списывалась плата:

• Удалите кластер ClickHouse®.
• Удалите ВМ.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.