Создание подключения к ClickHouse® в Yandex DataLens

Чтобы создать подключение к ClickHouse®:

1. Перейдите на страницу создания нового подключения.

2. В разделе Базы данных выберите подключение ClickHouse®.

3. Выберите тип подключения:

   Выбрать в организации

   Указать вручную

   Connection Manager

   Выберите управляемую БД в текущей организации Yandex Cloud и укажите для нее параметры, чтобы подключиться по внутренней сети:

   • Облако и каталог. Выберите каталог, в котором находится кластер.

   • Кластер. Укажите кластер из списка доступных кластеров ClickHouse®. В настройках кластера должна быть активирована опция Доступ из DataLens. Если у вас нет доступного кластера, нажмите кнопку Создать новый.

     Примечание

     В списке отображаются кластеры:

     • с правами доступа для пользователя, создающего подключение;
     • созданные в той же организации, что и экземпляр DataLens.

   • Тип хоста. Выберите тип хоста:

     • Обычный (по умолчанию) — позволяет выбрать обычные хосты для подключения.
     • Особые FQDN — позволяет выбрать особый FQDN для подключения к доступному хосту кластера ClickHouse®.

   • Имя хоста. Выберите имя хоста из списка доступных в кластере ClickHouse®. Вы можете выбрать несколько хостов. Если к первому хосту подключиться не получится, DataLens выберет следующий из списка.

   • Порт HTTP-интерфейса. Укажите порт подключения к ClickHouse®. Порт по умолчанию — 8443.

   • Имя пользователя. Укажите имя пользователя для подключения к ClickHouse®.

     Важно

     У пользователя должно быть установлено одно из следующих значений параметра readonly:

     • 0 — разрешены все запросы.

     • 1 — разрешены только запросы на чтение данных. В этом случае в настройках ClickHouse® укажите:

       • join_use_nulls = 1
       • send_progress_in_http_headers = 0
       • output_format_json_quote_denormals = 1

       Для использования разрешения в DataLens в дополнительных настройках подключения для параметра Readonly выберите значение 1.

     • 2 — разрешены запросы на чтение данных и изменение настроек.

   • Пароль. Укажите пароль для пользователя.

   • Время жизни кеша в секундах. Укажите время жизни кеша или оставьте значение по умолчанию. Рекомендованное значение — 300 секунд (5 минут).

   • Уровень доступа SQL запросов. Позволяет использовать произвольный SQL-запрос для формирования датасета. По умолчанию опция отключена. При активации необходимо выбрать уровень доступа SQL-запросов:

     • Разрешить подзапросы в датасетах — описывать источники датасета с помощью SQL-запросов;
     • Разрешить подзапросы в датасетах и параметризацию источников — описывать источники датасета с помощью SQL-запросов и использовать параметризацию источников;
     • Разрешить подзапросы в датасетах, параметризацию источников и QL-чарты — описывать источники датасета с помощью SQL-запросов, использовать параметризацию источников и создавать QL-чарты.

   Чтобы проверить корректность введенных параметров, нажмите кнопку Проверить подключение.

   Вручную укажите реквизиты внешней БД, чтобы подключиться через публичную сеть:

   • Имя хоста. Укажите путь до хоста-мастера или IP-адрес хоста-мастера ClickHouse®. Вы можете указать несколько хостов через запятую. Если к первому хосту подключиться не получится, DataLens выберет следующий из списка.

   • Порт HTTP-интерфейса. Укажите порт подключения к ClickHouse®. Порт по умолчанию — 8443.

   • Имя пользователя. Укажите имя пользователя для подключения к ClickHouse®.

     Важно

     У пользователя должно быть установлено одно из следующих значений параметра readonly:

     • 0 — разрешены все запросы.

     • 1 — разрешены только запросы на чтение данных. В этом случае в настройках ClickHouse® укажите:

       • join_use_nulls = 1
       • send_progress_in_http_headers = 0
       • output_format_json_quote_denormals = 1

       Для использования разрешения в DataLens в дополнительных настройках подключения для параметра Readonly выберите значение 1.

     • 2 — разрешены запросы на чтение данных и изменение настроек.

   • Пароль. Укажите пароль для пользователя.

   • Время жизни кеша в секундах. Укажите время жизни кеша или оставьте значение по умолчанию. Рекомендованное значение — 300 секунд (5 минут).

   • Уровень доступа SQL запросов. Позволяет использовать произвольный SQL-запрос для формирования датасета. По умолчанию опция отключена. При активации необходимо выбрать уровень доступа SQL-запросов:

     • Разрешить подзапросы в датасетах — описывать источники датасета с помощью SQL-запросов;
     • Разрешить подзапросы в датасетах и параметризацию источников — описывать источники датасета с помощью SQL-запросов и использовать параметризацию источников;
     • Разрешить подзапросы в датасетах, параметризацию источников и QL-чарты — описывать источники датасета с помощью SQL-запросов, использовать параметризацию источников и создавать QL-чарты.

   

   Чтобы проверить корректность введенных параметров, нажмите кнопку Проверить подключение.

   Примечание

   Для использования подключения Connection Manager в DataLens пользователю должна быть назначена роль connection-manager.user на это подключение.

   Выберите подключение к кластеру с управляемой БД ClickHouse®, созданное в сервисе Yandex Connection Manager:

   • Облако и каталог. Выберите каталог, в котором создано подключение к кластеру.
   • Идентификатор подключения. Выберите одно из доступных подключений в Connection Manager или создайте новое.
   • Хост. Выберите хост из списка доступных в кластере ClickHouse®.
   • Порт. Заполняется автоматически в зависимости от выбранного хоста.
   • Имя пользователя. Заполняется автоматически из данных выбранного подключения.
   • Время жизни кеша в секундах. Укажите время жизни кеша или оставьте значение по умолчанию. Рекомендованное значение — 300 секунд (5 минут).

   • Имя хоста. Укажите путь до хоста-мастера или IP-адрес хоста-мастера ClickHouse®. Вы можете указать несколько хостов через запятую. Если к первому хосту подключиться не получится, DataLens выберет следующий из списка.

   • Порт HTTP-интерфейса. Укажите порт подключения к ClickHouse®. Порт по умолчанию — 8443.

   • Имя пользователя. Укажите имя пользователя для подключения к ClickHouse®.

     Важно

     У пользователя должно быть установлено одно из следующих значений параметра readonly:

     • 0 — разрешены все запросы.

     • 1 — разрешены только запросы на чтение данных. В этом случае в настройках ClickHouse® укажите:

       • join_use_nulls = 1
       • send_progress_in_http_headers = 0
       • output_format_json_quote_denormals = 1

       Для использования разрешения в DataLens в дополнительных настройках подключения для параметра Readonly выберите значение 1.

     • 2 — разрешены запросы на чтение данных и изменение настроек.

   • Пароль. Укажите пароль для пользователя.

   • Время жизни кеша в секундах. Укажите время жизни кеша или оставьте значение по умолчанию. Рекомендованное значение — 300 секунд (5 минут).

   • Уровень доступа SQL запросов. Позволяет использовать произвольный SQL-запрос для формирования датасета. По умолчанию опция отключена. При активации необходимо выбрать уровень доступа SQL-запросов:

     • Разрешить подзапросы в датасетах — описывать источники датасета с помощью SQL-запросов;
     • Разрешить подзапросы в датасетах и параметризацию источников — описывать источники датасета с помощью SQL-запросов и использовать параметризацию источников;
     • Разрешить подзапросы в датасетах, параметризацию источников и QL-чарты — описывать источники датасета с помощью SQL-запросов, использовать параметризацию источников и создавать QL-чарты.

4. Нажмите кнопку Создать подключение.

5. Выберите воркбук, в котором сохранится подключение, или создайте новый. Если вы пользуетесь старой навигацией по папкам, выберите папку для сохранения подключения. Нажмите кнопку Создать.

6. Укажите название подключения и нажмите кнопку Создать.

Дополнительные настройкиДополнительные настройки

Вы можете указать дополнительные параметры подключения в разделе Продвинутые настройки подключения:

• TLS — когда опция включена, при взаимодействии с БД используется протокол HTTPS, когда выключена — HTTP.

• CA Certificate — чтобы загрузить сертификат, нажмите кнопку Прикрепить файл и укажите файл сертификата. Когда сертификат загружен, поле отображает название файла.

• Запрет на экспорт данных — когда опция включена, в чартах на базе этого подключения в меню пункт экспорта данных будет недоступен. При этом останется возможность копировать данные из чартов, а также снимать скриншоты.

• Readonly — выберите разрешение для запросов на чтение данных, запись данных и изменение параметров. Значение этой настройки не должно превышать значение соответствующей настройки для пользователя в ClickHouse®:

  • 0 — разрешены все запросы.
  • 1 — разрешены только запросы на чтение данных.
  • 2 — разрешены запросы на чтение данных и изменение настроек.

Особенности работы с подключением к ClickHouse®Особенности работы с подключением к ClickHouse®

Вы можете создавать датасеты поверх представлений (VIEW) в ClickHouse®, содержащих секцию JOIN. Для этого представление должно быть создано с включенной опцией join_use_nulls. Рекомендуется выставлять настройку join_use_nulls = 1 в секции SETTINGS:

CREATE VIEW ... (
    ...
) AS
    SELECT
        ...
    FROM
        ...
    SETTINGS join_use_nulls = 1

Также следует включать эту опцию для подзапросов raw-sql, которые используются как источник данных в датасете.

Чтобы избежать ошибок при работе с представлениями в DataLens, содержащими секцию JOIN, создайте заново все представления с настройкой join_use_nulls = 1. Пустые ячейки при этом заполнятся значениями NULL, а тип соответствующих полей преобразуется в Nullable.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Примеры использованияПримеры использования

• Миграция базы данных из Google BigQuery в Yandex Managed Service for ClickHouse®
• Дашборд сети магазинов из БД ClickHouse®
• Геокодинг с помощью API Яндекс Карт для визуализации в DataLens
• Примеры создания QL-чартов