Связаться с намиПодключиться

Работа с данными в Yandex Managed Service for ClickHouse®

Статья создана
Обновлена 15 октября 2024 г.

Yandex Query — это интерактивный сервис для бессерверного анализа данных. С его помощью можно обрабатывать информацию из различных хранилищ без необходимости создания выделенного кластера. Поддерживается работа с хранилищами данных Yandex Object Storage, Yandex Managed Service for PostgreSQL, Yandex Managed Service for ClickHouse®.

В этом руководстве вы подключитесь к базе данных Managed Service for ClickHouse® и выполните запросы к ней из ноутбука JupyterLab с помощью Query.

  1. Подготовьте инфраструктуру.
  2. Начните работу в Query.
  3. Создайте кластер Managed Service for ClickHouse®.
  4. Подключитесь к данным Managed Service for ClickHouse®.

Если созданные ресурсы вам больше не нужны, удалите их.

Ноутбук с примерами также доступен на GitHub.

Открыть в DataSphere

Перед началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

  1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
  2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
  3. Создайте сообщество.
  4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

В стоимость поддержки инфраструктуры для работы с данными Managed Service for ClickHouse® входит:

Подготовьте инфраструктуру

Войдите в консоль управления Yandex Cloud и выберите организацию, в которой вы работаете с DataSphere. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт.

Если у вас есть активный платежный аккаунт, на странице облака вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура.

Примечание

Если вы работаете с Yandex Cloud через федерацию удостоверений, вам может быть недоступна платежная информация. В этом случае обратитесь к администратору вашей организации в Yandex Cloud.

Создайте каталог

  1. В консоли управления выберите облако и нажмите кнопку Создать каталог.
  2. Введите имя каталога, например data-folder.
  3. Нажмите кнопку Создать.

Создайте сервисный аккаунт для проекта DataSphere

  1. Перейдите в каталог data-folder.
  2. В списке сервисов выберите Identity and Access Management.
  3. Нажмите кнопку Создать сервисный аккаунт.
  4. Введите имя сервисного аккаунта, например yq-sa.
  5. Нажмите Добавить роль и назначьте сервисному аккаунту роли:
    • datasphere.community-project.editor — для запуска вычислений DataSphere.
    • yq.editor — для отправки запросов Query.
    • managed-clickhouse.viewer — для просмотра содержимого кластера Managed Service for ClickHouse®.
  6. Нажмите кнопку Создать.

Добавьте сервисный аккаунт в проект

Чтобы сервисный аккаунт мог запускать проект DataSphere, добавьте его в список участников проекта.

  1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

  2. На вкладке Участники нажмите Добавить участника.
  3. Выберите аккаунт yq-sa и нажмите Добавить.

Создайте авторизованный ключ для сервисного аккаунта

Чтобы сервисный аккаунт мог отправлять запросы Query, создайте авторизованный ключ.

Примечание

Срок жизни авторизованных ключей не ограничен, но вы всегда можете получить новые авторизованные ключи и повторить процедуру аутентификации, если что-то пошло не так.

  1. В консоли управления перейдите в каталог data-folder.
  2. В списке сервисов выберите Identity and Access Management.
  3. На панели слева выберите Сервисные аккаунты.
  4. В открывшемся списке выберите сервисный аккаунт yq-sa.
  5. Нажмите кнопку Создать новый ключ на верхней панели и выберите пункт Создать авторизованный ключ.
  6. Выберите алгоритм шифрования и нажмите Создать.
  7. Нажмите Скачать файл с ключами.

Создайте секрет

Чтобы получить авторизованный ключ из ноутбука, создайте секрет с содержимым файла авторизованного ключа.

  1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

  2. В блоке Ресурсы проекта нажмите Секрет.
  3. Нажмите Создать.
  4. В поле Имя задайте имя секрета — yq_access_key.
  5. В поле Значение вставьте полное содержимое скачанного файла с авторизированным ключом.
  6. Нажмите Создать.

Создайте ноутбук

Запросы к базе данных Managed Service for ClickHouse® через Query будут отправляться из ноутбука.

  1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

  2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
  3. На верхней панели нажмите File и выберите New ⟶ Notebook.
  4. Выберите ядро и нажмите Select.

Начало работы в Query

Пакет yandex_query_magic предоставляет magic commands для работы в Jupyter. Установите его для отправки запросов в Query. Скопируйте код в ячейки ноутбука yq-storage.ipynb:

  1. Откройте проект DataSphere:

    1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

    2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
    3. Откройте вкладку с ноутбуком.

  2. Установите пакет yandex_query_magic:

    %pip install yandex_query_magic

  3. После завершения установки на верхней панели выберите Kernel ⟶ Restart kernel....

  4. Загрузите расширение:

    %load_ext yandex_query_magic

  5. Настройте подключение, указав идентификатор каталога data-folder и название секрета с авторизованным ключом:

    %yq_settings --folder-id <идентификатор_каталога> --env-auth yq_access_key

  6. Выполните тестовый запрос к Query:

    %yq select "Hello, world!"

Создайте кластер Managed Service for ClickHouse®

Для отправки запросов подойдет любой рабочий кластер Managed Service for ClickHouse® со включенной опцией Доступ из Yandex Query.

  1. В консоли управления выберите каталог data-folder.

  2. Выберите сервис Managed Service for ClickHouse.

  3. Нажмите кнопку Создать кластер.

  4. Введите имя кластера в поле Имя кластера, например clickhouse.

  5. В блоке Настройки СУБД:

    • В поле Управление пользователями через SQL выберите из выпадающего списка Включено.
    • Укажите Имя пользователя и Пароль.

  6. В блоке Сервисные настройки:

    • Выберите сервисный аккаунт yq-sa.
    • Включите опции Доступ из Yandex Query и Доступ из консоли управления.

  7. Остальные настройки можно оставить по умолчанию.

  8. Нажмите кнопку Создать кластер.

Создайте таблицу

На этом шаге вы создадите тестовую таблицу с числами от 0 до 100.

  1. В консоли управления, откройте страницу кластера clickhouse и перейдите на вкладку SQL.

  2. Введите Имя пользователя и Пароль, указанные при создании кластера.

  3. В окно ввода справа вставьте SQL-запрос:

    CREATE TABLE test(col1 int) 
    ENGINE = MergeTree 
        ORDER BY col1;

INSERT INTO test
SELECT 
    * 
FROM numbers(100)

  4. Нажмите Выполнить.

Подключитесь к данным в Managed Service for ClickHouse®

Чтобы создать подключение Query:

  1. В консоли управления выберите каталог data-folder.

  2. В списке сервисов выберите Yandex Query.

  3. На панели слева выберите Соединения.

  4. Нажмите кнопку Создать.

  5. Введите имя соединения, например clickhouse.

  6. Выберите тип соединения Managed Service for ClickHouse.

  7. В блоке Параметры типа соединения:

    • Кластер — выберите ранее созданный кластер clickhouse.
    • Сервисный аккаунт — выберите сервисный аккаунт yq-sa.
    • Введите Логин и Пароль, указанные при создании кластера.

  8. Нажмите кнопку Создать.

Чтобы проверить подключение, получите данные таблицы из ячейки ноутбука:

%yq SELECT * FROM clickhouse.test

Как удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Предыдущая
Работа с данными в Yandex Object Storage
Следующая
Работа с данными в Yandex Managed Service for PostgreSQL