Связаться с намиПодключиться

Настройка доступа к Object Storage из кластера ClickHouse®

Статья создана
Улучшена
Обновлена 15 октября 2024 г.

Managed Service for ClickHouse® поддерживает работу с Yandex Object Storage для:

Для доступа к данным в бакете Object Storage из кластера настройте беспарольный доступ к бакету с помощью сервисного аккаунта:

  1. Подключите сервисный аккаунт к кластеру.
  2. Настройте права доступа для сервисного аккаунта.

См. также Примеры работы с объектами.

Перед началом работы убедитесь, что вашему аккаунту в Yandex Cloud назначена роль iam.serviceAccounts.user или выше. Она нужна в следующих случаях:

  • если вы создаете или изменяете кластер и привязываете к нему сервисный аккаунт;
  • если вы восстанавливаете из резервной копии кластер с привязкой к сервисному аккаунту.

Подключите сервисный аккаунт к кластеру

  1. При создании или изменении кластера выберите существующий сервисный аккаунт, либо создайте новый.

  2. Убедитесь, что этому аккаунту назначены корректные роли из группы ролей storage.*. При необходимости назначьте нужные роли, например, storage.viewer и storage.uploader.

Совет

Для связи кластеров Managed Service for ClickHouse® с Object Storage рекомендуется использовать специально созданные для этой цели сервисные аккаунты: это позволяет организовать работу с любыми бакетами, в том числе с такими, для которых предоставление публичного доступа нежелательно или невозможно.

Настройте права доступа

  1. В консоли управления выберите каталог, в котором находится нужный бакет. Если бакета не существует — создайте его и наполните необходимыми данными.

  2. Выберите сервис Object Storage.

  3. Настройте ACL бакета или ACL объекта:

    1. В списке бакетов или объектов выберите нужный элемент и нажмите на значок .
    2. Нажмите ACL бакета или ACL объекта.
    3. В выпадающем списке Выберите пользователя укажите сервисный аккаунт, подключенный к кластеру.
    4. Задайте нужные разрешения для сервисного аккаунта из выпадающего списка.
    5. Нажмите кнопку Добавить и Сохранить.

    Примечание

    При необходимости отзовите доступ у одного или нескольких пользователей, нажав кнопку Отменить в нужной строке.

Примеры работы с объектами

На объект в бакете можно получить ссылку вида https://storage.yandexcloud.net/<имя_бакета>/<имя_объекта>. Ее можно использовать при работе с геометками, схемами, а также при использовании табличной функции s3 и табличного движка S3.

Табличный движок S3 аналогичен движкам File и URL, за исключением того, что данные хранятся в S3-совместимом хранилище (таком как Yandex Object Storage), а не на файловой системе или удаленном HTTP/HTTPS сервере. Этот движок позволяет читать и записывать данные в хранилище с использованием стандартных SQL-запросов SELECT и INSERT.

Табличная функция s3 предоставляет ту же самую функциональность, что и движок таблиц S3, но при ее использовании не требуется предварительно создавать таблицу.

Например, если в бакете Object Storage в файле table.tsv хранятся данные таблицы в формате TSV, то можно создать таблицу или функцию, которая будет работать с этим файлом. Предполагается, что настроен беспарольный доступ и получена ссылка на файл table.tsv.

  1. Сервисному аккаунту, привязанному к кластеру Managed Service for ClickHouse®, назначьте роли managed-clickhouse.editor и storage.uploader.

  2. Создайте таблицу:

    CREATE TABLE test (n Int32) ENGINE = S3('https://storage.yandexcloud.net/<имя_бакета>/table.tsv', 'TSV');

  3. Выполните тестовые запросы к таблице:

    INSERT INTO test VALUES (1);
SELECT * FROM test;

┌─n─┐
│ 1 │
└───┘

  1. Сервисному аккаунту, привязанному к кластеру Managed Service for ClickHouse®, назначьте роли managed-clickhouse.editor и storage.uploader.

  2. Вставьте данные:

    INSERT INTO FUNCTION s3('https://storage.yandexcloud.net/<имя_бакета>/table.tsv', 'TSV', 'n Int32') VALUES (1);

  3. Выполните тестовый запрос:

    SELECT * FROM s3('https://storage.yandexcloud.net/<имя_бакета>/table.tsv', 'TSV', 'n Int32');

┌─n─┐
│ 1 │
└───┘

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.

Предыдущая
Управление моделями машинного обучения
Следующая
Управление шардами