Ввод данных в системы хранения

Данные от мобильных телефонов, разнообразных умных устройств или внешних сервисов могут поступать небольшими пакетами, количество пакетов может быть очень велико. Часто для передачи используются медленные каналы связи, а время связи ограничено. Yandex Data Streams принимает поступающие с высокой частотой и скоростью данные, формирует пакеты для отправки в принимающие системы, обеспечивая оптимальные режимы работы для источников и приемников. Использование API-шлюза для приема сообщений позволяет реализовать собственный протокол передачи данных.

В этом сценарии API-шлюз принимает входящие данные и отправляет их в поток данных. В потоке данные буферизируются и передаются с помощью трансфера в кластер баз данных ClickHouse®.

Чтобы настроить ввод данных:

1. Подготовьте облако к работе.
2. Настройте окружение.
3. Создайте кластер ClickHouse®.
4. Создайте поток данных.
5. Создайте API-шлюз.
6. Создайте трансфер.
7. Проверьте отправку и получение данных.

Если ввод данных вам больше не нужен, удалите используемые им ресурсы.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• API-шлюз: количество запросов к шлюзу (см. тарифы Yandex API Gateway).

• Сервис Data Streams (см. тарифы Data Streams). Стоимость зависит от режима тарификации:

  • По выделенным ресурсам — оплачивается фиксированная почасовая ставка за установленный лимит пропускной способности и срок хранения сообщений, а также дополнительно количество единиц фактически записанных данных.

  • По фактическому использованию (On-demand) — оплачиваются выполненные операции записи и чтения данных, объем считанных/записанных данных, а также объем фактически используемого хранилища для сообщений, по которым не истек срок хранения.

• База данных Managed Service for YDB, работающая в бессерверном режиме: операции с данными, объем хранимых данных и резервных копий (см. тарифы Managed Service for YDB).

• Кластер Managed Service for ClickHouse®: использование выделенных хостам вычислительных ресурсов, объем хранилища и резервных копий (см. тарифы Managed Service for ClickHouse®).

• Публичные IP-адреса, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).

• Каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Yandex Data Transfer).

Настройте окружениеНастройте окружение

Создайте сервисный аккаунт и назначьте ему роль editor на ваш каталог.

Создайте кластер ClickHouse®Создайте кластер ClickHouse®

1. В консоли управления выберите каталог, в котором нужно создать кластер БД.
2. Выберите сервис Managed Service for ClickHouse®.
3. Нажмите кнопку Создать кластер.
4. Укажите настройки кластера ClickHouse®:
   1. В блоке Базовые параметры:
   • Введите имя кластера.
   • Выберите созданный ранее сервисный аккаунт.
   1. В блоке База данных укажите имя БД, имя пользователя и пароль.
   2. В блоке Хосты нажмите значок . Включите опцию Публичный доступ и нажмите кнопку Сохранить.
   3. В блоке Дополнительные настройки включите опции:
   • Доступ из Data Transfer.
   • Доступ из консоли управления.
   1. Задайте остальные параметры кластера по инструкции.
5. Нажмите кнопку Создать кластер.

Дождитесь запуска кластера. Когда кластер будет готов к использованию, его состояние изменится на Alive.

Создайте поток данныхСоздайте поток данных

1. В консоли управления выберите каталог, в котором хотите создать поток данных.
2. Выберите сервис Data Streams.
3. Нажмите кнопку Создать поток.
4. Укажите существующую бессерверную базу данных YDB или создайте новую. Если вы создали новую базу данных, после ее создания нажмите кнопку Обновить для обновления списка баз.
5. Введите имя потока данных.
6. Нажмите кнопку Создать.

Дождитесь запуска потока данных. Когда поток будет готов к использованию, его статус изменится с CREATING на ACTIVE.

Создайте API-шлюзСоздайте API-шлюз

1. На странице созданного потока данных нажмите кнопку Действия и выберите API Gateway.

2. Введите имя API-шлюза.

3. В поле Спецификация замените значение ключа service_account_id идентификатором созданного ранее сервисного аккаунта.

   Сохраните значения полей Имя и Служебный домен, они понадобятся на следующих шагах.

4. Нажмите кнопку Создать.

Дождитесь запуска API-шлюза. Когда API-шлюз будет готов к использованию, его статус изменится с CREATING на ACTIVE.

Создайте трансферСоздайте трансфер

1. В консоли управления выберите каталог, в котором нужно создать трансфер.
2. Выберите сервис Yandex Data Transfer.
3. Нажмите кнопку Создать трансфер данных.
4. Введите имя трансфера.
5. Создайте эндпоинт-источник:
   1. В строке Источник нажмите кнопку Создать новый.
   2. Укажите имя эндпоинта.
   3. В списке Тип базы данных выберите Yandex Data Streams.
   4. Выберите базу данных для источника.
   5. Введите имя созданного ранее потока данных.
   6. Выберите созданный ранее сервисный аккаунт.
   7. Нажмите кнопку Создать.
6. Создайте эндпоинт-приемник:
   1. В строке Приемник нажмите кнопку Создать новый.
   2. Укажите имя эндпоинта.
   3. В списке Тип базы данных выберите ClickHouse.
   4. Выберите созданный ранее MDB кластер.
   5. Введите имя БД, имя пользователя и пароль созданного ранее кластера.
   6. Нажмите кнопку Создать.
7. Нажмите кнопку Создать.
8. Нажмите на значок рядом с именем созданного трансфера и выберите Активировать.

Дождитесь активации трансфера. Когда трансфер будет готов к использованию, его статус сменится с Создается на Реплицируется.

Проверьте отправку и получение данныхПроверьте отправку и получение данных

1. Отправьте данные в систему хранения:

   curl --request POST --data 'test massage' https://<url>/<paths>
   

   Где:

   • <url> — сохраненное ранее значение Служебный домен API-шлюза;
   • <paths> — сохраненное ранее значение Имя API-шлюза.

2. В консоли управления выберите созданный ранее кластер Managed Service for ClickHouse®.

3. На панели слева выберите SQL.

4. Введите имя пользователя и пароль и нажмите кнопку Подключиться.

5. В списке выберите созданную ранее базу данных.

6. Выберите таблицу БД.

Если настройка выполнена успешно, в таблице появится запись, содержащая служебные данные и отправленное сообщение.

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

1. Удалите API-шлюз.
2. Удалите трансфер.
3. Удалите эндпоинты.
4. Удалите поток данных.
5. Удалите кластер ClickHouse®.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.