Единый анализ потоковых и аналитических данных

В этом примере вы рассчитаете стоимость поездок в такси в определенных локациях с помощью единого запроса к аналитическим и потоковым данным.

Текст SQL-запроса для обработки обоих видов данных совпадает, различаются только соединения и привязки к данным для бакета и потока.

Данные для аналитической обработки предварительно размещены в бакете Yandex Object Storage в файлах формата Parquet. Потоковые данные будут записаны с помощью генератора в специально созданный поток Yandex Data Streams.

В обоих случаях используется хранимый в Object Storage справочник для фильтрации данных в запросе.

Для выполнения примера:

1. Подготовьтесь к работе.
2. Проанализируйте данные из Object Storage.
3. Проанализируйте потоковые данные из Data Streams.

Подготовьтесь к работеПодготовьтесь к работе

1. Войдите в консоль управления или зарегистрируйтесь. Если вы еще не зарегистрированы, перейдите в консоль управления и следуйте инструкциям.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.
3. Если у вас еще нет каталога, создайте его.
4. Подключение к потоку данных будет выполняться от имени сервисного аккаунта. Создайте сервисный аккаунт с именем datastream-connection-account и ролью ydb.editor.
5. Потоки данных используют Yandex Managed Service for YDB. Создайте бессерверную базу данных.

Проанализируйте данные из Object StorageПроанализируйте данные из Object Storage

Подключитесь к данным для аналитической обработкиПодключитесь к данным для аналитической обработки

1. В консоли управления выберите каталог, в котором нужно создать соединение.

2. Перейдите в сервис Yandex Query.

3. На панели слева выберите Учебник.

4. В блоке Создать инфраструктуру для обучения нажмите кнопку Создать соединение.

   Откроется страница создания соединения. Просмотрите значения параметров по умолчанию, изменять их не нужно.

5. Нажмите кнопку Создать.

   Откроется страница создания привязки к данным. Просмотрите значения параметров по умолчанию, изменять их не нужно.

6. Нажмите кнопку Создать.

Выполните запросВыполните запрос

1. В редакторе запросов в интерфейсе Query нажмите кнопку Новый аналитический запрос.

2. В текстовом поле введите текст запроса:

   $data =
   SELECT
       *
   FROM
       `tutorial-analytics`;
   
   $locations =
   SELECT
       PULocationID
   FROM
       `tutorial-analytics`.`nyc_taxi_sample/example_locations.csv`
   WITH
   (
       format=csv_with_names,
       SCHEMA
       (
           PULocationID String
       )
   );
   
   $time =
   SELECT
       HOP_END() AS time,
       rides.PULocationID AS PULocationID,
       SUM(total_amount) AS total_amount
   FROM $data AS rides
   INNER JOIN $locations AS locations
       ON rides.PULocationID=locations.PULocationID
   GROUP BY
       HOP(CAST(tpep_pickup_datetime AS Timestamp?), "PT1M", "PT1M", "PT1M"),
       rides.PULocationID;
   
   SELECT
       *
   FROM
       $time;
   

3. Нажмите кнопку Выполнить.

Исследуйте результатИсследуйте результат

После выполнения аналитического запроса станет доступен результат — распределение стоимости поездок в такси в определенных локациях.

#	time	PULocationID	total_amount
1	2017-12-31T22:24:00.000000Z	120	7.54
2	2018-01-01T00:13:00.000000Z	120	48.8
3	2018-01-01T03:25:00.000000Z	120	30.8
4	2018-01-01T11:29:00.000000Z	120	32.88
5	2018-01-01T15:13:00.000000Z	120	9.8
6	2018-01-01T22:03:00.000000Z	120	14.8
7	2018-01-02T19:28:00.000000Z	120	7.3
8	2018-01-03T10:17:00.000000Z	120	81.3

Проанализируйте потоковые данные из Data StreamsПроанализируйте потоковые данные из Data Streams

Создайте поток данныхСоздайте поток данных

1. В консоли управления выберите каталог, в котором нужно создать поток данных.
2. Перейдите в сервис Data Streams.
3. Нажмите кнопку Создать поток.
4. Укажите базу данных Yandex Managed Service for YDB, созданную ранее.
5. Введите имя потока данных: yellow-taxi.
6. Нажмите кнопку Создать.

Настройте генерацию данныхНастройте генерацию данных

1. Создайте соединение:

   1. В консоли управления выберите каталог, в котором нужно создать соединение.
   2. Перейдите в сервис Yandex Query.
   3. На панели слева выберите Учебник.
   4. Перейдите в Потоковый раздел.
   5. В блоке Создать инфраструктуру для обучения нажмите кнопку Создать соединение.
   6. В открывшемся окне в блоке Параметры типа соединения выберите базу данных и сервисный аккаунт, созданные ранее.
   7. Нажмите кнопку Создать.

2. Создайте привязку к данным:

   1. Откроется страница для создания привязки к данным.
   2. В блоке Параметры привязки к данным выберите поток yellow-taxi, созданный ранее.
   3. Нажмите кнопку Создать.

Запустится генерация данных в поток yellow-taxi. Для управления генератором данных используйте кнопки Стоп и Старт.

Выполните запросВыполните запрос

1. В редакторе запросов в интерфейсе Query нажмите кнопку Новый потоковый запрос.

2. В текстовом поле введите текст запроса:

   $data =
   SELECT
       *
   FROM bindings.`tutorial-streaming`;
   
   $locations =
   SELECT
       PULocationID
   FROM
       `tutorial-analytics`.`nyc_taxi_sample/example_locations.csv`
   WITH
   (
       format=csv_with_names,
       SCHEMA
       (
           PULocationID String
       )
   );
   
   $time =
   SELECT
       HOP_END() AS time,
       rides.PULocationID AS PULocationID,
       SUM(total_amount) AS total_amount
   FROM $data AS rides
   INNER JOIN $locations AS locations
       ON rides.PULocationID=locations.PULocationID
   GROUP BY
       HOP(cast(tpep_pickup_datetime AS Timestamp?), "PT1M", "PT1M", "PT1M"),
       rides.PULocationID;
   
   SELECT
       *
   FROM
       $time;
   

3. Нажмите кнопку Выполнить.

Исследуйте результатИсследуйте результат

После запуска запроса к потоковым данным станет доступен результат — общая стоимость поездок total_amount в определенных локациях PULocationID, совершенных после запуска запроса.

#	PULocationID	time	total_amount
1	125	2022-02-15T12:03:00.000000Z	1275.4084
2	129	2022-02-15T12:03:00.000000Z	1073.0449
3	126	2022-02-15T12:03:00.000000Z	202.85883
4	121	2022-02-15T12:03:00.000000Z	636.8784
5	124	2022-02-15T12:03:00.000000Z	923.87805
6	127	2022-02-15T12:04:00.000000Z	2105.3125
...

См. такжеСм. также

• Оператор HOP. Параметры окон в потоковой обработке данных
• Агрегатные функции. Синтаксис YQL
• Формат SQL-выражения
• Аналитическая обработка данных
• Потоковый анализ данных