Как начать работать с Yandex DataLens Platform

В этом разделе описано, как настроить окружение DataLens Platform, подключиться к источнику данных, загрузить данные в REST-каталог, исследовать их с помощью редактора SQL и создать дашборд.

• Перед началом работы
• Активируйте сервис и настройте окружение
• Настройте Apache Airflow™
• Загрузите данные из источника
• Исследуйте данные с помощью редактора SQL
• Создайте дашборд

Перед началом работыПеред началом работы

Чтобы начать работать с DataLens Platform:

Активируйте сервис и настройте окружениеАктивируйте сервис и настройте окружение

При первом запуске DataLens Platform:

1. Введите название организации и нажмите Продолжить.

2. Ответьте на вопросы об использовании сервиса и нажмите Продолжить.

3. Привяжите ваш платежный аккаунт: выберите Привязать, укажите платежный аккаунт и нажмите Продолжить, либо выберите Не привязывать и воспользуйтесь пробным периодом.

4. Настройте окружение для работы с данными: выберите Настроить сейчас и нажмите Продолжить.

   Платформа самостоятельно создаст облако Yandex Cloud, сеть и подсеть, окружение, REST-каталог и кластеры Trino и Apache Spark™. Настройка займет несколько минут и продолжится в фоне.

5. Пригласите пользователей: укажите адреса электронной почты коллег через запятую и нажмите Отправить приглашения. Если вы пока не хотите приглашать пользователей, оставьте поле с адресами пустым и нажмите Продолжить. Откроется главная страница DataLens Platform.

   На главной странице в блоке Настройте DataLens Platform отображаются этапы настройки: Настройте окружение, Настройте загрузку данных, Постройте дашборд и Пригласите пользователей. Выберите Настройте окружение, чтобы проверить состояние настройки. Когда останется настроить Apache Airflow™, в блоке появится карточка Осталось настроить Airflow.

Если вы пропустили настройку окружения при первом запуске, вернитесь к ней с главной страницы: в блоке Настройте DataLens Platform выберите Настройте окружение.

Чтобы просмотреть созданное окружение, откройте раздел Кластеры, перейдите на вкладку Окружения и нажмите на его название. На странице окружения отображаются облако, сеть и подсеть, выбранные при создании.

Если вы создаете окружение вручную, заранее подготовьте облако, сеть и подсеть по требованиям. К подсети должна быть привязана таблица маршрутизации с маршрутом 0.0.0.0/0 через NAT-шлюз, который обеспечивает доступ в интернет.

Настройте Apache Airflow™Настройте Apache Airflow™

Чтобы запускать пайплайны обработки данных, необходимо создать кластер Apache Airflow™. Для этого:

1. На главной странице в блоке Настройте ваш DataLens Platform выберите Настройте окружение.

2. В карточке Осталось настроить Airflow нажмите Перейти к настройке.

3. В блоке Основные настройки укажите параметры Git-репозитория:

   • Адрес репозитория — адрес для подключения по SSH.
   • Путь до папки с файлами — путь к папке с DAG-файлами в Git-репозитории.
   • Ветка — ветка, из которой нужно загружать DAG-файлы.
   • SSH-ключ — содержимое закрытого ключа. Соответствующий открытый ключ должен предоставлять доступ на чтение Git-репозитория.

4. В поле Окружение выберите то же окружение, в котором находятся REST-каталог и кластеры Trino и Apache Spark™.

5. Если для выполнения DAG нужны дополнительные зависимости Python, в блоке Другие настройки заполните поле Pip-пакеты. Укажите каждую зависимость на отдельной строке: название пакета или название с точной версией через ==. Можно указать дополнительные компоненты пакета, например:

   numpy
   requests[security,socks]
   

6. Нажмите Создать кластер.

7. Дождитесь завершения операции. После создания кластера откроется список пайплайнов.

Если вы пока не планируете использовать пайплайны, в карточке Осталось настроить Airflow нажмите Пропустить.

Загрузите данные из источникаЗагрузите данные из источника

В этом примере источник данных — реляционная база PostgreSQL, из которой нужно регулярно загружать таблицы в REST-каталог. Для загрузки сначала создайте подключение к базе, а затем поставку данных. Сейчас для поставок данных доступны подключения к ClickHouse®, PostgreSQL и MySQL®. Список поддерживаемых источников будет пополняться.

Если нужный источник пока не поддерживается поставками данных, загрузку можно организовать с помощью кода в Apache Spark™ или подключения к источнику в Trino. Возможность подключения зависит от доступных библиотек и коннекторов.

Создайте подключение к источникуСоздайте подключение к источнику

В подключении хранятся параметры доступа к источнику данных. Одно подключение можно использовать для загрузки данных, сбора метаданных, выполнения SQL-запросов и создания датасетов.

Чтобы создать подключение к PostgreSQL:

1. На панели слева выберите Поставки данных и нажмите Создать поставку данных.

2. На шаге Выбор подключения нажмите Создать подключение.

3. В разделе Базы данных выберите PostgreSQL.

4. На шаге Подключение выберите Выбрать в организации и укажите параметры:

   • Облако и каталог — облако и каталог Yandex Cloud, в которых находится кластер PostgreSQL.
   • Кластер — кластер с исходными данными.
   • Идентификатор подключения — подключение к выбранному кластеру.
   • Хост — хост кластера.
   • База данных — база данных, из которой нужно загружать таблицы.

   Для подключения к внешней базе данных выберите Указать вручную и заполните параметры доступа.

5. Остальные настройки оставьте без изменений.

6. Нажмите Проверить подключение.

7. После успешной проверки нажмите Создать подключение.

8. В открывшемся окне выберите коллекцию, введите название подключения и нажмите Создать.

9. Дождитесь создания подключения и загрузки шага Метаданные.

10. Убедитесь, что включена опция Получать метаданные. В поле Расписание выберите Каждый день, а в поле Временные интервалы — время обновления метаданных, например 00:00. Остальные настройки оставьте без изменений.

11. Нажмите Продолжить.

Расписание на шаге Метаданные определяет частоту обновления метаданных источника. Периодичность копирования самих данных задается отдельно при настройке поставки.

Настройте поставку данныхНастройте поставку данных

В качестве источника выберите подключение к PostgreSQL, созданное на предыдущем шаге. Для загрузки используйте REST-каталог, созданный при настройке окружения.

Чтобы регулярно копировать данные из PostgreSQL в REST-каталог:

1. Перейдите в раздел Поставки данных и нажмите Создать поставку данных.

2. На шаге Выбор подключения укажите подключение-источник и перейдите к шагу Настройка поставки данных.

3. В переключателе типа поставки выберите Регулярное копирование — копирование с обновлением данных по расписанию.

4. Задайте основные параметры поставки:

   • В поле Название поставки введите имя поставки.
   • (Опционально) В поле Описание укажите, для чего нужна поставка.
   • В поле База данных укажите имя базы данных в выбранном подключении-источнике.
   • В поле Коллекция выберите коллекцию из списка. Если подходящей коллекции нет, нажмите Создать и создайте новую.
   • (Опционально) добавьте метку для поиска и фильтрации поставки.

5. В блоке Назначение укажите, куда переносить данные:

   • В поле REST-каталог выберите REST-каталог.
   • В поле Пространство имён выберите пространство имен внутри выбранного каталога. Если подходящего пространства имен нет, нажмите Создать и создайте новое.

6. В блоке Параметры поставки настройте расписание и состав данных:

   • В поле Периодичность выберите частоту обновления (например, Каждый месяц), а в поле ниже задайте день и время запуска (например, 1 в 12:00).

   • В поле Таблицы для поставки выберите, какие таблицы переносить:

     • Все таблицы — перенести все таблицы источника.
     • Список — указать таблицы для переноса в отдельных полях.

   • (Опционально) В блоке Инкрементальные таблицы настройте инкрементальное копирование по колонке курсора.

     Настройка инкрементальных таблиц

     При инкрементальном копировании на каждом запуске поставки переносятся только строки, у которых значение колонки курсора превышает сохраненное с прошлого запуска, — так в приемник попадают только новые данные, а не вся таблица целиком.
     Заполнить блок можно в двух режимах, которые переключаются кнопками в правой части его заголовка: каждое поле отдельно или в табличном виде. Каждая настраиваемая таблица отображается отдельным блоком с порядковым номером (Таблица 1, Таблица 2 и т. д.); чтобы удалить таблицу, нажмите в ее заголовке.
     Для каждой инкрементальной таблицы задайте параметры:

     • (Опционально) В поле Пространство имён таблицы укажите пространство имен (схему) таблицы в источнике. Если пространство имен по умолчанию, поле можно оставить пустым.
     • В поле Имя таблицы укажите имя таблицы, для которой настраивается инкрементальное копирование.
     • В поле Колонка курсора укажите колонку, по которой отслеживаются новые данные, — например, монотонно возрастающий идентификатор или колонку с датой либо временем изменения записи.
     • (Опционально) В поле Начальное значение задайте значение курсора, начиная с которого копировать данные при первом запуске. Если оставить поле пустым, копирование начнется с самого раннего доступного значения.

7. Нажмите Создать поставку.

Дождитесь завершения первой загрузки. Откройте выбранное пространство имен в REST-каталоге и убедитесь, что в нем появились нужные таблицы.

Исследуйте данные с помощью редактора SQLИсследуйте данные с помощью редактора SQL

Для выполнения запросов используйте кластер Trino из того же облака и окружения, что и REST-каталог с загруженными данными.

Чтобы исследовать загруженные данные с помощью SQL:

1. На панели слева выберите Редактор SQL.

2. Выберите подключение к кластеру Trino, связанному с REST-каталогом, в который вы загрузили данные.

3. Создайте SQL-запрос одним из способов:

   • введите запрос в редакторе;
   • на панели Нейроаналитик опишите, какие данные нужно получить, а затем нажмите Вставить в редактор.

4. Нажмите Выполнить и проверьте результат запроса.

5. Нажмите Сохранить, введите название скрипта и выберите коллекцию.

Открыть редактор также можно со страницы подключения или таблицы REST-каталога. Подробнее о работе в редакторе SQL.

Создавать и выполнять SQL-запросы также можно через внешнего AI-агента, подключенного к API платформы.

Если для скрипта уже создан пайплайн Apache Airflow™:

1. На панели слева выберите Оркестратор.
2. Убедитесь, что сервисный аккаунт кластера имеет доступ к сохраненному SQL-скрипту, подключению, используемым данным и вычислениям в кластере Trino. Идентификатор аккаунта указан в карточке Сервисный аккаунт. Для перехода к запросу доступа в меню карточки выберите Запросить доступ.
3. Включите пайплайн.
4. Откройте пайплайн и проверьте результат запуска.

Создайте дашбордСоздайте дашборд

Чтобы создать дашборд с помощью Нейроаналитика:

1. Вернитесь на главную страницу DataLens Platform.

2. В блоке Настройте ваш DataLens выберите Постройте дашборд и нажмите Показать.

3. Опишите задачу в поле Чем вам помочь?. Укажите подключение или таблицу, по которой нужно построить дашборд, и необходимые показатели. Например:

   Собери дашборд по данным из таблицы <имя_таблицы>. Покажи динамику показателей по месяцам и распределение по типам.

4. Отправьте запрос.

5. Дождитесь, когда Нейроаналитик создаст датасет и дашборд.

6. Откройте созданный дашборд и проверьте данные на чартах.

В результате вы настроили окружение DataLens Platform, загрузили данные из PostgreSQL в REST-каталог, исследовали данные с помощью SQL и создали дашборд.