О Yandex DataLens Platform
Yandex DataLens Platform — аналитическая платформа для полного цикла работы с данными: от подключения источников и загрузки до хранения, обработки, анализа и визуализации. В ней можно подготовить данные, выполнить SQL-запрос, разработать код загрузки и обработки данных на Python или Scala, построить дашборд и предоставить команде доступ к результатам.
Платформа реализует подход Lakehouse, который позволяет разделить хранение и обработку данных. Она предоставляет инструменты загрузки данных, визуализации на базе DataLens, разработки и оркестрации на базе Apache Airflow™. Нейроаналитик, внешние агенты, единый интерфейс, поиск, метаданные и управление доступом помогают работать с данными на разных этапах.
Кому подходит платформа
Инженеры данных могут настраивать загрузку из источников, готовить таблицы для анализа и автоматизировать их обновление. Аналитики — исследовать данные с помощью SQL и Python, анализировать результаты A/B-тестов, рассчитывать статистики, подготавливать данные для машинного обучения, создавать датасеты, чарты и дашборды. Бизнес-пользователи — отслеживать показатели, изучать отчеты и задавать вопросы Нейроаналитику. Все участники работают с данными в одной платформе с учетом предоставленных им прав доступа.
Устройство платформы
Основной поток работы с данными проходит через три компонента: загрузку, Lakehouse и визуализацию. Поставки переносят данные из источников в хранилище, вычислительные движки обрабатывают их, а инструменты визуализации помогают представить результаты пользователям. Инструменты разработки позволяют исследовать данные и автоматизировать их обработку. Сквозные возможности объединяют компоненты платформы.
Загрузка данных
Поставка данных переносит данные из внешнего источника в REST-каталог. Вы можете загрузить данные разово или настроить регулярное копирование по расписанию. Подробнее в разделе Поставки данных.
Если источник пока не поддерживается поставками данных, загрузку можно организовать с помощью кода в Apache Spark™ или подключения к источнику в Trino. Возможность подключения зависит от доступных для источника библиотек и коннекторов.
Lakehouse
В основе DataLens Platform — Lakehouse, который позволяет хранить данные отдельно от вычислительных ресурсов и обрабатывать их разными движками. На схеме хранение представлено S3, Apache Iceberg™ и REST-каталогом, а обработка — Trino и Apache Spark™.
Хранение
Данные хранятся в бакете объектного хранилища S3 в формате Apache Iceberg™. REST-каталог хранит метаданные таблиц и представлений и предоставляет к ним единый интерфейс доступа для вычислительных движков. Таблицы и представления можно объединять в пространства имен, например по проектам или направлениям бизнеса, и предоставлять доступ к ним для определенных пользователей. Подробнее в разделе REST-каталог.
Обработка
Обработка данных выполняется в кластерах Trino и Apache Spark™. Кластер Trino выполняет SQL-запросы, а кластер Apache Spark™ позволяет распределенно обрабатывать данные на Python, Scala и SQL. Размер ресурсов и пределы масштабирования можно настроить под задачу.
Окружение определяет облако, сеть и подсеть, в которых создаются ресурсы платформы. При его создании сеть используется для выбора подсети. Связанные REST-каталоги и кластеры должны находиться в одном облаке и в одном окружении.
При активации DataLens Platform платформа автоматически создает облако, сеть, подсеть, окружение, REST-каталог и кластеры Trino и Apache Spark™, а затем предлагает настроить кластер Apache Airflow™. Если вы пропустили этот этап, к настройке можно вернуться с главной страницы. Подробнее об окружениях в разделе Кластеры и окружения.
Визуализация
Для визуализации используются инструменты DataLens. Датасет описывает данные для построения визуализаций: поля, связи и вычисления. На его основе можно создавать чарты — графики и таблицы, а затем объединять их на дашбордах или в отчетах. Подготовленные результаты можно использовать для совместной работы и обсуждения показателей с командой.
Рассылки и уведомления помогают доставлять результаты анализа пользователям. Встраиваемая аналитика позволяет размещать чарты и дашборды на сайтах и в приложениях.
Подробнее о датасетах, чартах, дашбордах, отчетах и встраивании визуализаций.
Инструменты разработки
Для разработки и автоматизации обработки данных доступны оркестрация на базе Apache Airflow™, встроенный редактор SQL и рабочие пространства.
Оркестрация
Пайплайн описывает последовательность обработки данных и зависимости между задачами. Пайплайнами управляет Apache Airflow™: запускает задачи по расписанию или по запросу пользователя и отслеживает их выполнение. Задачи могут использовать вычисления в кластерах Trino и Apache Spark™.
Например, с помощью пайплайна можно проверить загруженные данные, преобразовать их и обновить итоговую таблицу для анализа. Для работы с пайплайнами создайте в окружении кластер Apache Airflow™. Подробнее в разделе Пайплайны.
Редактор SQL
Для исследования данных используйте редактор SQL: пишите запросы и просматривайте результаты в браузере. Нейроаналитик помогает составлять SQL-запросы по описанию задачи на естественном языке.
Рабочие пространства
Рабочие пространства (workspaces) предоставляют среду для разработки кода загрузки и обработки данных в IDE. Они позволяют работать с кодом на Python и Scala и использовать вычисления Apache Spark™.
Сквозные возможности
Сквозные возможности обеспечивают работу с данными и объектами в разных компонентах платформы.
Нейроаналитик
Нейроаналитик — AI-агент платформы. Он отвечает на вопросы о данных на естественном языке, помогает составлять SQL-запросы, создавать чарты и дашборды. Его можно использовать при исследовании данных и подготовке визуализаций. Нейроаналитику доступны только те данные и объекты, к которым есть доступ у текущего пользователя. Подробнее в разделе AI-инструменты.
Внешние агенты
Для работы с платформой можно подключать внешних AI-агентов через публичный API, MCP и Python SDK, а также использовать готовые скиллы (Skills). Это позволяет включать работу с данными и объектами платформы в сценарии внешних агентов.
Единый интерфейс
Инженеры данных, аналитики и бизнес-пользователи работают в одном интерфейсе. В нем можно переходить от загрузки и обработки данных к исследованию, визуализации и управлению объектами платформы.
Метаданные
Метаданные — это информация о данных платформы Yandex DataLens Platform: какие есть таблицы и дашборды, что в них лежит, откуда поставляется, кто за это отвечает и насколько этому можно доверять. В каталоге метаданных можно изучать структуру данных, добавлять описания, распределять объекты по доменам, назначать им теги классификаций и термины глоссариев. Подробнее в разделе Метаданные.
Информация об объектах REST-каталога автоматически добавляется в каталог метаданных. При обработке таблиц REST-каталога в Trino и Apache Spark™ формируются сведения о связях между исходными и результирующими данными.
Единый поиск
Единый поиск помогает находить данные и объекты платформы. Он доступен с главной страницы и в отдельном разделе Поиск.
Управление доступом
Единая модель управления доступом применяется к двум иерархиям: REST-каталогам с их пространствами имен, таблицами и представлениями, а также коллекциям с размещенными в них объектами платформы. Навигация по объектам учитывает предоставленные пользователю права. Для получения недостающих прав можно отправить запрос доступа. Это помогает организовать совместную работу инженеров, аналитиков и бизнес-пользователей. Подробнее в разделе Управление доступом.
Пример работы с платформой
Например, чтобы подготовить регулярно обновляемый дашборд продаж:
- Настройте окружение, REST-каталог и вычислительные кластеры.
- Создайте поставку, которая будет регулярно загружать данные о продажах из источника в REST-каталог.
- Подготовьте таблицу для анализа с помощью Trino или Apache Spark™. Для автоматизации обработки опишите пайплайн в Apache Airflow™.
- Создайте датасет и чарты на основе подготовленной таблицы, соберите дашборд с показателями продаж.
- Предоставьте коллегам доступ к результатам и используйте метаданные, чтобы описать назначение данных.
Для настройки сервиса и знакомства с основными компонентами пройдите быстрый старт.