Data Lakehouse по клику: митап Yandex Cloud

2 апреля покажем, как развернуть и собрать Lakehouse‑архитектуру на базе сервисов Yandex Cloud — с минимальной ручной интеграцией и быстрым стартом. А ещё разберём, как построить современную аналитику от данных до BI: как хранить сырые данные в Object Storage (S3), организовать табличный слой на Iceberg, обрабатывать данные в Trino и Spark, строить быстрые витрины в ClickHouse и доводить результат до дашбордов в DataLens.

Как это выглядит на практике с точки зрения крупного бизнеса, расскажет команда Magnit Tech: с докладом «От „чистого Lakehouse“ к гибридной модели: как мы собрали F&R на петабайтах данных» выступит Алексей Соболеков. Вы узнаете, как в Magnit Tech проектировали платформу F&R с объёмами данных в десятки петабайт, какие требования по пропускной способности расчётов и отзывчивости интерфейса пришлось обеспечить, что дал подход Lakehouse на практике и почему для интерактивных сценариев понадобился отдельный слой витрин данных.

Также обсудим управление данными через Data Catalog, ingestion в Iceberg и roadmap развития решения. В финальном докладе поделимся видением: собственный Iceberg REST Catalog для управляемости и контроля доступа, а также AI‑агенты для ускорения работы с кодом и пайплайнами. На митапе соберём лист ожидания для раннего доступа к новым возможностям.