DataOps Community Meetup

Разберёмся, почему держать постоянные кластеры для периодических расчётов не всегда оптимально, как автоматизировать задачи развёртывания и расчётов в Yandex.Cloud c помощью Airflow, и что при этом важно учитывать.

Посмотрим на плюсы и минусы использования объектного хранилища при работе со Apache Spark. Разберём виды оптимизаций: какие уже включены, а какие в планах.
Узнаем, как увеличить скорость обработки данных и снизить стоимость обслуживания кластеров.

Airflow — один из наиболее бурно обсуждаемых инструментов экосистемы Big Data, но как он будет себя вести на действительно больших объёмах задач в продуктивной среде? Посмотрим, с чем столкнулся Билайн при его внедрении, как решал попутно возникающие проблемы и делал эту среду контролируемой и наблюдаемой.

Покажем, как работать с ним в production и для ad-hoc, с примерами использования и лайфхаками настройки.

Классические подходы по работе с табличными данными в озёрах данных, например, через Hive и Spark не позволяют выполнять операции Update и Delete в привычном нам виде. Поэтому обычно приходится придумывать что-то более хитрое, чем простой insert overwrite. Поговорим о формате хранения данных, который даёт возможность «из коробки» выполнять Update, Delete и Point-in-time Query и несколько других полезных операций.