Мероприятия
Запись

Обработка данных на Apache Airflow в Yandex Cloud

21 июля 2022 г. в 12:00Online
  • Другое

Запись

О мероприятии

Для анализа данных в облаке не достаточно СУБД и средств визуализации — нужен ещё и понятный инструмент, который автоматизирует сбор, подготовку и обработку данных. На вебинаре мы расскали о таком сервисе — Apache Airflow.

Эксперты Yandex Cloud обсудили:

  • как спроектировать инфраструктуру для Apache Airflow;
  • как собирать данные в облако для анализа и визуализации на основе Python и Spark;
  • как автоматизировать обогащение данных и подготовку витрин в аналитическом хранилище на основе PostgreSQL, Greenplum и Clickhouse;
  • как обеспечивать отказоустойчивость и непрерывность конвейеров данных.

Вебинар был интересен и тем, кто только собирается попробовать аналитику данных в облаке, и тем, кто строит такую платформу или хочет масштабировать уже работающую среду. CDO и CTO смогли разобраться, чем инструмент будет полезен бизнесу, а дата-инженеры — получили практические рекомендации для его использования.