Airflow была разработана в 2014 году в компании Airbnb. Технология остаётся одним из самых популярных open-source-решений для оркестрации данных. Airflow использует язык Python для описания логики выполняемых операций с данными, что позволяет упростить разработку и тестирование с её помощью.
Улучшаем управление данными с помощью Managed Service for Apache Airflow™
Новый сервис Yandex Managed Service for Apache Airflow™ поможет дата-инженерам и ML-специалистам эффективно и гибко настроить операции по обработке и аналитике данных.
26 сентября 2023 г.
5 минут чтения
Yandex Managed Service for Apache Airflow™ объединяет все этапы работы с данными на платформе Yandex Cloud в единый процесс. Это позволяет компаниям быстрее создавать дата‑проекты в облаке — от корпоративных хранилищ данных до рекомендательных систем.
В Yandex Cloud Apache Airflow интегрирован с объектным хранилищем, управляемыми СУБД, BI‑инструментами, сервисами машинного обучения облачной платформы. Также Apache Airflow работает с сервисом для обработки массивов данных Yandex Data Proc, что позволяет эффективнее использовать вычислительные ресурсы. А чтобы сделать процесс управления данными надёжнее и безопаснее, настройте доставку секретов в Apache Airflow через Yandex Lockbox.
«Развитие технологий для работы с данными в облаке остаётся одним из наших главных приоритетов. Мы планомерно развиваем технологический стек в соответствии с запросами дата‑инженеров, аналитиков, ML‑специалистов. Управляемый Apache Airflow был одним из важных запросов пользователей платформы. Теперь координация разрозненных источников данных и сервисов в облаке станет удобнее».
Мы берём большую часть задач по развёртыванию и поддержке технологии на себя. Специалистам будет проще организовать процесс обработки данных с помощью Airflow. Кроме этого, предоставление технологии в виде управляемого сервиса сократит вероятность отказов и сбоев при её использовании. Yandex Managed Service for Apache Airflow™ предоставляется бесплатно на этапе Public Preview и уже доступен по запросу для пользователей платформы.
Подпишитесь на наш канал в Telegram и следите за новостями Yandex Cloud.
