Yandex Managed Service for Apache Airflow™
Сервис для управления оркестратором потоков операций по обработке данных Apache Airflow™ в инфраструктуре Yandex Cloud.
Развёртывание по кнопке
Вы сможете развернуть компоненты Apache Airflow всего за несколько минут. Настройки продукта уже оптимизированы под выбранный размер кластера.
Безопасность доступа
Авторизация пользователей происходит через инфраструктуру Yandex Cloud с шагом проверки IAM‑роли. Также сервис поддерживает интеграцию с Yandex Lockbox, как и с хранилищем секретов Apache Airflow.
Автоматизация обработки данных
Обрабатывайте данные и подготавливайте результат при помощи уже известных инструментов в автоматическом режиме, используя интеграции сервисов Yandex Cloud в Yandex Managed Service for Apache Airflow.
Временные кластеры Yandex Data Processing
Используйте вычислительные ресурсы эффективнее за счёт автоматического создания временного кластера Yandex Data Processing, который удаляется после завершения процесса обработки данных.
Интеграция с другими сервисами Yandex Cloud
Кластер Apache Airflow поддерживает интеграцию с другими сервисами Yandex Cloud без программирования или дополнительной настройки.
Мониторинг
Просматривайте аудитные логи в Yandex Cloud Logging. В Yandex Monitoring настраивайте алерты и отслеживайте метрики, такие как время выполнения задач и специфические ошибки.
Мы берём на себя большую часть работы по обслуживанию базы данных
Самостоятельный контроль
Контроль на стороне Yandex Cloud
С чего начать
С чего начать
Создайте кластер Yandex Managed Service for Apache Airflow.
Начните работу в веб-интерфейсе Apache Airflow.
Вопросы и ответы
В чём отличие Apache Airflow от других оркестраторов процессов?
В чём отличие Apache Airflow от других оркестраторов процессов?
Apache Airflow обладает несколькими особенностями, которые делают его уникальным и мощным инструментом для автоматизации задач, планирования и управления рабочими процессами (workflow orchestration). Основные черты, которые выделяют Apache Airflow:
- Поддержка множества источников данных и плагинов. Apache Airflow имеет более 150 интеграций с сервисами хранения и обработки данных, включая сервисы Yandex Cloud.
- Масштабируемость. Apache Airflow поддерживает динамическое создание вычислительных ресурсов для выполнения задач и может подстраиваться под текущую нагрузку.
- Open source и активное сообщество. Apache Airflow — проект с открытым исходным кодом. Сообщество разработчиков и пользователей обеспечивает поддержку и постоянное обновление инструмента.
- Определение зависимостей. Apache Airflow позволяет явно определять зависимости между задачами, что обеспечивает контроль над порядком их выполнения. Это полезно при оркестрации сложных процессов.
- Мониторинг и журналирование. Apache Airflow предоставляет инструменты для мониторинга и логирования выполнения задач. Вы можете легко отслеживать статус и прогресс задач, а также анализировать журналы для выявления ошибок и повышения производительности.
- Настраиваемость. Вы можете настраивать Apache Airflow под свои потребности, создавая собственные операторы и расширяя функциональность с помощью пользовательских плагинов.
Какие версии Apache Airflow доступны в Yandex Cloud?
Какие версии Apache Airflow доступны в Yandex Cloud?
Как настроить окружение для Apache Airflow в Yandex Cloud?
Как настроить окружение для Apache Airflow в Yandex Cloud?
Начните пользоваться Yandex Managed Service for Apache Airflow
Полезные ссылки
Apache® и Apache Airflow™ являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.