Возможности легковесных кластеров Apache Spark в Yandex Data Processing

Технологии Apache Spark^™ применяются для пакетной обработки данных и позволяют реализовать самые сложные сценарии. При этом нагрузка часто бывает непостоянной и требует больше вычислительных мощностей на ограниченных промежутках времени.

Обновлённый сервис Yandex Data Prосessing, где вы можете развернуть кластеры Apache Spark, позволяет эффективно использовать возможности Yandex Cloud и гибко управлять вычислительными ресурсами. Можно одновременно достичь высокой производительности в пиковые периоды и экономить затраты во время простоя.

На вебинаре мы рассказали, как использовать возможности легковесных и временных кластеров Apache Spark в Yandex Data Processing для гибкого управления ресурсами. Показали, как организовать хранение данных в S3 и преобразовывать их с помощью SQL-запросов. Поделились планами и направлениями развития сервиса.

Встреча будет полезна инженерам, архитекторам и разработчикам.