Обработка и анализ больших данных с помощью Apache Spark^™ на Yandex Data Processing

— Apache Spark в Yandex Cloud

— Практика. Создание облачной инфраструктуры

— Практика. Развёртывание кластера Yandex Data Processing

— Практика. Мониторинг состояния кластера и хостов Yandex Data Processing

— Практика. Анализ логов Yandex Data Processing

— Разработка и тестирование кода Spark в Yandex Cloud

— Практика. Подключение к кластеру Yandex Data Processing из DataSphere

— Базы данных vs Data Lakes vs Data Lakehouse

— Каталоги метаданных

— Практика. Развёртывание каталога метаданных Hive Metastore

— Реализация Data Lakehouse

— Практика. Построение Data Lakehouse в Yandex Cloud

— Различные способы работы с данными в Apache Spark

— Практика. Изучение датасета R7

— Практика. SparkSQL

— Практика. Разработка Spark‑задания

— Практика. Мониторинг состояния Spark‑приложений и анализ их логов

— Structured Streaming API

— Практика. Запуск генератора данных

— Практика. Обработка потоковых данных

— Практика. Диагностика и устранение проблем производительности Spark‑приложений

— Практика. Настройка автоматического масштабирования кластера

— Оркестрация заданий Apache Spark

— Практика. Разворачивание Apache Airflow^™

— Практика. Настройка запуска заданий Apache Spark по расписанию с помощью Apache Airflow

— Что такое витрины

— Практика. Разворачивание Yandex Managed Service for ClickHouse^®

— Теория. Joins в Spark

— Практика. Создание Spark‑задания для заполнения витрин

— Практика. Анализ данных

Все материалы курса доступны бесплатно.

Практическая часть курса предполагает использование облачных ресурсов, которые вы оплачиваете самостоятельно. Курс разработан таким образом, чтобы расходы были минимальными. Часть из них покроет стартовый грант.

Чтобы избежать лишних трат, следуйте нескольким советам:

• Останавливайте виртуальные машины в перерывах между выполнением практических работ. Вы не снизите потребление до нуля, но сократите расходы.
• Контролируйте расходы с помощью бюджета и уведомлений, которые можно настроить в разделе Биллинг. Как это сделать, мы рассказали в документации.
• Не забудьте удалить ресурсы после завершения курса.

Чтобы получить свидетельство, необходимо успешно пройти тестирование в конце курса.

Из теории вы будете узнавать новое, а на практике тренировать навыки и работу с инструментами. Вы не привязаны к расписанию, поэтому сами выбираете время для обучения. На платформе вы можете поставить цели, планировать график и интегрировать его с популярными календарями или получать напоминания через бот в Telegram. Такой подход к планированию поможет сделать самостоятельное прохождение курса более эффективным.