Кластеры и окружения в Yandex DataLens Platform
В Yandex DataLens Platform запросы и задачи обработки данных выполняются в кластерах. Окружения задают параметры облачной инфраструктуры, в которой создаются ресурсы платформы.
Для управления кластерами и окружениями на панели слева откройте раздел Кластеры.
Окружения
Окружение связывает ресурсы DataLens Platform с Yandex Cloud. При создании окружения вы выбираете облако, сеть и подсеть. От выбранного облака зависят квоты и платежный аккаунт для создаваемых ресурсов.
В окружении можно создавать REST-каталоги и кластеры для обработки данных и выполнения пайплайнов. Создавайте отдельные окружения для разных задач и групп пользователей.
Примечание
Чтобы кластеры, REST-каталоги и другие объекты платформы могли взаимодействовать друг с другом, они должны находиться в одном облаке Yandex Cloud и в одном окружении. При создании связанных объектов выбирайте одно и то же окружение.
При первоначальной настройке сервиса платформа создает облако, сеть и подсеть, окружение, REST-каталог и кластеры Trino и Apache Spark™, а затем предлагает подключить Apache Airflow™. Дополнительные окружения можно создать вручную.
Сеть и подсеть
При создании окружения вручную выберите облачную сеть в выбранном облаке, а затем одну подсеть этой сети. Выбор сети ограничивает список доступных подсетей.
Сеть обеспечивает связь между облачными ресурсами. Подсеть — диапазон внутренних IP-адресов, которые назначаются ресурсам. Подсеть находится в определенной зоне доступности.
Доступ в интернет через NAT
При создании окружения вручную необходимо обеспечить доступ в интернет из выбранной подсети через NAT-шлюз. Он позволяет ресурсам устанавливать исходящие соединения без назначения им публичных IP-адресов. Подробнее о NAT-шлюзе.
NAT-шлюз создается в каталоге, где находится сеть. В этой сети должна быть таблица маршрутизации с маршрутом 0.0.0.0/0 через шлюз. Таблица привязывается к подсети окружения, чтобы направлять трафик из нее за пределы сети через NAT-шлюз. Подробнее в инструкции Настроить NAT-шлюз.
Важно
Перед созданием окружения вручную проверьте, что таблица маршрутизации привязана именно к выбранной подсети и содержит маршрут через NAT-шлюз. Это обязательно и при использовании существующей подсети.
Кластеры
Кластер — набор вычислительных ресурсов для выполнения запросов или задач обработки данных. При создании кластера вы выбираете окружение, параметры вычислений и коллекцию для размещения объекта в DataLens Platform.
Окружение определяет облачную инфраструктуру кластера, а коллекция — его расположение в навигации платформы. В списке кластеров эти сведения отображаются отдельно, в столбцах Окружение и Расположение.
Кластеры Trino
Кластер Trino выполняет SQL-запросы к данным. В его состав входят координатор и воркеры. Координатор принимает запросы, планирует их выполнение и распределяет задачи между воркерами. Воркеры обрабатывают данные и передают результаты координатору. Подробнее об устройстве кластера в документации Trino.
При создании кластера Trino можно выбрать REST-каталоги из того же окружения, с которыми он будет работать. Размер воркера определяет количество vCPU и объем оперативной памяти. Количество воркеров задается диапазоном: кластер добавляет и отключает их в зависимости от нагрузки в установленных пределах.
Кластеры Apache Spark™
Кластер Apache Spark™ предназначен для распределенной обработки данных. Драйвер управляет выполнением приложения, а исполнители выполняют его задачи. Подробнее о компонентах в документации Apache Spark™.
Для драйверов и исполнителей отдельно задаются размер, а также минимальное и максимальное количество. При создании кластера можно указать дополнительные пакеты Python в поле Pip-пакеты.
Кластеры Apache Airflow™
Кластер Apache Airflow™ управляет выполнением пайплайнов: учитывает расписание и зависимости между задачами, запускает их и отслеживает состояние. Задачи пайплайна могут использовать вычисления в кластерах Trino и Apache Spark™.
Кластер Apache Airflow™ создается в окружении, а работа с ним описана в разделе Управление пайплайнами.
Управление вычислительными ресурсами
Для кластеров Trino и Apache Spark™ задаются размер вычислительных ресурсов и пределы масштабирования. Отключение простаивающих воркеров и исполнителей платформа выполняет автоматически.
Кластеры Trino и Apache Spark™ можно останавливать и запускать вручную. При остановке выполнение запросов прерывается, а новые запросы не принимаются. Чтобы возобновить работу, запустите кластер и дождитесь его перехода в статус Активен.
На вкладке Кластер отображаются сведения о вычислительных ресурсах, идентификатор, окружение и версия движка. Из блока О кластере можно перейти в веб-интерфейс движка.
На странице кластера Trino также есть вкладки REST-каталоги, Подключения и Настройки, а на странице кластера Apache Spark™ — Настройки.