Управление кластерами

В разделе Кластеры вы можете управлять кластерами и окружениями. Из инструкций вы узнаете, как:

• Просмотреть список кластеров.
• Создать кластер Trino.
• Создать кластер Apache Spark™.
• Просмотреть сведения о кластере.
• Изменить настройки кластера.
• Остановить и запустить кластер.
• Перейти к REST-каталогам и подключениям.

Настройка окружений описана в инструкции Управление окружениями, а создание кластера Apache Airflow™ — в разделе Управление пайплайнами.

Перед началом работыПеред началом работы

Подготовьте окружение и коллекцию для размещения кластера. Убедитесь, что у вас есть права на создание объектов в коллекции.

Если кластер Trino будет работать с таблицами REST-каталога, создайте REST-каталог заранее.

Просмотр списка кластеровПросмотр списка кластеров

На панели слева откройте раздел Кластеры и перейдите на вкладку Кластеры. В списке отображаются название и описание кластера, статус, идентификатор, окружение, расположение и дата создания.

Чтобы найти кластер, введите его название или идентификатор в поле Название или ID. Для отбора кластеров используйте фильтры Тип, Окружение и Статус. Чтобы открыть страницу кластера, нажмите на его название.

Создание кластера TrinoСоздание кластера Trino

1. В разделе Кластеры на вкладке Кластеры нажмите Создать и выберите Trino.

2. В блоке Основные настройки укажите параметры:

   • Название — имя кластера.
   • (Опционально) Описание — для чего будет использоваться кластер.
   • Окружение — окружение, в котором будет создан кластер. Кластер и REST-каталоги, с которыми он будет работать, должны находиться в одном облаке и в одном окружении. Если подходящего окружения нет, нажмите Создать и настройте новое.
   • REST-каталоги — REST-каталоги, с которыми будет работать кластер.

3. В блоке Конфигурация ресурсов кластера настройте вычислительные ресурсы:

   • Размер воркера — количество vCPU и объем оперативной памяти каждого воркера.
   • Количество воркеров — минимальное и максимальное количество воркеров. Кластер будет менять их количество в зависимости от нагрузки в заданных пределах.

4. В блоке Другие настройки задайте параметры:

   • Запись логов — включите опцию, чтобы записывать логи кластера.

5. Нажмите Создать кластер.

6. В окне Выберите где создать кластер выберите коллекцию и нажмите Создать.

7. Дождитесь завершения создания. На странице кластера статус Создается сменится на Активен.

Создание кластера Apache Spark™Создание кластера Apache Spark™

1. В разделе Кластеры на вкладке Кластеры нажмите Создать и выберите Apache Spark™.

2. В блоке Основные настройки укажите параметры:

   • Название — имя кластера.
   • (Опционально) Описание — для чего будет использоваться кластер.
   • Окружение — окружение, в котором будет создан кластер. Кластер и REST-каталоги, с которыми он будет работать, должны находиться в одном облаке и в одном окружении. Если подходящего окружения нет, нажмите Создать и настройте новое.

3. В блоке Конфигурация ресурсов кластера настройте вычислительные ресурсы:

   • Размер исполнителя — количество vCPU и объем оперативной памяти каждого исполнителя.
   • Количество исполнителей — минимальное и максимальное количество исполнителей.
   • Размер драйвера — количество vCPU и объем оперативной памяти каждого драйвера.
   • Количество драйверов — минимальное и максимальное количество драйверов.

4. В блоке Параметры кластера при необходимости укажите дополнительные пакеты Python в поле Pip-пакеты. Перечислите названия пакетов через пробел.

5. В блоке Другие настройки включите Запись логов, если нужно записывать логи кластера.

6. Нажмите Создать кластер.

7. В окне Выберите где создать кластер выберите коллекцию и нажмите Создать.

8. Дождитесь, когда кластер перейдет в статус Активен.

Просмотр сведений о кластереПросмотр сведений о кластере

Чтобы просмотреть сведения, в разделе Кластеры на вкладке Кластеры откройте нужный кластер.

На вкладке Кластер отображаются:

• Для Trino — количество координаторов и активных воркеров, максимальный размер ресурсов.
• Для Apache Spark™ — количество драйверов и активных исполнителей, максимальный размер ресурсов.
• В блоке О кластере — идентификатор, окружение и версия движка.

Чтобы открыть веб-интерфейс движка, в блоке О кластере в строке Веб-интерфейс нажмите Перейти.

Изменение настроек кластераИзменение настроек кластера

1. В разделе Кластеры на вкладке Кластеры откройте нужный кластер.

2. Перейдите на вкладку Настройки.

3. Измените размер вычислительных ресурсов и пределы масштабирования кластера.

4. В блоке Другие настройки измените параметры записи логов.

5. Нажмите Сохранить изменения.

Остановка и запуск кластераОстановка и запуск кластера

Чтобы остановить кластер:

1. В разделе Кластеры на вкладке Кластеры откройте нужный кластер.
2. В правом верхнем углу нажмите Остановить.
3. В окне подтверждения нажмите Остановить кластер.
4. Дождитесь, когда статус Останавливается сменится на Остановлен.

Чтобы запустить остановленный кластер, откройте его страницу и в правом верхнем углу нажмите Запустить. Дождитесь статуса Активен, прежде чем выполнять запросы и задачи.

REST-каталоги и подключенияREST-каталоги и подключения

На странице кластера Trino доступны вкладки:

• REST-каталоги — список каталогов, связанных с кластером. Нажмите на название REST-каталога, чтобы перейти к работе с ним.
• Подключения — список подключений к кластеру. Нажмите на название подключения, чтобы открыть его.

Для поиска в списках используйте поле Название, а для создания объекта — кнопку Создать на соответствующей вкладке.