Управление подкластерами Yandex Data Processing

Статья создана

Обновлена 6 августа 2024 г.

Получить список подкластеров в кластере
Создать подкластер
Удалить подкластер

Помимо изменения настроек отдельного подкластера вы можете создавать новые и удалять имеющиеся подкластеры.

Важно

В каждом кластере может быть не больше одного подкластера с хостом-мастером, поэтому создавать и удалять подкластеры с этой ролью невозможно. Также невозможно удалять подкластеры для хранения данных.

Получить список подкластеров в кластере

Консоль управления

CLI

Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
Нажмите на имя нужного кластера и выберите вкладку Подкластеры.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы запросить список подкластеров в кластере Yandex Data Processing, выполните команду:

yc dataproc subcluster list --cluster-name=<имя_кластера>

Имя кластера можно получить со списком кластеров в каталоге.

Создать подкластер

Количество хостов в кластерах Yandex Data Processing ограничено квотами на количество vCPU и объем памяти, которые могут использовать виртуальные машины в вашем облаке. Чтобы увидеть доступные ресурсы, откройте раздел Квоты и найдите блок Compute Cloud.

Консоль управления

CLI

Terraform

В консоли управления выберите нужный каталог.
Выберите сервис Yandex Data Processing и выберите нужный кластер.
Перейдите в раздел Подкластеры.
Нажмите кнопку Создать подкластер.
Укажите параметры подкластера:
1. Хосты — выберите количество хостов.
2. Роли — выберите роли подкластера в зависимости от того, какие сервисы должны быть развернуты на хостах:
  - COMPUTENODE — роль для обработки данных. В подкластерах с такой ролью могут быть развернуты YARN NodeManager и библиотеки Spark.
  - DATANODE — роль для хранения данных. В подкластерах с такой ролью могут быть развернуты YARN NodeManager и библиотеки Spark, а также HBase RegionServer и HDFS Datanode.
3. В блоке Класс хоста — выберите платформу и вычислительные ресурсы, доступные хосту.
4. В блоке Размер хранилища — укажите тип и размер хранилища.
5. В блоке Сетевые настройки:
  - Выберите Формат указания сети.
  - Укажите Подсеть — подсеть сети, в которой расположен кластер.
  - (Опционально) Включите опцию Публичный доступ для доступа к хостам подкластера из интернета.
    
    Эту настройку невозможно изменить после создания подкластера.
    
    Совет
    
    Подкластеры для обработки данных можно удалить и создать заново с нужным значением этой настройки.
6. (Опционально) Включите опцию Автоматическое масштабирование.
Нажмите кнопку Добавить подкластер.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Чтобы создать подкластер:

Посмотрите описание команды CLI для создания подкластера:
```
yc dataproc subcluster create --help
```
Укажите параметры подкластера в команде создания (в примере приведены не все доступные параметры):
```
yc dataproc subcluster create <имя_подкластера> \
  --cluster-name=<имя_кластера> \
  --role=<роль_подкластера> \
  --resource-preset=<класс_хоста> \
  --disk-type=<тип_хранилища> \
  --disk-size=<размер_хранилища_ГБ> \
  --subnet-name=<имя_подсети> \
  --hosts-count=<количество_хостов>
```
Где:
- --cluster-name — имя кластера. Имя кластера можно получить со списком кластеров в каталоге.
- --role — роль подкластера: datanode или computenode.
- --resource-preset — класс хостов.
- --disk-type — тип хранилища: network-ssd, network-hdd или network-ssd-nonreplicated.
- --disk-size — размер хранилища в гигабайтах.
- --subnet-name — имя подсети.
- --hosts-count — количество хостов подкластера. Минимальное значение — 1, максимальное — 32.

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.

Добавьте в описании кластера Yandex Data Processing блок subcluster_spec с параметрами нового подкластера:

resource "yandex_dataproc_cluster" "data_cluster" {
  ...
  cluster_config {
    ...
    subcluster_spec {
      name = "<имя_подкластера>"
      role = "<роль_подкластера>"
      resources {
        resource_preset_id = "<класс_хоста>"
        disk_type_id       = "<тип_хранилища>"
        disk_size          = <объем_хранилища_ГБ>
      }
      subnet_id   = "<идентификатор_подсети>"
      hosts_count = <число_хостов_в_подкластере>
      ...
    }
  }
}

Где role — роль подкластера: COMPUTENODE или DATANODE.

Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

Удалить подкластер

Важно

Удалить подкластеры для хранения данных невозможно.

Консоль управления

CLI

Terraform

Чтобы удалить подкластер:

В консоли управления выберите нужный каталог.
Выберите сервис Yandex Data Processing и выберите нужный кластер.
Перейдите в раздел Подкластеры.
Нажмите на значок для нужного подкластера и выберите пункт Удалить.
(Опционально) Укажите таймаут декомиссии.
В открывшемся окне нажмите кнопку Удалить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Чтобы удалить подкластер в кластере Yandex Data Processing, выполните команду:

yc dataproc subcluster delete <имя_или_идентификатор_подкластера> \
  --cluster-name=<имя_кластера>

Идентификатор и имя подкластера можно получить со списком подкластеров в кластере, имя кластера — со списком кластеров в каталоге.

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.
Удалите из описания кластера Yandex Data Processing блок subcluster_spec нужного подкластера.
Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Введите слово yes и нажмите Enter.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Управление подкластерами Yandex Data Processing

Получить список подкластеров в кластереПолучить список подкластеров в кластере

Создать подкластерСоздать подкластер

Удалить подкластерУдалить подкластер

Была ли статья полезна?

Получить список подкластеров в кластере

Создать подкластер

Удалить подкластер