Изменение кластера Yandex Data Processing

Статья создана

Yandex Cloud

Обновлена 16 декабря 2024 г.

После создания кластера вы можете изменить его основные и дополнительные настройки.

Вы можете выключить передачу логов кластера в сервис Yandex Cloud Logging. Подробнее см. в разделе Работа с логами.

Кластер Yandex Data Processing также можно переместить в другую зону доступности. Процесс зависит от типа кластера:

Консоль управления

CLI

Terraform

Чтобы изменить настройки кластера Yandex Data Processing:

Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
Выберите кластер и нажмите кнопку Редактировать на панели сверху.
Измените имя и описание кластера в полях Имя кластера и Описание.
Добавьте или удалите метки кластера в поле Метки.
Измените настройки кластера:
- Сервисный аккаунт — сервисный аккаунт, которому нужно разрешить доступ к кластеру Yandex Data Processing.
  
  Выберите существующий сервисный аккаунт или создайте новый.
  
  Для изменения сервисного аккаунта в кластере Yandex Data Processing убедитесь, что вашему аккаунту в Yandex Cloud назначена роль iam.serviceAccounts.user или выше.
  
  Важно
  
  Если для доступа к объектам из Object Storage в кластере уже используется сервисный аккаунт, то его смена может привести к недоступности этих объектов и нарушению работы кластера. Перед изменением настроек сервисного аккаунта убедитесь, что кластер не использует соответствующие объекты.
- Свойства — свойства компонентов кластера.
  
  Добавьте, измените или удалите нужные свойства.
  
  Совет
  
  Если нужно, чтобы свойство было помещено в файл конфигурации, который относится к определенному компоненту, укажите префикс для ключа.
- Формат указания бакета — формат, в котором будет указано имя бакета: Список или ID.
- Имя бакета — имя бакета, который будет использоваться кластером.
  
  В зависимости от выбранного формата либо выберите из списка бакет с нужным именем, либо укажите имя бакета вручную. Имя бакета можно запросить со списком бакетов в каталоге.
- Группы безопасности — группы безопасности, которые будут использоваться кластером.
  
  Выберите одну или несколько групп безопасности. Если нужной группы безопасности нет в списке — создайте ее.
  
  Важно
  
  Некорректные настройки групп безопасности могут препятствовать работе кластера Yandex Data Processing. Подробнее о настройке групп безопасности см. в разделе Подключение к кластеру.
- UI Proxy — опция, управляющая доступом к веб-интерфейсам компонентов через UI Proxy.
  
  Важно
  
  Для использования UI Proxy может потребоваться дополнительная настройка групп безопасности.
- Лог-группа — лог-группа Yandex Cloud Logging, в которую кластер будет отправлять логи.
  
  Выберите лог-группу по умолчанию или другую существующую лог-группу. Если нужной лог-группы нет в списке — создайте ее.
  
  Чтобы кластер мог отправлять логи, назначьте сервисному аккаунту кластера роль logging.writer. Подробнее см. в документации Yandex Cloud Logging.
В дополнительных настройках кластера выберите нужное значение опции Защита от удаления.

Эта опция управляет защитой кластера от непреднамеренного удаления пользователем.

Включенная защита не помешает подключиться к кластеру вручную и удалить данные.
Нажмите кнопку Сохранить изменения.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить настройки кластера Yandex Data Processing:

Посмотрите описание команды CLI для изменения кластера:
```
yc dataproc cluster update --help
```
Чтобы изменить лог-группу, в которую отправляются логи кластера, передайте идентификатор нужной лог-группы в параметре --log-group-id:
```
yc dataproc cluster update <имя_или_идентификатор_кластера> \
   --log-group-id=<идентификатор_лог-группы>
```
Идентификатор лог-группы можно получить со списком лог-групп в каталоге.
Чтобы защитить кластер от непреднамеренного удаления пользователем вашего облака, добавьте параметр --deletion-protection:
```
yc dataproc cluster update <имя_или_идентификатор_кластера> \
   --deletion-protection
```
Включенная защита не помешает подключиться к кластеру вручную и удалить данные.
Чтобы изменить свойства компонентов, передайте необходимые свойства в параметре --property:
```
yc dataproc cluster update <имя_или_идентификатор_кластера> \
   --property "<префикс_ключа_1>:<ключ_1>=<значение>", "<префикс_ключа_2>:<ключ_2>=<значение>", ...
```
Важно

Использование параметра --property переопределит все свойства компонентов, которые не были явно переданы в параметре, на значения по умолчанию. Чтобы сохранить измененные ранее свойства, перечислите их в запросе наряду со свойствами, которые хотите изменить.

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Чтобы изменить настройки кластера Yandex Data Processing:

Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

О том, как создать такой файл, см. в разделе Создание кластера.
Чтобы включить защиту от удаления кластера и доступ к веб-интерфейсам компонентов Yandex Data Processing, измените значения соответствующих полей в описании кластера Yandex Data Processing:
```
resource "yandex_dataproc_cluster" "data_cluster" {
  ...
  deletion_protection = true
  ui_proxy            = true
  ...
}
```
Проверьте корректность настроек.
1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
2. Выполните команду:
```
terraform validate
```
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

Изменение кластера Yandex Data Processing

Была ли статья полезна?