Изменение кластера Yandex Data Processing
После создания кластера вы можете изменить его основные и дополнительные настройки.
Вы можете выключить передачу логов кластера в сервис Yandex Cloud Logging. Подробнее см. в разделе Работа с логами.
Кластер Yandex Data Processing также можно переместить в другую зону доступности. Процесс зависит от типа кластера:
- Миграция легковесного кластера в другую зону доступности.
- Миграция кластера с файловой системой HDFS в другую зону доступности.
Чтобы изменить настройки кластера Yandex Data Processing:
-
Перейдите на страницу каталога
и выберите сервис Yandex Data Processing. -
Выберите кластер и нажмите кнопку Редактировать на панели сверху.
-
Измените имя и описание кластера в полях Имя кластера и Описание.
-
Добавьте или удалите метки кластера в поле Метки.
-
Измените настройки кластера:
-
Сервисный аккаунт — сервисный аккаунт, которому нужно разрешить доступ к кластеру Yandex Data Processing.
Выберите существующий сервисный аккаунт или создайте новый.
-
Свойства — свойства компонентов кластера.
Добавьте, измените или удалите нужные свойства.
Совет
Если нужно, чтобы свойство было помещено в файл конфигурации, который относится к определенному компоненту, укажите префикс для ключа.
-
Формат указания бакета — формат, в котором будет указано имя бакета: Список или ID.
-
Имя бакета — имя бакета, который будет использоваться кластером.
В зависимости от выбранного формата либо выберите из списка бакет с нужным именем, либо укажите имя бакета вручную. Имя бакета можно запросить со списком бакетов в каталоге.
-
Группы безопасности — группы безопасности, которые будут использоваться кластером.
Выберите одну или несколько групп безопасности. Если нужной группы безопасности нет в списке — создайте ее.
Важно
Некорректные настройки групп безопасности могут препятствовать работе кластера Yandex Data Processing. Подробнее о настройке групп безопасности см. в разделе Подключение к кластеру.
-
UI Proxy — опция, управляющая доступом к веб-интерфейсам компонентов через UI Proxy.
Важно
Для использования UI Proxy может потребоваться дополнительная настройка групп безопасности.
-
Лог-группа — лог-группа Yandex Cloud Logging, в которую кластер будет отправлять логи.
Выберите лог-группу по умолчанию или другую существующую лог-группу. Если нужной лог-группы нет в списке — создайте ее.
Чтобы кластер мог отправлять логи, назначьте сервисному аккаунту кластера роль
logging.writer
. Подробнее см. в документации Yandex Cloud Logging.
-
-
В дополнительных настройках кластера выберите нужное значение опции Защита от удаления.
Эта опция управляет защитой кластера от непреднамеренного удаления пользователем.
Включенная защита не помешает подключиться к кластеру вручную и удалить данные.
-
Нажмите кнопку Сохранить изменения.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name
или --folder-id
.
-
Посмотрите описание команды CLI для изменения кластера:
yc dataproc cluster update --help
-
Чтобы изменить лог-группу, в которую отправляются логи кластера, передайте идентификатор нужной лог-группы в параметре
--log-group-id
:yc dataproc cluster update <имя_или_идентификатор_кластера> \ --log-group-id=<идентификатор_лог-группы>
Идентификатор лог-группы можно получить со списком лог-групп в каталоге.
-
Чтобы защитить кластер от непреднамеренного удаления пользователем вашего облака, добавьте параметр
--deletion-protection
:yc dataproc cluster update <имя_или_идентификатор_кластера> \ --deletion-protection
Включенная защита не помешает подключиться к кластеру вручную и удалить данные.
-
Чтобы изменить свойства компонентов, передайте необходимые свойства в параметре
--property
:yc dataproc cluster update <имя_или_идентификатор_кластера> \ --property "<префикс_ключа_1>:<ключ_1>=<значение>", "<префикс_ключа_2>:<ключ_2>=<значение>", ...
Важно
Использование параметра
--property
переопределит все свойства компонентов, которые не были явно переданы в параметре, на значения по умолчанию. Чтобы сохранить измененные ранее свойства, перечислите их в запросе наряду со свойствами, которые хотите изменить.
Идентификатор и имя кластера можно получить со списком кластеров в каталоге.
-
Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.
О том, как создать такой файл, см. в разделе Создание кластера.
-
Чтобы включить защиту от удаления кластера и доступ к веб-интерфейсам компонентов Yandex Data Processing, измените значения соответствующих полей в описании кластера Yandex Data Processing:
resource "yandex_dataproc_cluster" "data_cluster" { ... deletion_protection = true ui_proxy = true ... }
-
Проверьте корректность настроек.
-
В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
-
Выполните команду:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
-
Подтвердите изменение ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера