Декомиссия подкластеров и хостов Yandex Data Proc
Декомиссия — процедура уменьшения мощности кластера (числа хостов и их класса) без его остановки и прерывания рабочей нагрузки. Декомиссия поддерживается для кластеров Yandex Data Proc версии 1.2 и выше.
В Yandex Data Proc декомиссия реализована на основе YARN
Для подкластеров YARN вы можете задать таймаут декомиссии. В этом случае кластер будет ждать завершения текущих операций, но не более указанного времени. Без таймаута хосты подкластера завершают свою работу немедленно. Выводимые из состава хосты не будут брать новые операции и данные.
Длительность декомиссии зависит от таймаута и времени, потраченного на модификацию кластера. Максимальный таймаут — 24 часа. Максимальная длительность операций над кластером — 1 час.
Декомиссия ресурсов подкластеров YARN запускается при:
- изменении класса хостов;
- увеличении размера диска;
- уменьшении числа хостов в подкластерах для обработки данных.
Декомиссия ресурсов подкластеров HDFS запускается при уменьшении числа хостов в подкластерах для хранения данных.
Если для изменения кластера нужна перезагрузка хостов:
- Редактируемые или удаляемые хосты добавляются в список
excluded
в YARN. - На хостах из списка
excluded
не запускаются новые задания. По мере того как запущенные задания завершаются, хосты обновляются и перезагружаются. - Если задания не успевают завершиться до окончания таймаута декомиссии, они завершаются принудительно и хост обновляется и перезагружается.
- После перезагрузки хосты удаляются из списка
excluded
.
Когда все хосты перейдут в статус Alive
, декомиссия считается завершенной.
Подробнее о декомиссии подкластеров YARN читайте в документации Apache Hadoop