Работа с шаблонами Yandex Data Processing

Шаблоны Yandex Data Processing позволяют заранее подготовить конфигурацию кластера для проекта и упростить развертывание временных кластеров. Список шаблонов доступен на странице проекта в блоке Ресурсы проекта → Yandex Data Processing, вкладка Доступные.

Для работы с кластерами Yandex Data Processing:

1. Укажите в настройках проекта следующие параметры:

   • Каталог по умолчанию для интеграции с другими сервисами Yandex Cloud. В нем будет развернут кластер Yandex Data Processing в рамках текущих квот облака, а стоимость использования кластера будет списана с платежного аккаунта облака.
   • Сервисный аккаунт с ролью vpc.user, от имени которого DataSphere будет работать с сетью кластера Yandex Data Processing.
   • Подсеть для связи DataSphere с кластером Yandex Data Processing. Указанная подсеть должна находиться в зоне доступности, в которой создано сообщество. Кластеру Yandex Data Processing необходим доступ в интернет, поэтому в подсети должен быть настроен NAT-шлюз. После указания подсети время выделения вычислительных ресурсов может быть увеличено.

2. Создайте сервисного агента:

   1. Чтобы разрешить сервисному агенту работать в DataSphere, попросите администратора или владельца вашего облака выполнить команду в Yandex Cloud CLI:

      yc iam service-control enable datasphere --cloud-id <идентификатор_облака>
      

      Где --cloud-id — идентификатор облака, с которым вы будете работать в сообществе DataSphere.

   2. Создайте сервисный аккаунт с ролями:

      • dataproc.agent — для использования кластеров Yandex Data Processing.
      • dataproc.admin— для создания кластеров из шаблонов Yandex Data Processing.
      • vpc.user — для работы с сетью кластера Yandex Data Processing.
      • iam.serviceAccounts.user — для создания ресурсов в каталоге от имени сервисного аккаунта.

   3. В настройках сообщества в блоке Кластеры Spark нажмите Добавить сервисный аккаунт и выберите созданный сервисный аккаунт.

Создать шаблон Yandex Data ProcessingСоздать шаблон Yandex Data Processing

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Yandex Data Processing.

3. Нажмите Создать шаблон.

4. В поле Имя шаблона задайте имя. Требования к имени:

   • длина — от 3 до 63 символов;
   • может содержать строчные буквы латинского алфавита, цифры и дефисы;
   • первый символ — буква, последний — не дефис.

5. Нажмите Создать. Откроется страница с информацией о созданном шаблоне.

Активировать шаблон Yandex Data ProcessingАктивировать шаблон Yandex Data Processing

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Yandex Data Processing.
3. Справа от нужного шаблона нажмите и выберите Активировать.

Кластер на основе активированного шаблона Yandex Data Processing будет создан при запуске проекта в IDE.

Поделиться шаблоном Yandex Data ProcessingПоделиться шаблоном Yandex Data Processing

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Yandex Data Processing.
3. Выберите нужный шаблон в списке.
4. Перейдите на вкладку Доступ.
5. Включите опцию видимости напротив названия сообщества, в котором нужно поделиться шаблоном.

Чтобы шаблон стал доступен для работы в другом проекте, администратор проекта должен добавить его на вкладке Доступные.

Изменить шаблонИзменить шаблон

Вы можете изменить только имя уже созданного шаблона. Чтобы изменить конфигурацию, создайте шаблон заново.

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Yandex Data Processing.
3. Выберите нужный шаблон в списке, нажмите и выберите Редактировать.
4. Измените имя и нажмите Сохранить.

Удалить шаблон Yandex Data ProcessingУдалить шаблон Yandex Data Processing

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Yandex Data Processing.
3. Выберите в списке шаблон, который нужно удалить.
4. Нажмите и выберите Удалить.
5. Нажмите Подтвердить.