Работа с шаблонами Yandex Data Processing

Шаблоны Yandex Data Processing позволяют заранее подготовить конфигурацию кластера для проекта и упростить развертывание временных кластеров. Список шаблонов доступен на странице проекта в блоке Ресурсы проекта → Yandex Data Proc, вкладка Доступные.

Для работы с кластерами Yandex Data Processing укажите в настройках проекта следующие параметры:

• Каталог по умолчанию для интеграции с другими сервисами Yandex Cloud. В нем будет развернут кластер Yandex Data Processing в рамках текущих квот облака, а стоимость использования кластера будет списана с платежного аккаунта облака.

• Сервисный аккаунт, от имени которого DataSphere будет создавать и управлять кластерами. Сервисному аккаунту понадобятся следующие роли:

  • dataproc.agent — для использования кластеров Yandex Data Processing.
  • dataproc.admin— для создания кластеров из шаблонов Yandex Data Processing.
  • vpc.user — для работы с сетью кластера Yandex Data Processing.
  • iam.serviceAccounts.user — для создания ресурсов в каталоге от имени сервисного аккаунта.

• Подсеть для связи DataSphere с кластером Yandex Data Processing. Кластеру Yandex Data Processing необходим доступ в интернет, поэтому в подсети должен быть настроен NAT-шлюз.

  Примечание

  Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.

Создать шаблон Yandex Data ProcessingСоздать шаблон Yandex Data Processing

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Yandex Data Proc.

3. Нажмите Создать шаблон.

4. В поле Имя шаблона задайте имя. Требования к имени:

   • длина — от 3 до 63 символов;
   • может содержать строчные буквы латинского алфавита, цифры и дефисы;
   • первый символ — буква, последний — не дефис.

5. Нажмите Создать. Откроется страница с информацией о созданном шаблоне.

Активировать шаблон Yandex Data ProcessingАктивировать шаблон Yandex Data Processing

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Yandex Data Proc.
3. Справа от нужного шаблона нажмите и выберите Активировать.

Кластер на основе активированного шаблона Yandex Data Processing будет создан при запуске проекта в IDE.

Поделиться шаблоном Yandex Data ProcessingПоделиться шаблоном Yandex Data Processing

1. {% include ui-find-project %}
   <<<<<<< HEAD
2. В блоке Ресурсы проекта нажмите Yandex Data Proc.
   =======
3. В блоке Ресурсы проекта нажмите Yandex Data Proc.

develop

1. Выберите нужный шаблон в списке.
2. Перейдите на вкладку Доступ.
3. Включите опцию видимости напротив названия сообщества, в котором нужно поделиться шаблоном.

Чтобы шаблон стал доступен для работы в другом проекте, администратор проекта должен добавить его на вкладке Доступные.

Изменить шаблонИзменить шаблон

Вы можете изменить только имя уже созданного шаблона. Чтобы изменить конфигурацию, создайте шаблон заново.

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Yandex Data Proc.
3. Выберите нужный шаблон в списке, нажмите и выберите Редактировать.
4. Измените имя и нажмите Сохранить.

Удалить шаблон Yandex Data ProcessingУдалить шаблон Yandex Data Processing

1. {% include ui-find-project %}
   <<<<<<< HEAD
2. В блоке Ресурсы проекта нажмите Yandex Data Proc.
3. Выберите в списке шаблон, который нужно удалить.
4. Нажмите и выберите Удалить.
5. Нажмите Подтвердить.
   =======
6. В блоке Ресурсы проекта нажмите Yandex Data Proc.
7. Выберите в списке шаблон, который нужно удалить.
8. Нажмите и выберите Удалить.
9. Нажмите Подтвердить.

develop