Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex DataSphere
  • Начало работы
    • О сервисе DataSphere
    • Взаимосвязь ресурсов в DataSphere
    • Сообщества
    • Управление расходами
    • Проект
    • Конфигурации вычислительных ресурсов
      • Обзор
      • Секреты
      • Docker-образы
      • Датасеты
      • Шаблоны Yandex Data Processing
      • Коннекторы S3
      • Коннекторы Spark
      • Модели
      • Дообученные фундаментальные модели
      • Файловые хранилища
    • Фундаментальные модели
    • Квоты и лимиты
    • Специальные условия для образования
  • Справочник Terraform
  • Аудитные логи Audit Trails
  • Управление доступом
  • Правила тарификации
  • Публичные материалы
  • История изменений

В этой статье:

  • Информация о шаблонах Yandex Data Processing как о ресурсе
  • Особенности временного кластера на основе шаблона Yandex Data Processing
  • Конфигурации временных кластеров
  • Статусы временного кластера Yandex Data Processing
  1. Концепции
  2. Ресурсы
  3. Шаблоны Yandex Data Processing

Шаблоны Yandex Data Processing

Статья создана
Yandex Cloud
Обновлена 16 декабря 2024 г.
  • Информация о шаблонах Yandex Data Processing как о ресурсе
  • Особенности временного кластера на основе шаблона Yandex Data Processing
    • Конфигурации временных кластеров
    • Статусы временного кластера Yandex Data Processing

Шаблон Yandex Data Processing — это специальный ресурс для быстрого развертывания кластеров Yandex Data Processing в проектах DataSphere. Шаблон определяет конфигурацию кластера, на его основе DataSphere может развернуть кластер несколько раз.

Для работы с кластерами Yandex Data Processing укажите в настройках проекта следующие параметры:

  • Каталог по умолчанию для интеграции с другими сервисами Yandex Cloud. В нем будет развернут кластер Yandex Data Processing в рамках текущих квот облака, а стоимость использования кластера будет списана с платежного аккаунта облака.

  • Сервисный аккаунт, от имени которого DataSphere будет создавать и управлять кластерами. Сервисному аккаунту понадобятся следующие роли:

    • dataproc.agent — для использования кластеров Yandex Data Processing.
    • dataproc.admin— для создания кластеров из шаблонов Yandex Data Processing.
    • vpc.user — для работы с сетью кластера Yandex Data Processing.
    • iam.serviceAccounts.user — для создания ресурсов в каталоге от имени сервисного аккаунта.
  • Подсеть для связи DataSphere с кластером Yandex Data Processing. Кластеру Yandex Data Processing необходим доступ в интернет, поэтому в подсети должен быть настроен NAT-шлюз.

    Примечание

    Если вы указали подсеть в настройках проекта, время выделения вычислительных ресурсов может быть увеличено.

Важно

Постоянный кластер Yandex Data Processing должен иметь настройку livy:livy.spark.deploy-mode : client.

Информация о шаблонах Yandex Data Processing как о ресурсеИнформация о шаблонах Yandex Data Processing как о ресурсе

О каждом шаблоне хранится следующая информация:

  • имя ресурса;
  • создатель ресурса;
  • конфигурация кластера;
  • дата создания шаблона в формате в UTC, например 18 июля 2022 г., 14:23.

Все шаблоны Yandex Data Processing, созданные в проекте, можно посмотреть на странице ресурса Yandex Data Processing. Там же отображается список всех доступных в проекте кластеров Yandex Data Processing. В него входят и временные кластеры на основе шаблонов Yandex Data Processing, и подключенные кластеры, развернутые в сервисе Yandex Data Processing. Чтобы посмотреть подробную информацию о шаблоне или кластере, нажмите на него.

Особенности временного кластера на основе шаблона Yandex Data ProcessingОсобенности временного кластера на основе шаблона Yandex Data Processing

Чтобы создать кластер из шаблона Yandex Data Processing, активируйте шаблон в проекте. При запуске проекта в IDE DataSphere создаст временный кластер в каталоге и подсети Yandex Cloud, указанных в настройках проекта.

DataSphere следит за временем жизни кластера и автоматически удаляет его, если в течение двух часов на нем не было вычислений. Кластер также будет удален, если в проекте принудительно остановить вычисления.

Конфигурации временных кластеровКонфигурации временных кластеров

Автоматические кластеры Yandex Data Processing разворачиваются на базе виртуальных машин Yandex Compute Cloud на платформе Intel Cascade Lake (standard-v2).

Необходимый суммарный объем дисков для разных конфигураций кластеров можно рассчитать по формуле:

<количество_хостов_Yandex_Data_Processing> × 256 + 128
Тип кластера Количество хостов Объем дисков Параметры хоста
XS 1 384 ГБ HDD 4 vCPU, 16 ГБ RAM
S 4 1152 ГБ SSD 4 vCPU, 16 ГБ RAM
M 8 2176 ГБ SSD 16 vCPU, 64 ГБ RAM
L 16 4224 ГБ SSD 16 vCPU, 64 ГБ RAM
XL 32 8320 ГБ SSD 16 vCPU, 64 ГБ RAM

Совет

Перед запуском проекта с активированным шаблоном Yandex Data Processing убедитесь, что квоты на создание HDD или SSD-дисков позволяют создать диск достаточного размера.

Работа временных кластеров, созданных из шаблонов Yandex Data Processing, тарифицируется дополнительно по правилам тарификации Yandex Data Processing.

Статусы временного кластера Yandex Data ProcessingСтатусы временного кластера Yandex Data Processing

DataSphere создаст временный кластер Yandex Data Processing, когда вы откроете проект в IDE.

После создания кластер появится в списке доступных кластеров на странице ресурсов Yandex Data Processing. Временный кластер может быть в одном из статусов:

  • STARTING — кластер создается.
  • UP — кластер создан и готов для выполнения вычислений.
  • DOWN — возникли проблемы при создании кластера.

См. такжеСм. также

  • Как создать, активировать, копировать или удалить шаблон

Была ли статья полезна?

Предыдущая
Датасеты
Следующая
Коннекторы S3
Проект Яндекса
© 2025 ООО «Яндекс.Облако»