Компоненты Stackland
Yandex Cloud Stackland включает набор компонентов, которые по умолчанию готовы к использованию. При необходимости пользователь может изменить их настройки в специальном кастомном ресурсе.
Компоненты можно включать и отключать по мере необходимости. Управление компонентами осуществляется через сервис Component Manager.
Чтобы задать настройки компонентов при первой установке кластера, подготовьте конфигурации по инструкции Настройка компонентов перед установкой.
Основные компоненты
Identity and Access Management
Identity and Access Management — компонент управления идентификацией и доступом. Обеспечивает аутентификацию и авторизацию пользователей в кластере и проектах. С помощью привязок прав доступа пользователям назначаются роли, которые определяют их права. Поддерживаются федерации SAML, LDAP и синхронизация с Active Directory.
CNI
CNI (Container Network Interface) — стандартизированный интерфейс компонентов Kubernetes для реализации наложенных (оверлейных) сетей. Оверлейные сети изолируют приложения, запущенные в Kubernetes, друг от друга. В Stackland используется Cilium — полнофункциональный открытый компонент. Cilium поддерживает сетевые политики (Network Policy), с помощью которых администратор управляет сетевым доступом до HTTP-эндпоинтов и других ресурсов.
Load Balancer
Сетевой балансировщик — это компонент, реализующий сервисы Kubernetes с типом LoadBalancer. Балансировщик в Stackland построен на базе Cilium и использует L2-анонсы (ARP) для обеспечения отказоустойчивости. В будущих версиях Stackland могут появиться иные реализации сетевых балансировщиков и механизмов обеспечения отказоустойчивости.
Logging Stack
Logging Stack отвечает за реализацию логирования в кластере. В компонент входят средство сбора логов Loki, средство поставки логов Fluent Bit и интерфейс для просмотра логов Grafana.
DNS
В задачи этого компонента входит разрешение (резолвинг) всех имен, используемых в кластере Stackland. В его основе лежит CoreDNS — стандарт де-факто в экосистеме Kubernetes. DNS-сервер, входящий в состав этого компонента, является авторитетным за зону, назначенную кластеру Stackland при развертывании. Данный компонент отвечает за резолвинг имен, назначенных компонентам Stackland, таким как Monitoring, а также пользовательским ресурсам типа Ingress и Service.
Ingress
Обратный прокси, используемый как L7-балансировщик над подами, реализующими бэкенд приложений, развернутых в Kubernetes. Также терминирует входящие HTTPS-соединения (см. Certificate Manager).
Certificate Manager
Certificate Manager — сервис управления сертификатами в кластере на основе cert-manager. Позволяет автоматизировать выпуск сертификатов и их размещение в секретах кластера, чтобы использовать их в работе ваших сервисов.
Policy Manager
Policy Manager проверяет ресурсы Kubernetes с помощью Kyverno и сканирует образы пользовательских приложений с помощью Trivy Operator. Результаты сохраняются в PolicyReport и VulnerabilityReport. Найденные уязвимости не блокируют запуск подов.
Secrets Store
Secrets Store предназначен для управления секретами в кластере. В задачи Secrets Store входит безопасное хранение, версионирование секретов и встраивание их в поды в момент старта. В Secrets Store можно хранить пароли, токены, приватные ключи и др. Secrets Store базируется на OpenBao, форке Vault.
Volumes
Volumes — компонент управления блочным хранилищем на основе TopoLVM, драйвера CSI (Container Storage Interface) для Kubernetes. Использует LVM на узлах кластера для создания томов и управления ими. Компонент может динамически увеличивать размер томов и учитывает свободное место на дисках перед размещением подов.
Подробнее о дисковой подсистеме, Storage Classes и мониторинге см. в разделе Дисковая подсистема.
Object Storage
Object Storage — S3-совместимое объектное хранилище на базе Yandex Object Storage. Можно использовать с любыми инструментами и SDK, поддерживающими S3 API. Компонент позволяет управлять бакетами с помощью ресурса Bucket. Управление доступом осуществляется через Identity and Access Management.
Monitoring
Monitoring — набор средств мониторинга, визуализации метрик и алертинга.
Сбор метрик ресурсов кластера, запущенных приложений и инфраструктуры осуществляет Prometheus. Он использует язык запросов PromQL и предоставляет готовые агенты для популярных СУБД, веб-серверов, очередей сообщений и других сервисов. Настройку правил алертинга и обработку алертов выполняет Alertmanager.
Работа с логами ведется на основе Loki, который централизованно собирает логи кластера и позволяет анализировать их через Grafana. Поставку логов в Loki обеспечивает Fluent Bit.
Stackland предоставляет готовый набор дашбордов и алертов, но можно настраивать собственные при помощи привычных инструментов.
«Поддержка NVIDIA® GPU»
«Поддержка NVIDIA® GPU» — компонент поддержки графических ускорителей NVIDIA® в кластере. Обеспечивает обнаружение GPU на узлах, установку драйверов и интеграцию с Kubernetes через механизм Device Plugin.
Платформенные компоненты
Managed Service for PostgreSQL
Managed Service for PostgreSQL — открытая объектно-реляционная СУБД. Компонент упрощает развёртывание и обновление кластера БД, обеспечивает отказоустойчивость, предоставляет средства резервного копирования и мониторинга.
Managed Service for Apache Airflow™
Managed Service for Apache Airflow™ — платформа оркестрации рабочих процессов. Компонент позволяет создавать кластеры Apache Airflow™, загружать DAG-файлы из Git или S3-совместимого хранилища, запускать задачи в отдельных подах Kubernetes и хранить их логи в S3.
Managed Service for Apache Kafka®
Managed Service for Apache Kafka® — брокер сообщений. Компонент позволяет создавать сущности Apache Kafka®: кластер, топики и пользователей — с помощью кастомных ресурсов KafkaCluster, KafkaTopic и KafkaUserAccess.
Managed Service for ClickHouse®
Managed Service for ClickHouse® — столбцовая аналитическая СУБД. Компонент упрощает развертывание и управление кластерами ClickHouse®, обеспечивает мониторинг и масштабирование.
Iceberg REST Catalog
Iceberg REST Catalog — каталог метаданных для таблиц Apache Iceberg по протоколу Iceberg REST Catalog. Компонент позволяет создавать каталоги с помощью ресурса StacklandRestCatalog и назначать права пользователям, группам и сервисным аккаунтам с помощью ресурса StacklandRestCatalogAccessBinding. Хранилище данных каталога создается автоматически.
Managed Service for Trino
Managed Service for Trino — распределенный SQL-движок для аналитических запросов к различным источникам данных. Компонент упрощает развертывание кластеров Trino, управление каталогами источников данных (PostgreSQL, ClickHouse®, Apache Iceberg™) и настройку правил доступа.
YTsaurus
YTsaurus — распределенная платформа для хранения и обработки больших данных. Компонент разворачивает один общий кластер YTsaurus на платформу: MapReduce-движок, динамические таблицы, движок запросов YQL, веб-интерфейс и интеграцию с Identity and Access Management. Состав подкомпонентов и ресурсы задаются через кастомный ресурс YTsaurusConfig.
Модули
DataLens
DataLens — платформа бизнес-аналитики и визуализации данных. Позволяет создавать интерактивные дашборды и графики на основе различных источников данных. Компонент не входит в базовую поставку и требует отдельной лицензии.
SpeechSense
SpeechSense — модуль речевой аналитики. Позволяет анализировать записи разговоров и текстовые диалоги. Компонент не входит в базовую поставку и требует отдельной лицензии.
Model Gallery
Model Gallery — модуль для запуска языковых моделей и получения эмбеддингов в составе AI Studio. Его модели можно использовать в AI-агентах и ассистентах. Компонент не входит в базовую поставку и требует отдельной лицензии.
Agent Atelier
Agent Atelier — модуль для создания и запуска AI-агентов и ассистентов в составе AI Studio. Позволяет настраивать сценарии работы, подключать инструменты и готовить датасеты. Использует модели из Model Gallery. Компонент не входит в базовую поставку и требует отдельной лицензии.
Требования к инфраструктуре, зависимости и настройки обоих модулей описаны в разделе AI Studio.