О сервисе Yandex MetaData Hub

Yandex MetaData Hub — сервис, который предоставляет возможности по управлению данными в Yandex Cloud:

• автоматическое создание и управление параметрами подключений к базам данных;
• хранение, получение схем и проверка эволюции схем обмена данными;
• создание и управление кластерами Hive Metastore;
• поиск и визуализация метаинформации о хранилищах данных и связях между ними.

Управление подключениямиУправление подключениями

С помощью Yandex Connection Manager вы можете управлять параметрами подключений к базам данных. Подключения создаются автоматически при создании кластера управляемых баз данных в Yandex Cloud, если поддержка Yandex Connection Manager настроена на уровне облака. Чтобы настроить интеграцию, обратитесь в техническую поддержку.
Подключения и секреты, которые создаются автоматически при создании кластера, нельзя ни редактировать, ни удалять — они изменяются автоматически при редактировании настроек пользователя в кластере управляемой базы данных.

Подключение содержит всю информацию о параметрах соединения с базой данных. Конфиденциальная часть этой информации, такая как пароль пользователя для доступа к базе данных, хранится в сервисе Yandex Lockbox в виде секрета.

Управление табличными метаданнымиУправление табличными метаданными

В сервисе Yandex MetaData Hub вы можете создавать кластеры Hive Metastore.

Hive Metastore — это сервер табличных метаданных, который:

• Предоставляет клиентским приложениям информацию о том, где брать данные для обработки и как их интерпретировать.
• Сохраняет метаданные таблиц между запусками вычислительных кластеров с коротким временем жизни.
• Делит пространство данных между одновременно работающими кластерами.
• Связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развертывание.
• Обеспечивает отказоустойчивость, масштабирование хранилища и резервное копирование метаданных.
• Упрощает отправку логов и метрик, процессы обновления и миграции.

Реестр схем данныхРеестр схем данных

Сервис Schema Registry реализует реестр схем — централизованное хранилище для управления и проверки схем данных. Реестр схем позволяет обеспечить безопасную эволюцию схем данных, решить проблемы совместимости данных и повысить производительность систем, сократив объем данных, передаваемых по сети. Кроме того, реестр схем позволит соблюсти требования безопасности по работе с данными и наладить совместную работу между командами. В Schema Registry вы можете добавлять схемы формата Avro, JSON Schema и Protobuf.

Реестр схем позволяет вам определять схемы для ваших форматов и версий данных и регистрировать их в реестре. После регистрации схему можно использовать совместно в различных системах и приложениях. Когда поставщик отправляет данные получателю сообщений, схема данных включается в заголовок сообщения, а реестр схемы гарантирует, что схема действительна и совместима с ожидаемой схемой для субъекта.