Решение проблем в Yandex MetaData Hub

В этом разделе описаны проблемы, возникающие в сервисе, а также способы их устранения.

• Hive Metastore
• Yandex Schema Registry

Решение проблем в Hive MetastoreРешение проблем в Hive Metastore

Ошибка при создании базы данных в Hive MetastoreОшибка при создании базы данных в Hive Metastore

Ошибка возникает, если создавать БД с помощью следующего запроса:

CREATE DATABASE IF NOT EXISTS <имя_БД>;

Решение
Metastore не позволяет создать базу данных или таблицу в Hive — они хранятся в бакете Yandex Object Storage, который привязан к кластеру Yandex Data Processing. Чтобы создать БД, выполните запрос:

CREATE DATABASE IF NOT EXISTS <имя_БД> LOCATION <местоположение_БД>;

В параметре LOCATION укажите путь до бакета и базы данных в нем в формате: s3a://<имя_бакета>/<имя_папки>/<имя_БД>. Указывать папку необязательно, но в нее объекты загружаются быстрее, чем в корень бакета.

Отсутствие прав при подключении сервисного аккаунта к кластеруОтсутствие прав при подключении сервисного аккаунта к кластеру

Текст ошибки:

ERROR: rpc error: code = PermissionDenied desc = you do not have permission to access the requested service account or service account does not exist

Ошибка возникает, если вы создаете или изменяете кластер и привязываете к нему сервисный аккаунт.

Решение
Назначьте вашему аккаунту в Yandex Cloud роль iam.serviceAccounts.user или выше.

Решение проблем в Yandex Schema RegistryРешение проблем в Yandex Schema Registry

Ошибка при добавлении и удалении опциональных параметровОшибка при добавлении и удалении опциональных параметров

Если на уровне пространства имен настроена политика проверки совместимости Confluent, при добавлении или удалении в схеме опциональных параметров возможны следующие ошибки:

• PROPERTY_ADDED_TO_OPEN_CONTENT_MODEL,
• PROPERTY_REMOVED_FROM_CLOSED_CONTENT_MODEL.

Решение
Политика проверки совместимости Confluent основывается на стандартах Confluent Schema Registry и реализует математически точную проверку совместимости. Такая политика не позволяет добавлять и удалять опциональные параметры в полях типа object, что приводит к указанным выше ошибкам.

Чтобы добавлять или удалять опциональные параметры, выберите в пространстве имен политику проверки совместимости для JSON optional-friendly. Она основывается на использовании разных контентных моделей для производителя и потребителя, причем регистрируется только схема для производителя. Для проверки совместимости схема потребителя конвертируется из открытой контентной модели в закрытую и сравнивается с зарегистрированными схемами производителя. Это позволяет поддерживать добавление и удаление опциональных параметров, сохраняя полную транзитивную совместимость.