BI.Qube 2.0

BI.Qube 2.0 — фреймворк для подключения источников, генерации модели, формирования витрин, масштабирования, контроля и улучшения качества данных в едином интерфейсе. Его метакомпоненты автоматизируют загрузку данных в staging-область, формирование справочников, обновление фактов, расчет агрегатов и другие действия с помощью единого механизма параметризации. Фреймворк поддерживает CI/CD для переноса моделей данных между средами. Это снижает требования к компетенциям разработчиков и размеру команды, ускоряет разработку и снижает ее стоимость.

Функции фреймворка

• Автоматизация внесения изменений.
• Полный цикл обработки данных.
• Интеграция опенсорс-компонентов .
• Автоматизированный Data Lineage.
• Автогенерация глобального графа выполнения.

MetaStaging — инструмент для извлечения данных из различных источников (учетные системы, базы данных, сайты, мобильные приложения, интернет-сервисы) и гарантированной доставки в хранилище. В качестве хранилища можно использовать реляционную СУБД или файловое хранилище.

• Прозрачный перенос файлов из источников.
• Приемники данных: Data Lake, Kafka^®, DWH.
• Совместимость с SMP- и MPP-системами (PostgreSQL, Greenplum^®).
• Много различных коннекторов, включая универсальный для 1С.
• Толерантность к несоблюдению форматов и изменению метаданных.

MetaVault — инструмент для автоматического построения модели данных DWH по методологии Data Vault с высокой производительностью, масштабируемостью и гибкостью хранилища.

• Автоматизация разработки DWH в методологии Data Vault 2.0.
• Генерация Business Vault с возможностью материализации.
• Предоставление истории изменений в формате SCD2.
• Поддержка неразрушающих изменений.
• Три целевые платформы: MS SQL, PostgreSQL и Greenplum^®.

MetaMasterData — инструмент для комплексного управления основными данными (MDM, НСИ): справочниками, классификаторами, нормативами и другими данными. Поддерживает внесистемный учет данных, которые нельзя получить из источников или которые требуют дополнительной обработки.

• Управление НСИ (MDM) в режиме low-code/no-code.
• Работа в слое ядра Data Vault без необходимости интеграции.
• Корректировка, добавление атрибутов без риска потери изменений.
• Реализация концепции «золотая запись», дедубликация.
• Поддержка иерархий и связей между объектами.

MetaControl — инструмент для гибкого управления качеством данных, включая проверку правильности, полноты, актуальности и согласованности данных, а также рассылку уведомлений об ошибках и нарушениях.

• Контроль качества данных, процессов и выполнения бизнес-правил.
• Создание контекстно-обогащенных оповещений.
• Бизнес-правила могут быть описаны на SQL.
• Отправка оповещений по электронной почте и Telegram.
• Группировка и объединение по категориям получателей.

MetaFact — инструмент формирования таблиц фактов для дальнейшего использования в витринах, создания контекстно-независимых показателей в единой модели данных.

• Работа с таблицами фактов как с объектами модели данных.
• Автоматизация секционирования, обработки инкремента и служебных полей.
• Управление очередью процедур формирования фактов.
• Гибкие сценарии, включая последовательно-параллельную сборку зависимых объектов.

MetaCube — инструмент автоматизированного переноса модели данных в витрины и гибкого секционирования.

• Создание BI-модели.
• Управление аналитическими разрезами и мерами.
• Автоматическое построение агрегатов.

1. Создайте кластер Kubernetes.

2. Создайте группу узлов с минимальными требованиями к вычислительным ресурсам:

   • Количество vCPU — 4.
   • Объем RAM — 16 ГБ.
   • Объем диска — 100 ГБ.

3. Создайте сетевой балансировщик.

4. Создайте сервисный аккаунт. Назначьте ему роли license-manager.subscriptionAgent и license-manager.user.

5. Выберите ранее созданный кластер и на вкладке Marketplace на странице BI.Qube 2.0 нажмите кнопку Перейти к установке.

6. На странице установки BI.Qube 2.0 в блоке Настройки приложения:

   • Создайте или выберите существующее пространство имен.
   • Введите название приложения.
   • Выберите ранее созданный сервисный аккаунт.
   • Введите доменное имя для приложения.
   • Введите пароль администратора BI.Qube. Пароль администратора должен быть длиной от 12 до 20 символов, содержать строчные и заглавные буквы, цифры и специальные знаки.
   • Введите имя пользователя администратора PostgreSQL.
   • Введите пароль администратора PostgreSQL. Пароль должен быть длиной от 8 до 20 символов, содержать строчные и заглавные буквы, цифры и специальные знаки.

7. Нажмите кнопку Установить.

Платформа будет полностью развернута и готова к использованию в течение 5 минут.

Дождитесь перехода BI.Qube 2.0 в статус Deployed, а также статуса Running для подов на вкладке Рабочая нагрузка.

После успешного развертывания и привязки сетевого балансировщика доступ к странице авторизации будет осуществляться по доменному имени, указанному при развертывании. Используйте учетные данные:

• Пользователь: biqube-admin
• Пароль: пароль администратора BI.Qube 2.0, указанный при развертывании

• Интеграция данных из СУБД, 1С, API, веб-сервисов.
• Построение единой масштабируемой модели DWH.
• Обеспечение качества данных и оповещений о результатах контроля.
• Управление основными данными компании (Master Data Management).
• Работа с таблицами фактов как с объектами модели данных в режиме low-code.
• Перенос модели данных в витрины.

BI.Qube
BI.Qube предоставляет техническую поддержку пользователей в Yandex Cloud. Вы можете связаться с технической поддержкой по электронной почте support@biqube.ru.

Yandex Cloud
Yandex Cloud не предоставляет техническую поддержку продукта. При возникновении проблем обращайтесь к информационным ресурсам разработчика.