Вистиум

Wistium — промышленная платформа компании SQEEL для ускоренного построения корпоративных и отраслевых платформ данных по принципам Data Mesh.

Платформа позволяет создавать и развивать data products на едином технологическом ядре, используя low-code подход, готовые шаблоны и встроенные механизмы управления полным жизненным циклом данных — от подключения источников до выпуска аналитических витрин, BI-дашбордов и ML-сценариев.

В состав Wistium входят:

• встроенные коннекторы к файлам, API, СУБД, Data Lake и S3-совместимым хранилищам
• инструменты профилирования данных, data crawlers и встроенные проверки качества
• средства проектирования ER-моделей, dimensional model и Data Vault 2.0
• low-code ETL/ELT и workflow-оркестрация с готовыми шаблонами загрузок
• режим Dry Run для безопасного тестирования потоков без записи результатов в БД и Data Lake
• управление пользователями, ролями и процессами согласования изменений по RBAC-модели
• встроенная CI/CD и интеграция с GitLab
• централизованный мониторинг и контроль эксплуатации
• ИИ-ассистент Koni для помощи в проектировании и работе с платформой
• интеграция с сервисами Yandex Cloud

Отдельным преимуществом Wistium является наличие готовых отраслевых пресетов и шаблонов, позволяющих быстро создавать специализированные платформы данных для фармацевтики, FMCG, банковского сектора, телеком- и других индустрий.

Для фармацевтической отрасли доступны готовые шаблоны интеграции с:

• CRM
• MDLP / Честный знак
• GISMT
• аптечными сетями
• дистрибьюторами
• IQVIA
• AlphaRM
• e-commerce каналами

с последующим выпуском аналитики, BI-дашбордов, контроля качества данных и ML-сценариев.

Платформа является интеллектуальной собственностью SQEEL и развивается как промышленный программный продукт.

Настройка осуществляется при помощи встроенного мастера установки:http://{wistium-private-host}:8081/setup

Для реализации задач по загрузке данных необходимо настроить интеграцию со следующими сервисами:

1. Интеграция с Yandex Managed GitLab

• Понадобится URL репозитория GitLab
• Также потребуется токен доступа для учетной записи GitLab с правами Maintainer на данный репозиторий

2. Интеграция с Yandex Managed Airflow

• В репозитории GitLab должен быть настроен CI/CD pipeline для доставки артефактов в Airflow
• Если используется Managed Airflow, может быть достаточно репозитория, содержащего DAG-файлы

3. Доступ к Object Storage

К виртуальной машине Wistium должна быть привязана сервисная учетная запись со следующей конфигурацией:

• сервисная учетная запись с ролью storage.viewer на необходимые бакеты
• секрет в Lockbox с именем airflow-s3-keys, содержащий статические ключи доступа для этой сервисной учетной записи в текстовом или JSON-формате
• сервисная учетная запись, привязанная к ВМ, с ролью lockbox.payloadViewer на указанный секрет

Рекомендуется выполнять развертывание и первичную настройку продукта совместно с командой SQEEL. Это позволяет учесть архитектурные особенности контура заказчика, требования по безопасности, а также подключить необходимые отраслевые шаблоны и сценарии использования.

• автоматизированная загрузка данных из сырого слоя Data Lake, включая файлы от дистрибьюторов, аптечных сетей и других внешних поставщиков в различных форматах, таких как xlsx, xlsb и другие;
• подключение, загрузка и обработка данных из ЦРПТ (ГИС МТ)
• загрузка, преобразование и последующая интеграция данных МДЛП в корпоративную платформу данных

Издатель осуществляет техническую поддержку пользователей продукта в Yandex Cloud.
Вы можете связаться с технической поддержкой по электронной почте wi.support@sqeel.ru.
Время работы технической поддержки с 10:00 до 19:00 (МСК) по рабочим дням.