Data Lake

Разрабатываем, внедряем озера данных (Data Lake), гибридные хранилища данных в Yandex Cloud. Возможно развертывание и построение аналитических систем в Yandex Cloud на базе Data Proc. Есть пул реализованных проектов в промышленности, телекоме, ритейле, финансовом секторе.

Проводим комплекс работ от обследования, сайзинга и архитектуры до реализации ML и выгрузки аналитики:
• Реализуем регулярную загрузку данных в Data Lake с источников
• Разрабатываем стандарты для оперативного подключения новых источников
• Проводим загрузку исторических данных
• Обеспечиваем наследование метаданных из источников
• Разрабатываем карты данных технологических и производственных или бизнес-процессов
• Разрабатываем модель унифицированной витрины данных и процессы загрузки в нее
• Реализовываем управление мета-
• Настраиваем централизованную ролевую модель и ее интеграцию с Active Directory в облаке
• Внедряем механизмы защиты информации в соответствии с требованиями заказчика (Kerberos, TLS, управление через Ranger) в облаке
• Обеспечиваем процессы расчета как формализованных показателей в витринах данных, так и слабо формализованных в пользовательских областях
• Подключаем DataSphere, вычислительную платформу с GPU, среду подготовки данных и обучения моделей, обучаем, реализуем ML-модели, разрабатываем адаптеры на Python для подготовки данных и вызова модели машинного обучения
• Реализуем управление типовыми задачами обслуживания данных (управление жизненным циклом, коррекцией дискретности, витриной качества данных). Поддерживаем жизненный цикл модели данных (разработка модели, генерация скриптов для подсистем получения данных и документирования) в DataSphere, набор сервисов/фреймворков, база знаний (wiki) + скрипты обработки метаданных Ranger, Atlas, PowerDesigner или аналоги
• Доставка обновления кода и моделей до продуктивной среды исполнения GitLab (интеграция с существующим GitLab заказчика)
• Настройка и эксплуатация встроенных средств компонентов + самописные метрики Yandex Monitoring, интеграция с Zabbix (существующий для корпоративного мониторинга)
• Настройка и предоставление доступа к данным для бизнес-пользователей в DataLens