Data Open Source Day

Поговорим о том, как мы вышли в Open Source, как взаимодействуем с сообществом и контрибьюторами. Покажем роадмап развития платформы, а также поделимся результатами сравнения YDB с другими СУБД с открытым исходным кодом. Ещё поговорим о том, как высоконагруженные сервисы Яндекса, например Метрика, используют YDB.

Расскажем про основные возможности YTsaurus и отличия от экосистемы Apache^™ Hadoop^®. Рассмотрим, как Яндекс Такси строит хранилище данных с YTsaurus.

Расскажем про корпоративную шину данных с открытым исходным кодом, зачем мы придумали этот сервис, и как устроена поставка данных в Яндексе. Как 5 инженеров управляют тысячами серверов с помощью Yandex Data Streams. Наш опыт может быть полезен компаниям, которые поддерживают большой парк оборудования и стремятся сократить усилия на его сопровождение.

Расскажем, зачем нам понадобилось знать, как клиенты используют Kafka, а также о том, как мы выбирали решение и почему решили форкнуть Kafka, чтобы добавить свой счётчик операций.

Расскажем, какие архитектуры резервирования данных мы используем в Yandex Cloud на основе Open Source технологий, и почему так важна парадигма loosely coupled. Покажем, как работаем с хранилищем, базами данных и сервисами очередей для решения бизнес-задач.

В дискуссии примут участие руководители команд разработки Яндекса и других крупных технологических компаний, а также архитекторы продуктов безопасности.
Обсудим, зачем Яндекс выпускает продукты в открытый доступ, как Open Source решения используются для аналитических систем и продакшн-нагрузок, как сообщество помогает развивать продукт и на что обратить внимание при создании безопасных систем для работы с данными.

Как бэкенд Яндекс Игр живёт в Yandex Cloud и использует управляемые сервисы PostgreSQL, Redis, YDB. Расскажем о процессе миграции в YDB и нашем опыте работы с ней, как мы храним огромные объёмы данных и обрабатываем тысячи запросов в секунду.

Расскажем, как мы сделали фиксы и мониторинговые фичи в GreenPlum, а также о нашей крупнейшей разработке — point-in-time recovery, которую мы принесли из мира Postgres и сделали доступной для всех пользователей GreenPlum. Поговорим про реализованные фичи, которые уже работают на стендах разработчиков, и поделимся планами.

Мы активно контрибьютим в развитие СУБД ClickHouse. Расскажем про сделанные фичи, поделимся идеями и планами на будущее.

Вы узнаете, как датасеты из открытого доступа помогают продвигать научные и социальные проекты с применением ML. На реальном примере с задачей по мониторингу озера Байкал покажем, почему правильно собранные данные важнее параметров модели их обработки.