Запись
О мероприятии
Первая конференция Yandex Cloud про Open Source инструменты для обработки данных и создания корпоративных хранилищ.
Data Open Source Day — это доклады экспертов, которые создают решения с открытым исходным кодом для реальных задач бизнеса. Это дискуссии о применении Open Source на практике, о безопасности технологий, о развитии сообщества и о социально-значимых проектах на базе открытых технологий.
Что обсудили:
-
Какие реальные бизнес-задачи можно решать с помощью Open Source продуктов Яндекса, например, YDB и YTsaurus.
-
Как большие компании строят работу по хранению и обработке данных, развивают аналитические системы и решают задачи машинного обучения на основе продуктов с открытым исходным кодом. Опытом поделится Ozon и не только.
-
Какой вклад команда Yandex Cloud вносит в развитие Greenplum® и ClickHouse®.
-
Как Open Source комьюнити помогает делать технологии и проекты на их базе лучше.
-
Как сделать социально-значимый проект с открытым кодом и помочь научному сообществу во всем мире.
Встреча была полезна всем, кто интересуется разработкой систем на базе Open Source технологий, архитекторам, ML-разработчикам, CDO, CTO, IT-директорам.
Докладчики
Программа
Начало регистрации
Вводное слово
Платформа YDB: год после выхода в Open Source и перспективы развития
Поговорим о том, как мы вышли в Open Source, как взаимодействуем с сообществом и контрибьюторами. Покажем роадмап развития платформы, а также поделимся результатами сравнения YDB с другими СУБД с открытым исходным кодом. Ещё поговорим о том, как высоконагруженные сервисы Яндекса, например Метрика, используют YDB.
YTsaurus: как устроена платформа обработки больших данных Яндекса
Расскажем про основные возможности YTsaurus и отличия от экосистемы Apache™ Hadoop®. Рассмотрим, как Яндекс Такси строит хранилище данных с YTsaurus.
Yandex Data Streams: как передавать 80/120 ГБ данных в секунду
Расскажем про корпоративную шину данных с открытым исходным кодом, зачем мы придумали этот сервис, и как устроена поставка данных в Яндексе. Как 5 инженеров управляют тысячами серверов с помощью Yandex Data Streams. Наш опыт может быть полезен компаниям, которые поддерживают большой парк оборудования и стремятся сократить усилия на его сопровождение.
Сбор данных о сервисах, которые используют Kafka в Ozon
Расскажем, зачем нам понадобилось знать, как клиенты используют Kafka, а также о том, как мы выбирали решение и почему решили форкнуть Kafka, чтобы добавить свой счётчик операций.
Использование Open Source технологий для резервирования данных клиентов
Расскажем, какие архитектуры резервирования данных мы используем в Yandex Cloud на основе Open Source технологий, и почему так важна парадигма loosely coupled. Покажем, как работаем с хранилищем, базами данных и сервисами очередей для решения бизнес-задач.
Дискуссия Open Source для решения реальных задач по обработке данных
В дискуссии примут участие руководители команд разработки Яндекса и других крупных технологических компаний, а также архитекторы продуктов безопасности.
Обсудим, зачем Яндекс выпускает продукты в открытый доступ, как Open Source решения используются для аналитических систем и продакшн-нагрузок, как сообщество помогает развивать продукт и на что обратить внимание при создании безопасных систем для работы с данными.
Перерыв
Как сохранить время ответа при пятикратном росте RPS: опыт Яндекс Игр в Yandex Cloud
Как бэкенд Яндекс Игр живёт в Yandex Cloud и использует управляемые сервисы PostgreSQL, Redis, YDB. Расскажем о процессе миграции в YDB и нашем опыте работы с ней, как мы храним огромные объёмы данных и обрабатываем тысячи запросов в секунду.
Невероятные идеи по развитию GreenPlum от инженеров Yandex Cloud
Расскажем, как мы сделали фиксы и мониторинговые фичи в GreenPlum, а также о нашей крупнейшей разработке — point-in-time recovery, которую мы принесли из мира Postgres и сделали доступной для всех пользователей GreenPlum. Поговорим про реализованные фичи, которые уже работают на стендах разработчиков, и поделимся планами.
Как Yandex Cloud развивает Open Source ClickHouse для пользователей платформы
Мы активно контрибьютим в развитие СУБД ClickHouse. Расскажем про сделанные фичи, поделимся идеями и планами на будущее.
Открытые данные: как Open Source помогает науке
Вы узнаете, как датасеты из открытого доступа помогают продвигать научные и социальные проекты с применением ML. На реальном примере с задачей по мониторингу озера Байкал покажем, почему правильно собранные данные важнее параметров модели их обработки.