О чем эта история
Команда сервиса Яндекс Go во главе с руководителем аналитики внутренней эффективности Ксенией Колесниковой провела в МФТИ курс по продуктовой аналитике для поиска перспективных стажеров и младших специалистов. Для быстрого старта курса и эффективного обучения студентов использовали сервисы Yandex Cloud — управляемую базу данных Yandex Managed Service for PostgreSQL, сервис для ML-разработки Yandex DataSphere, предоставляющий бессерверные Jupyter® Notebook, и Yandex DataLens для визуализации полученной информации.
24 студента начали обучение, 22 — прошли курс, 7 — были приняты в команду Яндекс Go.
Практикующие преподаватели и реальные данные
В России довольно маленький рынок аналитиков, потому что этой профессии не обучают в высших учебных заведениях. Когда у команды Яндекс Go появилась задача найти перспективных стажеров-аналитиков, решили не просто позвать студентов на стажировку, а обучить их аналитике на реальных данных.
Для этого создали курс «Продуктовая аналитика», а вести его пригласили преподавателей-практиков из Яндекс Go, а также экспертов из Yandex Cloud. На курсе они рассказывали о задачах, с которыми сталкиваются каждый день, и технологиях, применяющихся в работе аналитиков. Курс содержал 13 теоретических тем и 10 практических домашних работ, объединенных в проект.
Яндекс давно сотрудничает с МФТИ. Физтех входит в мировой топ-300 лучших технических вузов сразу двух агентств: Quacquarelli Symonds и Times Higher Education. Таких вузов в России только три — МГУ, МФТИ и ВШЭ. Например, кафедра «Анализ данных», одна из базовых на Факультете инноваций и высоких технологий, создана и поддерживается Яндекс. Поэтому первый курс по аналитике данных решили провести в именно в этом вузе.
Перед началом обучения студентам предстояло пройти отбор: из 80 претендентов 24 поступили на курс. Студентов разбили на 6 команд по 4 человека. У каждой команды был куратор.
Облако для быстрого запуска
Стать аналитиком просто изучая теорию невозможно. Нужны практические занятия, желательно на реальных больших данных. Поэтому студентам дали информацию, собранную Яндекс Go в разных городах.
В процессе подготовки курса появился вопрос о том, как организовать работу с большими данными. Обычно аналитики используют профессиональные сервисы, под которые покупается или арендуется инфраструктура и разворачиваются базы данных. Изучать данные по таблице в Microsoft Excel не получится.
Но если обеспечить студентов такими инструментами, подготовка курса замедлится, станет значительно дороже и потребует от команды Яндекс Go привлечь дополнительных людей, которые будут заниматься администрированием инфраструктуры. Более эффективным решением стало использование сервисов облачной платформы Yandex Cloud. Для хранения данных и доступа к ним использовалась управляемая база данных Yandex Managed Service for PostgreSQL, а для их анализа — сервис для ML-разработки Yandex DataSphere, предоставляющий бессерверные Jupyter® Notebook, и Yandex DataLens для визуализации полученной информации.
Как происходило обучение
Чтобы организовать рабочую среду для студентов, команда преподавателей Яндекс Go загрузила собранные данные в Yandex Managed Service for PostgreSQL — сервис для управления кластерами PostgreSQL в инфраструктуре Yandex Cloud. Это позволило отказаться от поддержки базы данных. Yandex Managed Service for PostgreSQL позволяет за несколько минут выделить ресурсы, установить СУБД и создать базы данных. А в дальнейшем автоматически создает резервные копии и устанавливает обновления.
Затем каждой команде студентов раздали доступы к сервису для ML-разработки Yandex DataSphere с удобным интерфейсом Jupyter® Notebook. С его помощью студенты могли обрабатывать и анализировать данные из подключенной базы. Yandex DataSphere позволил студентам работать над командным проектом совместно, а также делиться наработками с преподавателями. Для визуализации полученных результатов в виде графиков и дашбордов студенты использовали Yandex DataLens.
Итоги курса
Из 24 студентов курс окончили 22: 7 из них уже пришли работать в команду Яндекс Go. Студенты высоко оценили работу с практикующими преподавателями и кураторами, а также возможность погрузиться в реальные данные агрегатора. Команда Яндекс Go планирует методически усилить курс, провести его еще раз в МФТИ, а также масштабировать на другие вузы.
Возможности
Используя технологии Yandex Cloud, можно подготовить и провести курсы по любым направлениям, связанным с обработкой и анализом данных:
- Промышленная аналитика
- Deep learning & Machine learning
- Программирование на Python
- Natural language processing
- Введение в искусственный интеллект
При этом не нужно покупать или арендовать инфраструктуру, поднимать базы данных, настраивать окружение, поддерживать пользователей. В Yandex Cloud облачные сервисы для выполнения любых работ с данными разворачиваются очень быстро и работают только в то время, когда идут практические и домашние задания. Это значительно ускоряет запуск курсов и сокращает стоимость инфраструктуры.
Мнение
В Yandex Cloud легко развернуть учебные стенды, организовать командную работу, настроить ролевые доступы для студентов и преподавателей. Понравилась готовая обвязка для мониторинга — по ней сразу видно, хватает ли ресурсов. А когда не хватает, можно легко добавить еще мощностей. А для DataSphere даже этого не нужно — он сам включает и выключает свои виртуалки, и получается очень удобно.