Yandex Cloud Session: новый режим работы Yandex DataSphere Dedicated
DataSphere Dedicated даёт возможность использовать для ML-задач выделенные виртуальные машины и проводить ML-разработку в облаке так же удобно, как и в локальной инфраструктуре.
Новый режим работы Yandex DataSphere — Dedicated — даёт возможность пользователю зарезервировать виртуальную машину в облаке под свой проект и работать с ней столько, сколько потребуется. Этот режим практически идентичен работе на локальной инсталляции Jupyter Notebook: без сохранения состояний и сериализации, но с облачными мощностями. За счёт стабильной работы с вычислительными ресурсами в режиме Dedicated можно ускорить разработку моделей машинного обучения для различных задач по анализу данных.
Помимо нового режима Dedicated, в Yandex DataSphere остаётся возможность выбрать режим Serverless при обучении моделей. Технология бессерверных вычислений позволяет автоматически подключать виртуальную машину нужного типа только на время непосредственных расчётов (обучение моделей, запуск и других вычислений). Этот режим позволяет пользователю оплачивать вычислительные мощности только во время реального обучения и максимально оптимизировать расходы на вычисления.
В Yandex DataSphere появились другие улучшения, которые делают разработку ещё удобнее:
-
Обновленная среда разработки JupyterLab 3 — наиболее популярного редактора кода для ML-разработки. Обновлённый интерфейс, а также предустановленные расширения, например, навигация по блокноту внутри ноутбука, позволяют удобнее работать с Jupyter Notebook.
-
Визуализация использования ресурсов: вы можете отслеживать, какие ресурсы доступны на используемых машинах и как они утилизируются в режиме реального времени.
-
Интеграции с другими облачными сервисами платформы — Yandex Data Proc (управление Apache Spark) и Data Transfer (инструмент для передачи данных). ML-специалист может подключать внутри сервиса необходимые библиотеки для параллельной обработки данных на кластерах Spark и напрямую — различные облачные хранилища для анализа данных.
-
Гранулярные настройки доступов для командной работы: к проектам можно подключать других ML-разработчиков и специалистов, которые задействованы в работе с моделями машинного обучения. Например, инженер поддержки может корректировать настройки для эксплуатации модели, а администратор — управлять настройками доступа.
