Ray

Ray — фреймворк для масштабирования приложений на основе AI и Python.

Ray состоит из распределенной среды выполнения и набора AI-библиотек для упрощения ML-вычислений. Он может обрабатывать большие наборы данных с высокой утилизацией как CPU, так и GPU. Ray можно запустить на одной ВМ и масштабировать до кластера, абстрагируя сложность распределенных вычислений.

1. Получите пару SSH-ключей для подключения к виртуальной машине (ВМ).

2. Создайте ВМ из публичного образа. В блоке Выбор образа/загрузочного диска перейдите на вкладку Cloud Marketplace и выберите Ray. В блоке Доступ:

   • в поле Логин введите имя пользователя;
   • в поле SSH-ключ вставьте содержимое файла с открытым SSH-ключом.

   Сохраните публичный IP-адрес ВМ.

3. Подключитесь к ВМ по SSH. Для этого используйте логин, который вы задали при создании ВМ, и закрытый SSH-ключ, созданный ранее.

4. Для создания SSH-туннелей и подключения к клиент-серверу, головному узлу (Global Control Store — GCS) или панели управления Ray используйте команды:

   # Client-server
   ssh -L 10001:localhost:10001 <имя_пользователя>@<публичный_IP-адрес_ВМ>
   

   # GCS
   ssh -L 6379:localhost:6379 <имя_пользователя>@<публичный_IP-адрес_ВМ>
   

   # Dashboard
   ssh -L 8265:localhost:8265 <имя_пользователя>@<публичный_IP-адрес_ВМ>
   

   Где:

   • <имя_пользователя> — имя пользователя.
   • <публичный_IP-адрес_ВМ> — публичный IP-адрес ВМ.

5. Чтобы открыть панель управления Ray в браузере, перейдите на страницу http://localhost:8265.

• Масштабируемая обработка данных для ML.
• Применение ML-модели к большому набору данных одновременно (batch inference).
• Сбор данных для обучения ML-моделей.
• Предварительная обработка данных для обучения ML-моделей.
• Распределенное обучение ML-моделей.
• Дообучение уже обученной ML-модели на новом наборе данных (fine-tuning).
• Настройка гиперпараметров ML-моделей.
• Обучение с подкреплением (reinforcement learning).
• Разработка API для взаимодействия с обученной ML-моделью.

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.