Связаться с намиПодключиться

История изменений в Yandex DataSphere

Статья создана
Обновлена 15 ноября 2024 г.

Здесь будет опубликована информация об изменениях в сервисе Yandex DataSphere.

Совет

Чтобы всегда быть в курсе последних изменений и обновлений, подпишитесь на наш Telegram-канал новостей Yandex DataSphere Community.

Релиз 11.11.2024

Появилась возможность работать с сервисами Yandex Cloud из ноутбуков DataSphere, в том числе выпускать токены для авторизации, с помощью сервисного агента. Воспользуйтесь инструкцией, чтобы включить эту возможность в сообществе. Подробнее о том, как работают сервисные агенты, см. в документации Identity and Access Management.

Релиз 02.09.2024

Релиз 30.07.2024

  • Появилась возможность создавать сообщества в разных зонах доступности — ru-central1-a и ru-central1-b.
  • К нодам теперь можно подключить дополнительный диск размером от 10 до 4096 ГБ.
  • Исправлены ошибки и добавлены небольшие улучшения в работе сервиса.

Релиз 04.07.2024

Релиз 18.06.2024

Релиз 03.04.2024

  1. Изменились конфигурации временных кластеров Yandex Data Processing.
  2. Ноды из моделей теперь можно развернуть из моделей XGBoost и LightGBM.
  3. В API исполнения добавлена возможность передавать входные переменные.
  4. Улучшено создание нод из Docker-образов.
  5. Исправлены ошибки и добавлены небольшие улучшения в работе сервиса.

Релиз 27.03.2024

Дообучение модели в DataSphere теперь работает на базе новой модели YandexGPT Pro.

Релиз 01.03.2024

Режим Serverless больше не поддерживается.

Релиз 27.02.2024

  1. В API добавлена возможность исполнения ноутбука в Dedicated режиме.
  2. Улучшены логи и метрики для нод.
  3. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 29.01.2024

  1. Обновлен драйвер NVIDIA до версии 535.
  2. Добавлена поддержка мультилогина в несколько организаций в разных федерациях.
  3. Добавлена возможность приостанавливать и возобновлять работу нод.
  4. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 15.01.2024

  1. На страницу проекта добавлены инструменты для самостоятельного решения проблем.
  2. В DataSphere Jobs добавлена возможность использовать ресурсы проекта — секреты, коннекторы S3, докеры окружения, датасеты и проектный диск.
  3. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 20.12.2023

  1. Добавлена новая конфигурация gt4.1 (1 GPU NVIDIA T4).
  2. Конфигурация g2.mig (1 GPU MIG NVIDIA Ampere A100) выведена из эксплуатации.
  3. Доступен новый тип нод из ресурса модель.
  4. При выборе конфигурации в режиме Dedicated будет отображаться ее доступность в данный момент.
  5. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 10.10.2023

  1. Дообученные модели YandexGPT можно опробовать прямо в DataSphere. YandexGPT Playground в DataSphere доступен после дообучения тем, у кого есть доступ к YandexGPT API.
  2. Появилась возможность подключения к JupyterLab проекта DataSphere из локальной IDE.
  3. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 25.09.2023

  1. С помощью DataSphere Jobs стало возможным использовать облачные вычислительные ресурсы в рамках DataSphere из локальной среды пользователя.
  2. У проектов DataSphere появился новый тип ресурсов — Модели.
  3. В JupyterLab 3 (доступен в режиме Dedicated) добавлены расширения, повышающие удобство работы.
  4. На стадии Preview доступно дообучение модели YandexGPT.
  5. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 18.09.2023

  1. Новый системный образ DS Default (Python 3.10) используется по умолчанию.
  2. Для администраторов сообществ добавлена возможность управлять разрешениями на использование функционала.
  3. Улучшена работа со списком сообществ и проектов.
  4. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 21.07.2023

  1. Обновлено расширение JupyterLab для работы с GIT.
  2. Для администраторов сообществ добавлена возможность управлять разрешениями на использование вычислительных ресурсов.
  3. Появилась возможность добавления участников сообществ и проектов до того, как они примут приглашение в организацию.
  4. Улучшен редактор сборки Docker-образа.
  5. В стартовые ноутбуки добавлен пример работы с YandexGPT API.
  6. Процесс запуска проекта стал нагляднее и прозрачнее.
  7. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 20.06.2023

  1. Добавлена страница со списком всех проектов пользователя.
  2. Обновлены стартовые ноутбуки.
  3. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 23.05.2023

  1. В DataSphere появился новый режим работы Dedicated.
  2. В режиме Dedicated обновлена версия IDE до JupyterLab 3.5.3.
  3. Улучшен выбор организации.
  4. Работа с участниками сообществ и проектов стала проще.
  5. Исправлены ошибки и добавлены небольшие улучшения в работе платформы.

Релиз 29.03.2023

  1. Добавлена возможность работы с метками для маркировки ресурсов.
  2. Исправлены ошибки и добавлены небольшие улучшения.

Релиз 24.03.2023

  1. Добавлен инструмент миграции проектов в новую версию DataSphere.
  2. Исправлены ошибки и добавлены небольшие улучшения.

Релиз 02.03.2023

  1. Добавлена работа с новой версией DataSphere через API.
  2. Исправлены ошибки и добавлены небольшие улучшения.

Релиз 19.01.2023

  1. Добавлено отображение наследуемых ролей участников сообществ и проектов.
  2. Улучшены расширенные настройки проектов.
  3. Обновлены сниппеты для работы с S3, Яндекс Диском и Google Drive.
  4. Исправлены ошибки и добавлены небольшие улучшения.

Релиз 20.10.2022

Значительно улучшили работу с кластерами Apache Spark™:

  1. В DataSphere появился новый тип ресурсов — шаблоны Yandex Data Processing.
  2. Появилась возможность конфигурировать livy-сессию при работе с кластерами Yandex Data Processing.
  3. Теперь DataSphere поддерживает работу с библиотекой Spark SQL.

Релиз 23.09.2022

Встречайте большое обновление DataSphere: новый интерфейс, сообщества, ресурсы и множество других возможностей для ML-разработки.

Релиз 11.01.2022

  1. Добавлены новые конфигурации вычислительных ресурсов:
    • g2.mig (1 MIG NVIDIA Ampere A100)
    • g2.2 (2 GPU NVIDIA Ampere A100)
    • g2.4 (4 GPU NVIDIA Ampere A100)
  2. Обновлены ознакомительные ноутбуки Добро пожаловать на русском и английском языках.
  3. Исправлены ошибки, добавлены небольшие улучшения.

Релиз 18.11.2021

  1. Добавлена возможность самостоятельно изменять размер хранилища проекта.
  2. Появилась возможность задавать ограничения на потребление отдельных каталогов и проектов, чтобы управлять расходами.
  3. Сократилось время открытия проекта.
  4. Исправлены ошибки, добавлены небольшие улучшения.

Релиз 24.09.2021

  1. Появилась возможность подключиться к объектному хранилищу S3 из интерфейса.
  2. Добавлено быстрое развертывание эксплуатации моделей из ячеек с кодом на Python.

Релиз 16.02.2021

Добавлен новый режим сохранения состояния Autosave Commit Mode.

Релиз 10.02.2021

  1. Изменился подход к сериализации состояния. Старый режим изменился и стал чуть удобнее, плюс появилась возможность включить режим autosave.
  2. Добавлена индикация загрузки GPU.
  3. Добавлена возможность обратиться в поддержку из сервиса.

Релиз 24.12.2020

  1. Представлен новый режим работы в DataSphere — Early Access Version.

    Early Access Version — это pre-release версия системы, где будут анонсироваться все важные новые функциональные возможности.

    Примечание

    Как воспользоваться?

    Режим работы Early Access Version выбирается целиком для проекта. Для активации этого режима выберите в меню проекта File пункт Enable Early Access Version.
    Вы всегда можете вернуться к обычному режиму работы, перейдя в проекте в пункт меню File и выбрав пункт Disable Early Access Version.

    Где посмотреть:

    Все детали того, что нового появилось в релизе и как воспользоваться, описаны в нашем новом ноутбуке: Что нового в Early Access?.

  2. Добавлена индикация загрузки памяти и CPU в DataSphere — объемы использования ядер процессора и памяти показываются прямо в интерфейсе ноутбука.

  3. Добавлена поддержка TensorBoard.

  4. Реализована возможность фонового асинхронного выполнения операций в специально обозначенных ячейках.

Релиз 08.12.2020

Появился ознакомительный ноутбук Добро пожаловать (на русском языке). Он рассказывает, как устроен сервис и как быстро начать им пользоваться.

Релиз 23.11.2020

  1. Исправлена работа code completion.
  2. Добавлена поддержка widgets.

Релиз 11.11.2020

  1. Реализована поддержка TensorFlow версии 2.x.
  2. Реализована поддержка обновления предустановленных библиотек, в том числе TensorFlow.
  3. Доработан алгоритм определения измененных переменных, теперь в коммит попадают только действительно измененные переменные, что сокращает время на сохранение состояния.
  4. Добавлен сниппет для работы с кластером SPARK.

Релиз 01.10.2020

  1. Yandex DataSphere перешел в коммерческий доступ, он же GA, и стал платным.

    Тарификация посекундная, оплата только за время вычислений, работа в самих ноутбуках не тарифицируется.
    Единица тарификации — это один тарифицирующий юнит. Стоимость одного тарифицирующего юнита — это стоимость использования 1 ядра CPU в течение 1 секунды.

    Количество юнитов и стоимость зависит от конфигурации вычислительных ресурсов.

  2. Добавлена возможность использования команды bash.

    Команда %%bash по-прежнему напрямую недоступна, но ее функциональностью можно воспользоваться следующим образом:

    • в заголовках ячейки необходимо указать #!S:bash (S — указание на тип ВМ, на которой нужно запустить bash).

    Ограничения:

    • не поддерживается запуск фоновых задач, например, sshd.
    • не поддерживается запуск pip, эта команда доступна по-прежнему только через magic.

  3. Появилась полноценная интеграция с Apache Spark™. Можно запускать вычисления на уже существующих кластерах Yandex Data Processing, и даже создавать временные кластера Yandex Data Processing непосредственно из сервиса DataSphere.

  4. Добавлено версионирование и работа с контрольными точками.

  5. Добавлены новые типы конфигураций: M (8 cores, 0 gpu) и XL (32 cores, 4 gpu Nvidia v100).

Предыдущая
Публичные материалы
Следующая
Проблемы с установкой библиотек