В этом выпуске рассказываем об изменениях в Yandex DataLens, в сервисах группы «Машинное обучение», в документации и о других новостях платформы Yandex Cloud.
6 июня 2024 г.
15 минут чтения
Yandex Scale 2026
24 сентября, Москва и онлайн.
Главная технологическая конференция
Yandex Cloud.
Сервис Yandex Cloud Backup теперь совместим с актуальными операционными системами из каталога образов:
Ubuntu LTS OS Login 22.04
Ubuntu 22.04 LTS
CentOS 7 OS Login
CentOS Stream
Astra Linux Special Edition 1.7 «Орёл»
Astra Linux Special Edition 1.7 «Воронеж»
Агент резервного копирования для этих систем устанавливается так же, как и для ранее поддержанных ОС: когда будете создавать виртуальную машину в консоли Yandex Cloud, включите чекбокс или выполните скрипт установки в ОС ВМ. Для того чтобы начать копирование, после установки агента не забудьте подключить его к политике резервного копирования.
Платформа данных
Yandex Managed Service for Apache Airflow™
Появилась имперсонация пользовательских сервисных аккаунтов для Managed Service for Apache Airflow™. Это значит, что вы можете назначить сервисный аккаунт кластеру, от имени которого кластер будет обращаться к другим сервисам Yandex Cloud — Yandex Cloud Logging, Yandex Monitoring, Yandex Lockbox и многим другим. Также благодаря обновлению вам больше не понадобится дополнительно настраивать авторизацию, чтобы использовать всю функциональность Yandex Cloud SDK при написании DAG.
Yandex Managed Service for ClickHouse®
Сервис для управления кластерами Yandex Managed Service for ClickHouse® теперь совместим с новой версией этой системы — 24.4. Рассказываем, что изменилось по сравнению с предыдущей версией:
поддержали рекурсивные CTE для обработки иерархических данных;
ввели выражение QUALIFY, позволяющее фильтровать результаты оконных функций;
Для приёмника Managed Service for YDB расширили функциональность сопоставления типов Date и DateTime, которая позволяет создать трансфер с требуемым типом без дополнительного преобразования.
Улучшили поведение репликации из PostgreSQL при удалении колонок из таблиц в базе данных источника.
Закрыли возможность создания эндпоинтов Yandex Managed Service for Elasticsearch, поскольку больше не поддерживаем сервис.
Также добавили возможность показывать описание дашборда при его открытии. Добавьте к адресу дашборда параметр _opened_info=1, и если вы заполнили описание, то оно откроется во всплывающем окне.
Для виджетов Текст и Заголовок теперь можно добавить фон. Для этого включите опцию Фон в окне настроек виджета и выберите необходимый цвет из секции Light Semantic дизайн-системы Gravity UI.
Если захотите отключить оптимизацию связи, когда используете несколько таблиц в источнике данных, попробуйте опцию Оптимизировать связь.
Появилась функция разметки IMAGE, которая позволяет вставить изображение в ячейку таблицы.
Теперь добавляемые виджеты можно сразу перетаскивать в нужное место. Это работает для всех создаваемых и скопированных объектов, их размеры сохраняются.
Появилась опция Подсказка, которая поможет добавить текстовое пояснение к селектору, а также полям обычной и сводной таблицы. Текст пояснения по умолчанию подставляется из описания поля в датасете.
Теперь в окне настройки связей на дашборде можно выбирать настраиваемый виджет из раскрывающегося списка.
При добавлении на дашборд селектора на основе датасета можно будет указывать ссылку на датасет.
Добавили возможность сгенерировать цветовую палитру при стилизации интерфейса. Пока эта функциональность работает только для выбранного сочетания темы и контрастности.
А ещё настройки стилизации интерфейса теперь можно сбросить к системным значениям DataLens.
Расширили API: при создании агента можно указать платформу, а при создании теста — настройки для сохранения артефактов в S3.
Безопасность
Yandex Smart Web Security: Web Application Firewall
Пользователям сервиса Smart Web Security теперь доступен межсетевой экран — Web Application Firewall. Он автоматически блокирует попытки злоумышленников использовать уязвимости веб‑приложений, в том числе входящие в международный рейтинг основных угроз безопасности OWASP TOP‑10.
Новая функциональность доступна в режиме Preview всем пользователям Yandex Cloud. Оставьте заявку, чтобы попробовать.
Машинное обучение
Yandex DataSphere
Недавно мы запустили новую функциональность VS Code extension для вычислений в DataSphere Jobs. Она позволит запускать код прямо из редактора с возможностью изменения параметров запуска в UI и без необходимости использовать командную строку. Расширение также предоставляет отдельное окно с историей запусков и статусом вычислений. Это поможет вам лучше контролировать процесс работы.
Установить расширение можно двумя способами:
в магазине Visual Studio Marketplace, где можно установить расширение прямо из VS Code одним кликом мыши. Дополнительным преимуществом служит синхронизация между рабочими местами;
Интеграция сервисов Yandex Data Processing и Yandex DataSphere позволит работать с большими данными в удобном и привычном интерфейсе IDE JupyterLab. Обо всех преимуществах и о том, как начать работу, рассказываем в документации.
Yandex Data Processing обладает обширной функциональностью для хранения, расчёта и аналитики больших данных на Spark‑кластерах, но в нём нет удобного пользовательского интерфейса, как в Yandex DataSphere. Мы добавили новый способ работы с кластерами Spark — SparkContext. В отличие от Livy‑сессии, работа со SparkContext считается классической, она устойчива и прозрачна.
Yandex Foundation Models
Запустили новую версию генеративной нейросети — YandexGPT 3 Lite. Новая модель быстрее отвечает на запросы и даёт больше верных ответов. С её помощью владельцы бизнеса могут оптимизировать такие задачи, как консультация клиентов в чате и по телефону, подготовка ответов для службы поддержки, создание маркетинговых материалов или дайджеста рабочих встреч.
На сегодняшний день YandexGPT 3 Lite самая выгодная по цене и качеству коммерческая модель Яндекса для решения рутинных задач. Её уже можно интегрировать в продукты через API в нашем сервисе Yandex Foundation Models, а также попробовать в Playground.
Подробнее о том, чем новая версия отличается от YandexGPT 2 Lite и как её можно попробовать уже сейчас, читайте по ссылке.
YandexGPT
Предлагаем попробовать классификаторы на базе YandexGPT. Один из самых частых сценариев их использования в бизнесе — решение задач классификации. Теперь вы можете обучать классификаторы на основе YandexGPT в Yandex DataSphere. Это позволит, например, быстрее распределять заявки в службе поддержки или фильтровать неприемлемый контент.
Сервис Yandex Foundation Models предоставляет классификаторы на базе YandexGPT двух видов: по промту и дообучаемые.
Открываем для бизнеса технологию, которая лежит в основе Нейро — генеративные ответы в Yandex Search API. Теперь вы можете использовать текстовый поиск Yandex Search API в сочетании с возможностями YandexGPT, чтобы получить на поисковый запрос пользователя единый генеративный ответ, ёмкий и понятный. Для того чтобы сформировать его, наша нейросеть анализирует релевантные результаты текстового поиска Yandex Search API по сайтам вашей компании.
Технология находится на стадии Preview, отправьте заявку, чтобы получить доступ.
Marketplace
Ingress NGINX
Инструмент, который может обеспечить доступ к приложениям в кластере Kubernetes с помощью Nginx.
Data Streaming из Яндекс Метрики
Решение для потоковой передачи данных в реальном времени позволяет получать неагрегированные данные сервиса Яндекс Метрика в свой управляемый ClickHouse‑кластер в Yandex Cloud.
Образование
Запустили образовательный трек о том, как работать с ML‑сервисами Yandex Cloud и использовать их на платформе Яндекс Практикум. Разработчики научатся применять ML на практике, а руководители и менеджеры компаний узнают, как автоматизировать рутинные задачи и процессы с помощью нейросетей.