Продуктовый дайджест (ноябрь)
Рассказываем об автоматизации уведомлений через телефонные звонки в Yandex Monitoring, применении YandexGPT в колл‑центрах, обновлении интерфейса Metrics Explorer, поддержке Kubernetes® 1.31 и других новостях.
Data Platform
Обновления Yandex DataLens
Работа с отчётами
В сервисе появилось версионирование отчётов. Это позволяет быстро восстановить любую предыдущую версию. Чтобы открыть историю изменений, достаточно нажать на значок в верхней части экрана. В новой версии также можно открывать интерфейс редактирования и просмотра отчётов сразу на нужной странице. Для удобства добавили возможность включать и отключать визуальную сетку в настройках.
Улучшения в QL‑чартах
Работа с QL‑чартами стала удобнее благодаря функциям отмены и восстановления действий. Пользователи могут отменять изменения комбинацией клавиш Ctrl+Z или через значок в интерфейсе. Для восстановления отменённых действий предусмотрено сочетание Ctrl+Shift+Z.
Обновления таблиц и диаграмм
В таблицах появилась гибкая настройка размера и отображение строковых показателей в итоговой строке. Исправили проблему с линейным индикатором, который выходил за границы ячейки. В точечных диаграммах максимальный размер точек увеличили с 20 до 40 единиц, а их цвет теперь корректно меняется при переименовании полей.
Изменения в тарифе Business
Для пользователей тарифа Business улучшили работу с непубличными объектами. При их встраивании интерфейс сохраняет стилизацию исходного экземпляра DataLens. Также появилась функция блокировки селекторов с запрещёнными параметрами. Это поможет лучше контролировать доступ к данным.
В обновлении также исправили ряд ошибок — работа с сервисом стала более стабильной.
Обновления в ClickHouse®
Сервис для управления кластерами ClickHouse поддержал новые версии
Изменения в обновлении:
-
Клонирование таблиц через команду
CREATE TABLE cloned_table ENGINE MergeTree CLONE AS table
. -
Расширенная интеграция с MongoDB: поддержка всех типов данных, строк подключения (
mongodb://username:password@host:port
), а также pushdown‑оптимизацияWHERE
и выраженийORDER BY
. -
Wildcard Grants для гибкой настройки прав доступа (
GRANT SELECT ON db.table_pefix_* TO user1
). -
Новые функции для обработки строк, массивов и JSON‑объектов:
overlay
,arrayUnion
,distinctJSONPaths
,distinctJSONPathsAndTypes
. -
Виртуальная колонка
_headers
для табличной функцииurl
, позволяющая обращаться к HTTP‑заголовкам. -
Системная таблица
system.projections
. -
Экспериментальный тип данных JSON.
-
Оптимизация производительности: улучшены фоновые слияния данных, операции JOIN, чтение из колонок составных типов Array и Nullable, запись в ORC‑формате.
Тестируйте новую версию ClickHouse
Infrastructure
Обновления Yandex Monitoring
Появились звонки и эскалации
В Monitoring появился новый способ уведомлений — звонки на телефон указанного получателя при срабатывании алерта. Их можно настроить в рамках политики эскалаций.
Эскалации — новая функциональность Monitoring для настройки последовательности шагов уведомлений при срабатывании оповещений. Если на уведомление не ответили в течение заданного времени, система автоматически отправит его другим способом. Это гарантирует, что команда не пропустит важное сообщение.
В последовательности можно настроить любое количество шагов, задать задержку между ними, выбрать способы уведомления и пользователей. Например, сначала сотруднику отправляется уведомление на почту или в мессенджер, через пять минут — звонок на его телефон. Через десять минут звонок поступает на телефон руководителя.
Эскалации находятся на стадии Preview. Чтобы получить к ним доступ, обратитесь в техническую поддержку.
Обновили и унифицировали интерфейс Metrics Explorer
-
Строку запроса переместили наверх.
-
Добавили единую кнопку Выполнить запрос.
-
Реализовали возможность добавлять к графикам название и описание, которые сохраняются при добавлении графика на дашборд.
-
В тултипе стала доступна сортировка: можно подсветить конкретную линию или открыть её график в отдельном окне.
Обновили дашборды
-
Добавили новый виджет Алерты, который срабатывает при поступлении оповещений в систему мониторинга.
-
Упразднили режим редактирования: теперь параметры меняются прямо на странице, главное — не забыть их сохранить.
-
Появились повторяющиеся графики:
repeat panel
автоматически генерирует несколько графиков на основе заданного параметра. Больше не нужно копировать данные и настройки вручную.
Machine Learning
Запустили AI Assistant API
AI Assistant API — это инструмент для создания AI‑ассистентов. С его помощью можно создать персонализированных помощников, реализовать сценарий генеративного ответа с учётом информации из внешних источников (Retrieval Augmented Generation; RAG), а также сохранять контекст запросов к модели.
YandexGPT появился в продукте «Речевая аналитика» от MANGO OFFICE
Теперь генеративная языковая модель помогает руководителям колл‑центров детально анализировать звонки. Для оценки диалогов достаточно сформулировать вопрос, а система автоматически проанализирует коммуникации и предоставит отчёт по каждому оператору. В сервисе уже есть готовые шаблоны запросов и предустановленные теги для типовых ситуаций: угрозы обращения в суд, требования возврата денег, резюмирования диалога с сотрудником.
По данным
Интеграция YandexGPT
Kubernetes & DevTools
Обновления Kubernetes
До конца декабря в Yandex Managed Service for Kubernetes® появится поддержка Kubernetes 1.31. Этот релиз, выпущенный к десятилетию проекта, завершил важный этап развития — удаление поддержки облачных провайдеров из основных компонентов системы. Благодаря этому кодовая база сократилась на 1,5 млн строк.
Теперь интеграция с облачными платформами осуществляется через отдельные компоненты. В Yandex Cloud этот подход используется изначально: взаимодействие Kubernetes с сервисами облака происходит через Cloud Controller Manager, Cluster Autoscaler и Container Storage Interface.
В версии 1.31 также обновится Cilium до версии 1.15. Ключевые изменения коснутся сетевых политик: в CiliumNetworkPolicy больше нельзя будет указывать на reserved:init
Дополнительно мы добавили возможность редактировать объекты кластера через консоль управления. Например, теперь можно менять количество реплик у деплойментов без использования дополнительных инструментов, а раньше интерфейс позволял только просматривать объекты в формате YAML.
Security
Yandex Audit Trails теперь работает с KUMA
В SIEM‑системе Kaspersky Unified Monitoring and Analysis Platform (KUMA) теперь можно получать события из Audit Trails.
KUMA собирает и анализирует данные о безопасности из разных источников. Благодаря новой интеграции система поможет выявить инциденты в облаке и оперативно на них отреагировать. Нормализатор обрабатывает события аудита уровня конфигурации из файлов формата .JSON.
Чтобы подключить KUMA, нужно настроить сервис Audit Trails, а затем установить коллектор KUMA в сетевой инфраструктуре. После этого коллектор сможет получать и обрабатывать данные. В завершение останется только проверить, поступают ли события в систему.
Workload Identity Federation
Федерация сервисных аккаунтов позволяет обменивать токены систем с поддержкой OpenID Connect на IAM‑токены Yandex Cloud. Теперь этот инструмент можно использовать для подключения к API Yandex Cloud из GitHub. На его примере пользователи смогут создавать собственные интеграции.
Serverless
Обновления Yandex Workflows
Работа с массивом объектов из YDB в Workflows
В Workflows появилась операция YdbDocumentScan для получения массива объектов из базы YDB. Теперь можно запрашивать не одну строку, а сразу требуемый диапазон данных. Чтобы использовать этот шаг, необходимо в YAML‑спецификации шага ydbDocument
указать значение scan
с полями exclusive_start_key
и limit
.
Интеграция с Yandex Lockbox
Добавили расширение шаблонизатора для работы с хранилищем секретов. Теперь Workflows может включать шаги, требующие данные из Yandex Lockbox, например для аутентификации. Для использования включите в секцию input
требуемого шага вызов функции lockboxPayload("<идентификатор_секрета>"; "<ключ_секрета>"; "<идентификатор_версии_секрета>")
.
Метки в Yandex API Gateway
В консоли управления реализовали поддержку меток Yandex API Gateway. Это позволяет снабжать ресурсы метаинформацией и группировать объекты по различным признакам: бизнес‑процессам или решаемым задачам. С помощью меток можно визуально выделить группу взаимосвязанных объектов на основании метрик. Чтобы добавить метки, откройте нужный шлюз в консоли и перейдите в режим редактирования.
Education
Greenplum® для дата‑инженеров
С 14 октября по 17 ноября 2024 года прошло синхронное обучение «Greenplum для дата‑инженеров». В нём участвовали 79 специалистов из российских и казахстанских компаний, среди которых Mediascope, M2, Альфа‑Банк, Купер, Банки.ру, Сравни, Bork, Алгоритмика, Freedom Broker, Freedom Pay, Freedom Data и Aviata. Программа включала четыре модуля: общую информацию по Greenplum, физическую модель данных и DDL, работу с внешними источниками и оптимизацию производительности запросов.
Среди участников преобладают инженеры данных (29,8%) и аналитики (23,1%). Также курс привлёк разработчиков, архитекторов, системных администраторов и дата‑сайентистов. Большинство слушателей планировали использовать Greenplum для разработки аналитических витрин, проектирования хранилищ данных и оптимизации ETL‑процессов. Курс успешно завершили 52 человека, что составляет 66% от общего числа участников. Их знания в среднем выросли на 28,5%, а 74% студентов отметили, что полученные навыки пригодятся в работе.
Программа сертификации Yandex Cloud получила премию SEA
На премии School of Education Award (SEA) сертификация Yandex Cloud для IT‑специалистов стала победителем в номинации «Прорыв года 2023–2024» (категория «Взрослое образование»). В конкурсе участвовали проекты, запущенные не ранее 2021/22 учебного года и уже зарекомендовавшие себя в индустрии. В 2024 году наша команда представила две сертификации: Engineer Associate и Security Specialist. За это время экзамены сдали 350 человек, 95 из них получили сертификаты.
Yandex Cloud Support
Улучшили сервис поддержки в чатах Support Center
У пользователей базового тарифа появились новые возможности при обращении в техподдержку. Теперь при создании чата можно выбрать нужный сервис. Так операторы будут быстрее подключаться к решению вопросов по своей специализации.
Ещё одно улучшение — при открытии чата система покажет список активных обращений, который поможет пользователям быстрее вернуться к уже созданным тикетам и снизит количество повторных запросов.
В интерфейс чатов добавили кнопку быстрого возврата к последнему сообщению, а также счётчик непрочитанных сообщений и WYSIWIG‑редактор для оформления ответов.
Documentation
Инфраструктура и сеть
Yandex API Gateway
- Добавлена «История изменений» за сентябрь и октябрь.
Yandex BareMetal
- Добавлена пошаговая инструкция по использованию диска восстановления и диагностики Rescue‑CD.
- Обновлено описание конфигурации серверов.
Yandex Cloud Backup
- Добавлена пошаговая инструкция по активации сервиса.
- Добавлена пошаговая инструкция по подключению виртуальной машины на Linux с OS Login к Cloud Backup.
- Добавлена пошаговая инструкция по обновлению подключения виртуальной машины на Linux с OS Login к Cloud Backup.
- Добавлена пошаговая инструкция по подключению сервера Yandex BareMetal к Yandex Cloud Backup.
- Добавлена пошаговая инструкция по обновлению подключения сервера Yandex BareMetal к Cloud Backup.
Yandex Cloud CDN
- Добавлено практическое руководство по организации защищённого доступа к контенту в Cloud CDN с помощью Terraform.
Yandex Cloud Interconnect
- Добавлен Справочник API.
- Добавлена «История изменений» за III квартал 2024.
Yandex Compute Cloud
- Добавлена «История изменений» за III квартал 2024.
- Шифрование в Compute Cloud выходит в GA.
- Обновлён раздел Правила тарификации. Добавлены цены для платформы Intel.
Yandex Monitoring
- Добавлена информация о возможных ошибках Yandex Unified Agent.
- Добавлена информация о политике эскалаций.
- Добавлена пошаговая инструкция по созданию канала уведомлений с вызовом функции Cloud Functions.
- Добавлена пошаговая инструкция по созданию политики эскалаций.
- Добавлена «История изменений» за октябрь и ноябрь.
- Обновлены пошаговые инструкции по работе с правилами записи и алертинга.
- Обновлён раздел Метрики Yandex Managed Service for PostgreSQL: добавлены метрики vacuum.
Yandex Object Storage
- Обновлены пошаговые инструкции по управлению объектами: добавлены способы выполнения действий с помощью Yandex Cloud CLI.
- Обновлена пошаговая инструкция по работе с AWS SDK для Go.
Yandex Smart Web Security
- Добавлена пошаговая инструкция по настройке мониторинга в Smart Web Security.
- Добавлена «История изменений» за III квартал 2024.
Yandex Virtual Private Cloud
- Добавлена «История изменений» за III квартал 2024.
Платформа данных
Yandex Data Processing
- Сервис Yandex Data Proc переименован в Yandex Data Processing.
Yandex Data Streams
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for Apache Kafka®.
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for YDB.
Yandex Data Transfer
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for Apache Kafka®.
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for YDB.
- Добавлены рекомендации по параллельному копированию.
- Добавлена «История изменений» за октябрь.
- Обновлена информация о работе с эндпоинтами: добавлен Object Storage.
Yandex DataLens
- Добавлена информация о поддержке аутентификации с помощью SSO в DataLens.
- Добавлено описание ошибки ERR.DS_API.DB.CANNOT_PARSE.
- Добавлена «История изменений» за октябрь.
- Обновлён раздел Правила тарификации: добавлены примеры расчёта стоимости.
Yandex DataSphere
- Добавлено практическое руководство по созданию сервисного агента.
Yandex Managed Service for Apache Airflow
- Добавлена пошаговая инструкция по передаче логов кластера Managed Service for Apache Airflow™ в Yandex Cloud Logging.
- Обновлена пошаговая инструкция по получению информации об имеющихся кластерах в Managed Service for Apache Airflow™: добавлены способы выполнения действий с помощью REST API и gRPC API.
Yandex Managed Service for Apache Kafka®
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for Apache Kafka® с помощью Yandex Data Transfer.
- Обновлена пошаговая инструкция по управлению коннекторами: добавлены способы выполнения действий с помощью API.
- Обновлена пошаговая инструкция по созданию кластера Apache Kafka®.
- Обновлена пошаговая инструкция по подключению к кластеру Apache Kafka® из приложений.
Yandex Managed Service for ClickHouse
- Добавлена пошаговая инструкция по преобразованию нереплицируемых таблиц в реплицируемые.
- Добавлена «История изменений» за октябрь.
- Обновлена пошаговая инструкция по подключению внешних словарей в Managed Service for ClickHouse®: добавлены способы выполнения действий с помощью REST API и gRPC API.
- Обновлены пошаговые инструкции по управлению кластером: добавлены способы выполнения действий с помощью REST API и gRPC API.
- Обновлена пошаговая инструкция по управлению резервными копиями в Managed Service for ClickHouse®: добавлены способы установки срока хранения автоматических резервных копий.
Yandex Managed Service for Greenplum®
- Добавлена инструкция по мониторингу состояния сети.
- Добавлена «История изменений» за октябрь.
- Обновлена пошаговая инструкция по изменению настроек кластера Greenplum®: добавлены способы выполнения действий с помощью Terraform.
- Обновлены пошаговые инструкции: добавлены способы выполнения действий с помощью REST API и gRPC API.
Yandex Managed Service for MongoDB
- Добавлена «История изменений» за октябрь.
Yandex Managed Service for MySQL®
- Добавлена «История изменений» за октябрь.
Yandex Managed Service for OpenSearch
- Добавлена «История изменений» за октябрь.
- Обновлены пошаговые инструкции: добавлены способы выполнения действий с помощью REST API и gRPC API.
- Обновлён раздел Правила тарификации: добавлены примеры расчёта стоимости.
Yandex Managed Service for PostgreSQL
- Добавлена информация о сверхбыстрых сетевых SSD‑дисках с тремя репликами.
- Добавлена пошаговая инструкция по использованию postgresql_anonymizer в Managed Service for PostgreSQL.
- Добавлена «История изменений» за октябрь.
- Обновлён Справочник метрик Yandex Monitoring: добавлены метрики vacuum.
Yandex Managed Service for Redis
- Обновлены пошаговые инструкции: добавлены способы выполнения действий с помощью REST API и gRPC API.
- Обновлён раздел Правила тарификации: добавлены примеры расчёта стоимости.
Yandex Managed Service for YDB
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for YDB с помощью Yandex Data Transfer.
Yandex MetaData Hub
- Добавлено практическое руководство по использованию Schema Registry с Yandex Managed Service for Apache Kafka®.
- Добавлена пошаговая инструкция по настройке группы безопасности для кластера Metastore.
- Добавлена пошаговая инструкция по загрузке схемы в субъект.
- Добавлена «История изменений» за октябрь и ноябрь.
Yandex Monitoring
- Добавлена информация о возможных ошибках Yandex Unified Agent.
- Добавлена информация о политике эскалаций.
- Добавлена пошаговая инструкция по созданию канала уведомлений с вызовом функции Cloud Functions.
- Добавлена пошаговая инструкция по созданию политики эскалаций.
- Добавлена «История изменений» за октябрь и ноябрь.
- Обновлены пошаговые инструкции по работе с правилами записи и алертинга.
- Обновлён раздел Метрики Yandex Managed Service for PostgreSQL: добавлены метрики vacuum.
Yandex Object Storage
- Обновлены пошаговые инструкции по управлению объектами: добавлены способы выполнения действий с помощью Yandex Cloud CLI.
- Обновлена пошаговая инструкция по работе с AWS SDK для Go.
Yandex WebSQL
- Добавлена «История изменений» за октябрь.
Контейнеры
Yandex Managed Service for Kubernetes
- Добавлена «История изменений» за III квартал 2024.
Yandex Serverless Containers
- Добавлена «История изменений» за сентябрь и октябрь.
Инструменты разработчика
Yandex Managed Service for GitLab
- Добавлена «История изменений» за октябрь.
- Обновлено практическое руководство по развёртыванию GitLab Runner на виртуальной машине Yandex Compute Cloud.
Yandex SmartCaptcha
- Добавлен Справочник API.
Yandex WebSQL
- Добавлена «История изменений» за октябрь.
Бессерверные вычисления
Yandex API Gateway
- Добавлена «История изменений» за сентябрь и октябрь.
Yandex Cloud Functions
- Добавлена инструкция по сборке и управлению зависимостями функции на Bash.
- Добавлена «История изменений» за сентябрь и октябрь.
Yandex Data Streams
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for Apache Kafka®.
Yandex Managed Service for YDB
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for YDB с помощью Yandex Data Transfer.
Yandex Object Storage
- Обновлены пошаговые инструкции по управлению объектами: добавлены способы выполнения действий с помощью Yandex Cloud CLI.
- Обновлена пошаговая инструкция по работе с AWS SDK для Go.
Yandex Serverless Containers
- Добавлена «История изменений» за сентябрь и октябрь.
Yandex Serverless Integrations
- Обновлены лимиты для Workflows.
- Добавлено описание поля scan для шага YDBDocument в спецификации YaWL.
- Добавлено описание jq‑функции lockboxPayload.
Безопасность
Yandex Audit Trails
- Добавлено практическое руководство по загрузке аудитных логов в SIEM KUMA.
- Добавлена «История изменений» за III квартал 2024.
Yandex Identity and Access Management
- Добавлена информация о сервисных агентах.
- Добавлено практическое руководство по получению значения секрета Lockbox на стороне GitHub.
- Добавлена «История изменений» за III квартал 2024.
- Обновлена информация об API‑ключах.
Yandex Key Management Service
- Обновлён раздел Правила тарификации: добавлены примеры расчёта стоимости.
Yandex Smart Web Security
- Добавлена пошаговая инструкция по настройке мониторинга в Smart Web Security.
- Добавлена «История изменений» за III квартал 2024.
Yandex SmartCaptcha
- Добавлен Справочник API.
Мониторинг и управление ресурсами
Yandex Cloud Organization
- Добавлена пошаговая инструкция по ограничению доступа пользователям просматривать информацию о членах организации.
- Добавлена «История изменений» за III квартал 2024.
Yandex Identity and Access Management
- Добавлена информация о сервисных агентах.
- Добавлено практическое руководство по получению значения секрета Lockbox на стороне GitHub.
- Добавлена «История изменений» за III квартал 2024.
- Обновлена информация об API‑ключах.
Yandex Monitoring
- Добавлена информация о возможных ошибках Yandex Unified Agent.
- Добавлена информация о политике эскалаций.
- Добавлена пошаговая инструкция по созданию канала уведомлений с вызовом функции Cloud Functions.
- Добавлена пошаговая инструкция по созданию политики эскалаций.
- Добавлена «История изменений» за октябрь и ноябрь.
- Обновлены пошаговые инструкции по работе с правилами записи и алертинга.
- Обновлён раздел Метрики Yandex Managed Service for PostgreSQL: добавлены метрики vacuum.
Машинное обучение
Yandex DataSphere
- Добавлено практическое руководство по созданию сервисного агента.
Yandex Foundation Models
- Добавлена документация AI Assistant API.
- Добавлена «История изменений» за ноябрь.
- Обновлена информация о моделях YandexGPT API.
- Обновлён раздел Правила тарификации: добавлены цены для YandexART.
Yandex SpeechKit
- Обновлён раздел «История изменений» в сервисе распознавания речи Yandex SpeechKit.
Бизнес‑инструменты
Yandex Cloud Desktop
- Обновлены пошаговые инструкции: добавлены способы выполнения действий с помощью API и CLI.
Yandex Cloud Video
- Добавлены пошаговые инструкции по добавлению обложки для трансляции и видео.
- Добавлена инструкция по использованию SDK видеоплеера для iOS.
Yandex DataLens
- Добавлена информация о поддержке аутентификации с помощью SSO в DataLens.
- Добавлено описание ошибки ERR.DS_API.DB.CANNOT_PARSE.
- Добавлена «История изменений» за октябрь.
- Обновлён раздел Правила тарификации: добавлены примеры расчёта стоимости.
Yandex SpeechSense
- Добавлен раздел Квоты и лимиты.
- Обновлён Справочник REST API.
Другие обновления
Интерфейс командной строки
- Обновлён Справочник CLI.
- Обновлён раздел Релизы CLI.
Обзор платформы Yandex Cloud
- Добавлен Обзор интерфейсов для работы с сервисами.
- Добавлено описание инструментов мониторинга и логирования (observability).
Партнёрам Marketplace
- Добавлена инструкция по началу работы с Marketplace Metering API.
- Добавлена инструкция по тестированию версии продукта для Managed Service for Kubernetes.
Партнерская программа Yandex Cloud
- Добавлен раздел Управление доступом.
- Обновлена разводящая страница документации.
Практические руководства платформы Yandex Cloud
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for Apache Kafka® с помощью Yandex Data Transfer.
- Добавлено практическое руководство по поставке данных из очереди Data Streams в Managed Service for YDB с помощью Yandex Data Transfer.
- Добавлено практическое руководство по организации защищённого доступа к контенту в Cloud CDN с помощью Terraform.
- Добавлено практическое руководство по загрузке аудитных логов Yandex Audit Trails в SIEM KUMA.