Работа технологии генеративного ответа Yandex Search API на примере поисковой выдачи с сайта Yandex Cloud. В результатах поиска — объединённый ответ из нескольких подходящих источников и ссылки на них
Продуктовый дайджест Yandex Cloud (август)
Рассказываем о запуске сервиса Yandex Cloud Video и курса по шифрованию данных, новых возможностях Data Transfer, обновлениях в Managed Service for ClickHouse® и DataLens, а также делимся другими новостями платформы.
Платформа данных
Обновлённый Data Transfer
Усилили безопасность сервиса. Для источника Яндекс Метрики добавили:
-
Сохранение схемы БД после применения всех миграций в SQL‑файл с актуальной схемой со всеми таблицами.
-
Возможность указывать сразу несколько выражений‑фильтров для трансформера «Фильтр строк для источников APPEND-ONLY».
Доработали политику очистки в приёмнике Managed Service for ClickHouse для полной поддержки кластеров без ZooKeeper. Также с 1 августа обновили тарифы.
Yandex MetaData Hub
Добавили поддержку соединений для пользовательских инсталляций баз данных Redis™ и кластеров Managed Service for Redis™. Интегрировали Yandex Connection Manager с Managed Service for ClickHouse для автоматического создания подключений кластеров.
Managed Service for PostgreSQL
Поддержали расширение для PostgreSQL версий 15 и 16 для создания вставки UUID v7, которая в десять раз быстрее, чем UUID v4.
Managed Service for ClickHouse
Обновили сервис для управления кластерами ClickHouse® до версии 24.6
Что нового:
-
Настройка optimize_row_order увеличивает коэффициент сжатия данных до 30%. Улучшает использование дискового пространства и производительность чтения.
-
Настройки materialize_skip_indexes_on_insert и materialize_statistics_on_insert позволяют отложить построение индексов. Это ускоряет вставку данных и полезно для быстрой записи.
-
Индексирование с помощью кривых Гильберта улучшает обработку пространственных данных и ускоряет запросы по временным рядам и геоданным.
-
Функции base64URLEncode и base64URLDecode для работы с URL‑совместимым Base64‑кодированием помогают при безопасном хранении данных в URL.
-
Логирование привилегий в system.query_log упрощает диагностику проблем с правами доступа, позволяя детализировать необходимые привилегии.
-
Встроенная документация в системные таблицы помогает в понимании их структуры и назначения.
Managed Service for Apache Kafka®
Теперь в управляемом Apache Kafka можно автоматически увеличивать размер диска. Нужно задать порог его заполненности и максимальный размер. Когда порог достигнут, диск увеличивается до указанного максимума. Доступны два варианта: увеличение сразу или в ближайшее окно обслуживания. Всё настраивается в параметрах кластера.
WebSQL
Добавили управление правами доступа для выполненных и сохранённых запросов и статистику по выполненным запросам. Обновили окно обращения в поддержку, улучшили инструменты мониторинга и анализа запросов.
DataLens
Группировка селекторов на дашбордах
Теперь в виджет с селекторами можно добавить дополнительные кнопки:
-
Применить — применяет все значения в виджете.
-
Сбросить — сбрасывает значения до значений по умолчанию.
Для виджета с несколькими селекторами можно настроить их порядок, расположение и ширину (в пикселях или процентах). Если у всех виджетов указать ширину 100%, то они будут располагаться вертикально.
Массовые операции с полями в датасете
Теперь в датасете можно отметить сразу несколько полей, а также удалить, скрыть или показать их.
Инфраструктура и сеть
Compute Cloud
Появилась возможность создавать снимки с высокопроизводительных и нереплицируемых SSD‑дисков (network‑ssd‑io и network‑ssd‑nonreplicated) без остановки операции на запись данных.
Foundation Models
Yandex Search API
Технология генеративного ответа заработала не только в документации, но и по всему сайту Yandex Cloud. Кроме того, теперь она доступна для поиска в консоли. Вся ключевая информация по запросу пользователя собрана в одном ответе с указанием ссылок на источники. Технология генеративного ответа доступна в рамках сервиса поисковых запросов Yandex Search API. Чтобы протестировать инструмент для автоматической генерации ответов на вопросы, оставьте заявку или обратитесь к вашему аккаунт‑менеджеру.
Обучение и сертификация
Greenplum® для разработчиков
Запустили обучение по Greenplum. Первый в этом году поток провели для 17 компаний‑партнёров и клиентов. Второй поток стартует в октябре.
В течение месяца специалисты из Альфа‑Банка, «БОКСБЕРРИ СОФТ», «МигКредита» и других компаний проходили углублённый курс для разработчиков: изучали теорию, выполняли практические задания и посещали воркшопы.
Они обучались создавать облачную инсталляцию Managed Service for Greenplum® и работать с ней, проектировать оптимальную физическую модель данных, разбирались в архитектуре сервиса и других аспектах, имеющих критическое значение для работы с Greenplum.
Результаты обучения:
-
24 участника успешно завершили курс и получили сертификаты.
-
Коэффициент успешного прохождения курса (COR) — 46%.
-
Уровень общей удовлетворённости от обучения — 75%.
-
Уверенность в приобретённых знаниях — 75%.
Шифрование данных и управление ключами
Запустили новый курс для security‑трека. Он рассчитан на системных администраторов, специалистов по информационной безопасности и DevOps‑инженеров уровней Middle и Senior. Курс поможет разобраться с криптографическими сервисами Yandex Cloud и c тем, как с их помощью обеспечивать безопасность информации. Подробнее читайте на странице сайта про курс.
Serverless
Kotlin Runtime в Cloud Functions
Теперь в Cloud Functions доступен язык Kotlin Runtime. Для использования выберите его в качестве среды выполнения. Она автоматически загружает код и вызывает указанный обработчик запросов, аргументы которого зависят от выбранной модели программирования на Kotlin.
Yandex API Gateway
В Yandex API Gateway теперь можно преобразовывать тело запроса, ответ и коды ответов, чтобы упростить работу с API. Используйте расширения x‑yc‑schema‑mapping
и x‑yc‑status‑mapping
в спецификации API‑шлюза.
Интеграция с YandexGPT API
Добавили в Yandex API Gateway интеграцию с YandexGPT API. Это упрощает его вызов через REST endpoint.
На экране конструктора спецификации Yandex API Gateway нажмите кнопку Интеграция с YandexGPT, укажите все детали, а конструктор создаст фрагмент спецификации для этой интеграции.
Обозреватель для событий отправки писем
Добавили обозреватель для событий отправки писем по заданным адресам. Теперь пользователи могут отслеживать статусы сообщений: «Принято к отправке», «Доставлено», «Не доставлено» и другие.
Как использовать: при создании или редактировании адреса в сервисе Yandex Cloud Postbox включите логирование в каталог или лог‑группу.
Интеграция Yandex API Gateway со Smart Web Security
Теперь доступна интеграция Yandex API Gateway со Smart Web Security для защиты API‑шлюзов от DDoS‑атак и ботов. Для подключения укажите в спецификации Yandex API Gateway расширение x‑yc‑apigateway:smartWebSecurity
и параметр профиля безопасности securityProfileId
.
Marketplace
Traffic Inspector Next Generation
На Yandex Cloud Marketplace появился Traffic Inspector Next Generation — продукт решения NGFW на базе OPNsense® для малого, среднего, крупного бизнеса и госструктур. Он обеспечивает высокий уровень сетевой безопасности, защищает от киберугроз IT‑инфраструктуру любого формата и размера (как виртуальную, так и реальную), позволяет организовать контролируемый доступ пользователей в интернет и мониторинг сетевой активности.
Продукт входит в реестр российского ПО.
SVZCloud Backup
Обновился безагентный бэкап виртуальных машин и дисков в Yandex Cloud. Он автоматизирует операции резервного копирования и восстановления, в том числе в объектное хранилище S3. По запросам пользователей в новой версии добавлена поддержка VSS для обеспечения целостности данных приложений виртуальных машин на базе MS Windows Server.
Cloud Advisor
Федеральный закон «О персональных данных».
Центр интернет‑безопасности, разрабатывающий стандарты безопасности.
Стандарт безопасности данных платёжных карт.
Свободная операционная система от Linux.
Cloud Advisor — единая платформа, которая обеспечивает безопасность, инвентаризацию и сокращение расходов в публичном облаке. Она предоставляет комплексную защиту облака и решает задачи управления уязвимостями, контроля конфигурации, защиты контейнерных сред, соответствия требованиям (ФЗ‑152, CIS, PCI DSS) и поиска вредоносного ПО.
Cloud Advisor создан специально для облака. Он обеспечивает стопроцентное покрытие всех ресурсов за минуты без установки агентов и без влияния на производительность инфраструктуры.
Calculate Directory Server
Свободный дистрибутив, представляющий собой LDAP‑сервер для централизованного хранения настроек пользователей, приложений и прав доступа в едином сетевом хранилище. Calculate Directory Server основан на Gentoo. Он стабильно работает и показывает высокую производительность на различных типах оборудования — от Pentium Pro до современных процессоров.
Security
Системные группы
Добавили новые типы системных групп: «All users in organization» и «All users in federation». Они охватывают всех пользователей внутри облачной организации или федерации. Это даёт доступ большому числу пользователей, а облачные ресурсы при этом остаются закрытыми публично.
Анонсы
Yandex Cloud Video
Запустили сервис Yandex Cloud Video для хранения, обработки и трансляции видео. С его помощью можно добавлять видеообзоры и отзывы на корпоративные сайты и интегрировать их в приложения, размещать образовательный видеоконтент на LMS‑платформах и проводить онлайн‑трансляции для большого числа зрителей с минимальной задержкой.
Yandex Cloud Video — единый инструмент с мультиформатным видеоплеером, встроенными инструментами для автоматической обработки видео до нужного качества и мультибитрейта, а также безопасным хранением контента в S3‑хранилище.
Сервис находится на стадии Preview. Вы можете оставить заявку
Документация
Появилась документация нового сервиса: Yandex Cloud Video.
Инфраструктура и сеть
Yandex API Gateway
- Добавлена информация об интеграции с Yandex Smart Web Security.
- Добавлена информация об интеграции с YandexGPT.
- Добавлено практическое руководство по использованию Yandex API Gateway для настройки синтеза речи в Yandex SpeechKit.
Yandex Application Load Balancer
- Добавлены рекомендации по настройке проверок состояния Yandex Application Load Balancer.
- Добавлена пошаговая инструкция по созданию инфраструктуры Application Load Balancer с помощью визарда.
- Обновлён раздел Квоты и лимиты.
Yandex Cloud Backup
- Добавлено практическое руководство по автоматической привязке политики резервного копирования Yandex Cloud Backup к ВМ.
- Добавлена пошаговая инструкция по просмотру статистики резервного копирования.
- Добавлен Справочник метрик Yandex Monitoring.
Yandex Compute Cloud
Yandex Load Testing
- Добавлена «История изменений» за II квартал 2024.
Yandex Monitoring
- Обновлён Справочник метрик: добавлены метрики Yandex Cloud Backup.
Yandex Object Storage
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for YDB в Yandex Object Storage с помощью Yandex Data Transfer.
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer.
Yandex Virtual Private Cloud
- Добавлена информация о маршрутизации.
Платформа данных
Yandex Data Proc
- Добавлено практическое руководство по работе с топиками Apache Kafka® с помощью PySpark-заданий в Yandex Data Proc.
Yandex Data Transfer
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for YDB в Yandex Object Storage.
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for OpenSearch в Yandex Managed Service for YDB с помощью Data Transfer.
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer.
- Добавлено практическое руководство по копированию данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer.
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer.
- Обновлён раздел Правила тарификации.
Yandex DataLens
- Добавлена «История изменений» за июль.
- Описан пример добавления иерархии.
- В таблицу прав доступа добавлена информация о необходимых правах для переименования папки.
- Добавлены описания ошибок ERR.DS_API.FORMULA.PARSE.UNEXPECTED_TOKEN и ERR.FILE.CANNOT_UPDATE_DATA.
- Дополнено описание ошибки ERR.DS_API.SOURCE_CONFIG.TABLE_NOT_CONFIGURED.
- Добавлено описание настройки селектора «Размещение заголовка».
- Добавлена информация о ролях, необходимых для привязки платежного аккаунта.
- Добавлена инструкция по отключению возможности публикации объектов.
Yandex DataSphere
- Добавлено практическое руководство по развертыванию gRPC-сервиса на основе Docker-образа.
- Добавлено руководство по решению проблем с зависимостями в Yandex DataSphere.
- Обновлена информация о вычислениях на кластерах Apache Spark™ и работе с временными кластерами Yandex Data Proc.
Yandex Managed Service for Apache Kafka®
- Добавлено практическое руководство по работе с топиками Apache Kafka® с помощью PySpark-заданий в Yandex Data Proc.
- Добавлена пошаговая инструкция по управлению дисковым пространством в кластере Managed Service for Apache Kafka®.
- Добавлена «История изменений» за июль.
Yandex Managed Service for ClickHouse
- Добавлено практическое руководство по копированию данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer.
- Добавлена «История изменений» за июль.
Yandex Managed Service for Greenplum®
- Добавлена «История изменений» за июль.
Yandex Managed Service for OpenSearch
- Добавлена информация о политиках индексов.
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for OpenSearch в Yandex Managed Service for YDB с помощью Data Transfer.
- Добавлено практическое руководство по настройке политики индексов в Managed Service for OpenSearch.
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer.
- Добавлено практическое руководство по копированию данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer.
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer.
Yandex Managed Service for PostgreSQL
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer.
Yandex Managed Service for YDB
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for OpenSearch в Yandex Managed Service for YDB с помощью Data Transfer.
Yandex MetaData Hub
- Добавлена «История изменений» за август.
Yandex Monitoring
- Обновлён Справочник метрик: добавлены метрики Yandex Cloud Backup.
Yandex Object Storage
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for YDB в Yandex Object Storage с помощью Yandex Data Transfer.
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer.
Yandex WebSQL
- Добавлена «История изменений» за июль и август.
Контейнеры
Yandex Container Registry
- Добавлена пошаговая инструкция по установке и настройке Docker.
Yandex Managed Service for Kubernetes
- Добавлена информация о шифровании в Managed Service for Kubernetes.
- Добавлена «История изменений» за I полугодие 2024.
Инструменты разработчика
Yandex Load Testing
- Добавлена «История изменений» за II квартал 2024.
Yandex SmartCaptcha
- Добавлена информация о вариантах заданий.
Yandex WebSQL
- Добавлена «История изменений» за июль и август.
Бессерверные вычисления
Yandex API Gateway
- Добавлена информация об интеграции с Yandex Smart Web Security.
- Добавлена информация об интеграции с YandexGPT.
- Добавлено практическое руководство по использованию Yandex API Gateway для настройки синтеза речи в Yandex SpeechKit.
Yandex Cloud Functions
- Добавлен раздел Разработка на Kotlin.
Yandex Cloud Postbox
- Добавлена пошаговая инструкция по записи логов в журнал выполнения в Yandex Cloud Postbox.
Yandex Managed Service for YDB
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for OpenSearch в Yandex Managed Service for YDB с помощью Data Transfer.
Yandex Object Storage
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for YDB в Yandex Object Storage с помощью Yandex Data Transfer.
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer.
Безопасность
Yandex Audit Trails
- Добавлена «История изменений» за II квартал 2024.
Yandex Identity and Access Management
- Добавлена информация о публичных группах.
- Обновлена информация о системных группах.
- Обновлён Список ресурсов, на которые можно назначать роли.
Yandex Lockbox
- Обновлён раздел Правила тарификации: добавлены примеры расчета стоимости.
Yandex SmartCaptcha
- Добавлена информация о вариантах заданий.
Мониторинг и управление ресурсами
Yandex Cloud Organization
- Добавлено практическое руководство по сопоставлению групп пользователей в Microsoft Active Directory Federation Services.
Yandex Identity and Access Management
- Добавлена информация о публичных группах.
- Обновлена информация о системных группах.
- Обновлён Список ресурсов, на которые можно назначать роли.
Yandex Monitoring
- Обновлён Справочник метрик: добавлены метрики Yandex Cloud Backup.
Машинное обучение
Yandex DataSphere
- Добавлено практическое руководство по развертыванию gRPC-сервиса на основе Docker-образа.
- Добавлено руководство по решению проблем с зависимостями в Yandex DataSphere.
- Обновлена информация о вычислениях на кластерах Apache Spark™ и работе с временными кластерами Yandex Data Proc.
Yandex SpeechKit
- Добавлено практическое руководство по асинхронному распознаванию аудиофайлов с помощью API v3.
- Добавлено практическое руководство по использованию Yandex API Gateway для настройки синтеза речи в Yandex SpeechKit.
- Обновлён раздел Начало работы со SpeechKit.
- Обновлён раздел «История изменений» в сервисе распознавания речи Yandex SpeechKit.
Yandex SpeechSense
- Добавлена информация о словарях для тегов в диалогах.
- Добавлены пошаговые инструкции по управлению словарями.
- Обновлён раздел Правила тарификации.
Бизнес-инструменты
Yandex Cloud Desktop
- Добавлен Справочник API.
Yandex DataLens
- Добавлена «История изменений» за июль.
- Описан пример добавления иерархии.
- В таблицу прав доступа добавлена информация о необходимых правах для переименования папки.
- Добавлены описания ошибок ERR.DS_API.FORMULA.PARSE.UNEXPECTED_TOKEN и ERR.FILE.CANNOT_UPDATE_DATA.
- Дополнено описание ошибки ERR.DS_API.SOURCE_CONFIG.TABLE_NOT_CONFIGURED.
- Добавлено описание настройки селектора «Размещение заголовка».
- Добавлена информация о ролях, необходимых для привязки платежного аккаунта.
- Добавлена инструкция по отключению возможности публикации объектов.
Другие обновления
Интерфейс командной строки
- Обновлён Справочник CLI.
- Обновлён раздел Релизы CLI.
Обзор платформы Yandex Cloud
- Добавлен раздел Сопоставление с платформой VMware.
- Добавлено описание термина SASL в разделе «Облачная терминология».
Партнерская программа Yandex Cloud
- Добавлена информация о ролях, необходимых для привязки облака клиента к партнерскому сабаккаунту.
- Обновлена инструкция по регистрации нового партнера.
Практические руководства платформы Yandex Cloud
- Добавлено практическое руководство по автоматической привязке политики резервного копирования Yandex Cloud Backup к ВМ.
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for YDB в Yandex Object Storage с помощью Yandex Data Transfer.
- Добавлено практическое руководство по работе с топиками Apache Kafka® с помощью PySpark-заданий в Yandex Data Proc.
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for OpenSearch в Yandex Managed Service for YDB с помощью Data Transfer.
- Добавлено практическое руководство по настройке политики индексов в Yandex Managed Service for OpenSearch.
- Добавлено практическое руководство по загрузке данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer.
- Добавлено практическое руководство по копированию данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer.
- Добавлено практическое руководство по использованию Yandex API Gateway для настройки синтеза речи в Yandex SpeechKit.
- Добавлено практическое руководство по миграции данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer.