Продуктовый дайджест Yandex Scale 2024

Добавили в сервис для глубокого анализа голосовых и текстовых каналов коммуникации с клиентами Yandex SpeechSense новые функции:

• Поддержка enterprise-чатов: теперь можно эффективно обрабатывать диалоги с участием нескольких операторов, сохраняя детали беседы, и тщательнее анализировать переписку в чатах с учётом длины диалога, продолжительности пауз и скорости набора текста.

• GPT-анализ диалогов: Yandex SpeechSense с помощью YandexGPT предлагает два типа анализа диалогов. Семантический помогает оценить качество работы оператора и поведение клиента во время разговора. Классическая суммаризация определяет тему, причины, итоги и эмоциональную составляющую диалога. Быстрый поиск по темам позволяет находить похожие диалоги.

• Продвинутый конструктор тегов позволяет создавать многоуровневые деревья тем с основными и зависимыми тегами. Ещё можно задавать области срабатывания тегов, что особенно полезно при обработке возражений.

• Нейроотчёты (Preview): генеративная модель сервиса с высокой точностью определяет ключевые темы диалогов, помогает проанализировать полученные данные и подготовить отчёты по заданным нейропараметрам. Доступны в режиме Preview.

В техническом руководстве собрали основные аспекты безопасности ML-сервиса для его интеграции и использования в бизнес-приложениях.

SourceCraft — новая платформа от Яндекса для комплексной разработки программных продуктов, охватывающая все этапы: создание исходного кода, управление версиями, тестирование, сборка, развёртывание и сопровождение.

Первым элементом платформы станет Yandex Code Assistant — AI-помощник для работы с кодом. Он поддерживает более 30 языков программирования и совместим с популярными редакторами кода через плагин для VS Code. Анализирует контекст и предлагает релевантные варианты кода, генерируя 95% подсказок со скоростью до 400 миллисекунд. Сервис работает в двух режимах: inline completion — предлагает варианты во время написания кода, и full-function completion — генерирует целые функции.

Платформа SourceCraft находится в разработке, запуск запланирован на начало 2025 года. Чтобы следить за новостями, присоединяйтесь к сообществу SourceCraft и добавляйтесь в лист ожидания, заполнив форму.

Эскалации в Yandex Monitoring позволяют настраивать последовательность шагов уведомлений при срабатывании оповещений. Как способ уведомления можно использовать Yandex Cloud Functions, Telegram, пуши, электронную почту, СМС и звонки. Yandex Monitoring интегрирован с Yandex Audit Trails для отслеживания событий безопасности на дашборде. А инструменты Yandex Smart Web Security помогают отслеживать трафик и логировать события, обеспечивая более детальный контроль за безопасностью и производительностью.

Yandex Managed Service for GitLab теперь включает функцию Yandex Managed Runners (Technical Preview), которая упрощает и автоматизирует процессы непрерывной интеграции и доставки (CI/CD) с помощью GitLab Runner — приложения-агента, запускающего задачи CI/CD, определённые в проекте GitLab^®. Yandex Managed Runners автоматически разворачивается в инфраструктуре пользователя и поддерживает автоскейлинг, поэтому её не нужно настраивать вручную.

Также пользователи могут отслеживать метрики инстансов (CPU, RAM, дисковое пространство) через Yandex Monitoring, настраивать оповещения и создавать панели для визуализации данных.

• Дата последнего использования ключей: теперь отображается дата, когда ключи использовались в последний раз. Это помогает выявлять неактивные ключи и повышать безопасность.

• Дата последней аутентификации: теперь отображаются даты последней аутентификации сервисного аккаунта. Можно отслеживать, когда в последний раз была пройдена проверка подлинности, и контролировать активность аккаунтов.

• Скопированные API-ключи: появилась возможность создавать API-ключи с ограниченным сроком действия или доступом к определённым сервисам, что улучшает контроль доступа.

• Meta-группы: добавили новые типы системных групп со всеми пользователями конкретной федерации или всей облачной организации. Благодаря этому появилась возможность добавлять доступ большому числу пользователей, не открывая публичный доступ к облачным ресурсам.

• OS Login: сервис централизованного управления доступом к виртуальной машине по SSH через IAM стал доступен для всех (GA).

• Workload Identity Federation: позволяет настроить OpenID Connect для безопасного обращения к API Yandex Cloud из сторонних систем без долгоживущих ключей.

• WAF (Web Application Firewall): защита от эксплуатации уязвимостей веб-приложений теперь доступна для всех пользователей, вышла из стадии тестирования и включает тарифы и SLA.

• ARL (Advanced Rate Limiter): ограничение нагрузки на приложения с возможностью устанавливать лимиты на количество HTTP-запросов за определённый период времени. Теперь доступен для всех пользователей, вышел из стадии тестирования и включает тарифы и SLA.

• Чёрные и белые списки IP-адресов: управление трафиком и создание правил безопасности на основе списков IP с использованием репутационного анализа IP-адресов.

• Отправка логов в Audit Trails: позволяет автоматически отправлять расширенные логи событий по срабатываниям WAF и ARL в Audit Trails для улучшенного мониторинга и управления инцидентами безопасности.

Появилась настройка показа капчи для определённых IP, стран и устройств. Теперь для определённого среза трафика можно настраивать капчу с разными параметрами — типами основного и дополнительного заданий, уровнем сложности и внешним видом.

Запустили новый экзамен для специалистов по информационной безопасности, работающих с платформой Yandex Cloud. Он рассчитан на тех, кто имеет минимум год опыта в сфере ИБ и решает практические задачи по защите облачных систем. Для получения статуса сертифицированного специалиста нужно успешно сдать экзамен из 75 вопросов.

Добавили новые возможности в Yandex Cloud Functions — сервис, который позволяет запускать код в виде функций в безопасной, отказоустойчивой и автоматически масштабируемой среде, без необходимости создавать и поддерживать виртуальные машины. Теперь максимальное время выполнения функций увеличено с 10 до 60 минут, расширены возможности по выделению ресурсов: максимальное количество ядер выросло с 2 до 4, а память — с 4 до 8 ГБ. Это улучшает работу с редкими и долгими запросами.

Добавили предварительный прогрев: раньше среда исполнения worker создавалась при входящем запросе, теперь это может производиться заранее, чтобы сократить время запуска функций и повысить производительность при высоких нагрузках. Можно монтировать эфемерное хранилище в функции и контейнеры с дисковым пространством до 10 ГБ и скоростью, сопоставимой с NBS. Монтировать такой диск можно в режиме Preview, возможность доступна по запросу через техническую поддержку.

Обновили сервис для управления метаданными Yandex MetaData Hub. Превью компонента Schema Registry теперь позволяет пользователям описывать схемы данных и устанавливать политику их эволюции.

Кроме того, стала доступна функция Hive Metastore, которая сохраняет метаданные таблиц между запусками временных вычислительных кластеров. Ключевая функциональность Yandex MetaData Hub — Data Catalog — станет доступна в первой половине 2025 года. С её помощью можно будет собирать описания данных и отслеживать зависимости между ними (lineage), организуя управление метаданными в едином каталоге.

С 16 сентября сервис Yandex Managed Service for Apache Airflow для управления оркестрацией потоков данных стал доступен всем пользователям. Он интегрирован с Yandex Cloud и предлагает дополнительную функциональность по сравнению с self-hosted-версиями. Теперь для него установлены тарифы и гарантии SLA.

• Безопасное встраивание непубличных дашбордов. Разработчики и аналитики могут безопасно встраивать не только чарты, но и дашборды в аналитические продукты — в CRM или корпоративные порталы — для отображения ключевых показателей.

• Конструктор отчётов и презентаций. В Yandex DataLens теперь можно создавать многостраничные документы для регулярных встреч или отправки клиентам. Добавили возможность работы со слоями, изменения ориентации и размера страниц, добавления текста и комментариев. Экспорт документов доступен в формате PDF.

• Контроль публикаций. Функциональность будет полезна для команд аналитики, которым важно иметь прозрачность работы с корпоративными или чувствительными данными. В настройках DataLens можно просматривать список опубликованных объектов и отключать возможность их размещения для всего экземпляра.

• Расширены возможности интерактива. Появилась возможность закреплять селекторы и столбцы таблиц. Поддержана разметка в подписях на чартах.

• Поддержка групп в RLS. При настройке RLS в датасете теперь можно указывать не только конкретных пользователей, но и группы, используя синтаксис. Пример: @group:<название группы>.

• Подключение к Connection Manager. Эта функциональность Yandex MetaData Hub позволяет безопасно сохранять реквизиты подключений к базам данных, управлять доступом к ним и выполнять ротацию паролей.

Теперь пользователи могут выполнять транзакционную передачу данных между потоками YDS, а также между потоками YDS и строковыми таблицами YDB. Добавлена функция автоматического масштабирования потоков данных при увеличении скорости записи с сохранением порядка чтения, гарантией exactly-once-записи и доступности. Также улучшена совместимость с протоколом Apache Kafka^®.

Теперь Yandex Message Queue поддерживает актуальную версию протокола AWS SQS. Это даёт возможность пользователю бесшовно мигрировать с AWS SQS XML в Yandex Cloud.

Добавили поддержку Managed Service for Greenplum и Managed Service for MySQL, функцию IntelliSense для упрощения написания запросов, а также автоматическое определение имён и типов колонок данных из Object Storage. Теперь Yandex Query совместим с YDB. Это обеспечивает поддержку YDB SDK, множества языков программирования, а также интеграцию с DBeaver, DataGrip, Airflow, Jupyter Notebooks и DataSphere.

Появились новые инструменты и оптимизации производительности: стоимостной оптимизатор, спиллинг и массивно-параллельная обработка данных векторным движком. Совместно с функциональностью партицирования колоночных таблиц это позволит применять YDB в сценариях, где нужно обрабатывать большие объёмы данных. При этом наличие Workload Manager помогает избежать конфликтов между нагрузками, защищая регулярные и приоритетные запросы. Также в режиме альфа-версии можно выполнять аналитические запросы в синтаксисе PostgreSQL с визуализацией в Apache Superset.

Добавили возможность точного векторного поиска. Он позволяет искать наиболее похожие слова, фразы, документы, изображения и аудиофайлы. Например, для улучшения качества работы голосового помощника, обогащая его данными диалога с пользователем. При этом результаты поиска используются в больших языковых моделях, сценариях семантического и мультимодального поиска и поиска по сходству, а также в механизме рекомендаций.

Добавили асинхронную репликацию. Она обеспечивает миграцию данных между базами данных YDB с минимальными простоями для приложений, работающих на них. Кластеры могут быть расположены в разных регионах.

В YDB добавили поддержку федеративных запросов, которые позволяют работать с данными из Greenplum, Microsoft SQL Server (MSSQL), MySQL, PostgreSQL, S3.

Теперь можно работать со строковыми таблицами и топиками YDB в рамках одной транзакции. И таким образом можно транзакционно перекладывать данные из таблиц в топики и в обратном направлении, а также между топиками, чтобы данные не терялись и не дублировались даже в случае непредвиденных обстоятельств.

Новая и уникальная для рынка функциональность YDB Topics — возможность настраивать автопартиционирование топиков. Теперь можно создать топик, число партиций в котором будет увеличиваться автоматически при росте скорости записи в топик. Увеличение числа партиций происходит прозрачно для пользователя с сохранением гарантий порядка чтения, exactly-once-записи и доступности без усилий со стороны пользователя.

Доработали веб-консоль, добавив настройки запросов, отображение плана аналитического запроса, шаблоны SQL-запросов и контекстно-зависимые подсказки в редакторе, дополнили документацию и упростили развёртывание кластеров.

Важные и необходимые улучшения: CREATE VIEW, уникальные вторичные индексы, автоматический выбор индекса, единый стримовый API для выполнения DDL и DML (QueryService), serial-тип данных.