Дайджест новостей платформы данных (октябрь — декабрь)

Общие новости

• Появились новые CPU-Optimized классы хостов с уменьшенным соотношением количества RAM к vCPU (2:1). Такие конфигурации могут быть полезны для кластеров с повышенными требованиями к производительности процессора.

• Изменение политики обслуживания управляемых сервисов: теперь обслуживание будет проводиться и для выключенных кластеров. Это нужно для установки важных обновлений, в том числе связанных с безопасностью (CVE), и не повлияет на потребление ресурсов.

• Экспресс-курс «Построение корпоративной аналитической платформы». Архитекторы Yandex.Cloud подготовили бесплатный курс, который позволит вам разобраться, как организовать сбор и анализ данных в компании для организации внешнего хранилища данных.

Managed Service for Greenplum^®

• Работа с внешними источниками данных через PXF. Доступно подключение таблиц следующих внешних источников: Apache Hive, ClickHouse, HBase, HDFS, MySQL, Oracle, PostgreSQL, SQL Server, бакеты Object Storage. Подробнее →

• Создание кластера на группе выделенных хостов. Подробнее →

• В UI консоли стали доступны логи событий на кластере: ошибки, предупреждения, информация.

• Реализовали возможность изменения класса хоста существующего кластера.

• Создана роль mdb_admin, в которой можно управлять данными других пользователей и создавать расширения. Для неё резервируются дополнительные соединения как для суперпользователя.

• Внесены изменения, необходимые для корректной работы Point-in-time-recovery:

• https://github.com/greenplum-db/gpdb/pull/12424

• https://github.com/greenplum-db/gpdb/pull/12785

• Обнаружены ошибки, приводившие к падению кластера, и отправлены pull request на их исправление.

Managed Service for SQL Server^™

Новые возможности сервиса:

• Поддержка версий SQL Server 2017, SQL Server 2019.

• Процедуры для обслуживания баз данных.

• Процедуры для управления пользовательскими сессиями.

Managed Service for Elasticsearch

• В Yandex Managed service for Elasticsearch появилась возможность добавления hunspell словарей в анализаторы текста через API. Подробнее →

Managed Service for Redis^™

• Реализовали переключение мастера для шардированного и нешардированного кластера. Подробнее →

• Стало доступно обновление кластера с версии 6.0 на 6.2.

Managed Service for MongoDB

• Поддержка новой версии MongoDB 5.0. Подробнее →

• Возможность обновления с версии 4.4 на 5.0.

Managed Service for PostgreSQL

• Новые расширения hypopg, pg_qualstats для диагностики производительности запросов. Подробнее →

• Доступно изменение настроек публичного доступа. Подробнее →

• Исправлены ошибки в работе CREATE INDEX CONCURRENTLY:

• https://github.com/postgres/postgres/commit/fdd965d074d46765c295223b119ca437dbcac973

• https://github.com/postgres/postgres/commit/3cd9c3b921977272e6650a5efbeade4203c4bca2

• В модуль pg_stat_kache добавлены функции анализа нагрузки в зависимости от параметров запросов.

• Устранены уязвимости CVE-2021-23214 и CVE-2021-23222.

• Добавили возможность пробрасывать search_path и некоторых других опций строки соединения в odyssey. Подробнее →

Yandex Data Proc

Рассказали об использовании sqoop и подготовили четыре нововведения:

• Создание master-ноды с публичным IP адресом. Это позволяет подключаться к кластеру не только из той же сети. Безопасность обеспечивается с помощью групп безопасности. Подробнее →

• Отправка логов yarn-контейнеров в cloud logging. Подробнее →

• Использование внешних зависимостей для spark и pyspark заданий с помощью новых опций —packages, —repositories и —exclude-packages. Подробнее →

• Новые настройки в airflow provider. Подробнее →

Managed Service for MySQL^®

• Приоритеты хостов для бекапов. Теперь среди реплик будет выбран хост с наибольшим приоритетом, а если не получится, то будет выбран мастер.

• Изменение настроек публичного доступа. Подробнее →

Managed Service for Apache Kafka^®

• Поддержка компонентов Kafka Connect для непрерывной миграции данных в кластер или из него. Подробнее →

• Terraform: теперь можно топики описывать через отдельный ресурс yandex_mdb_kafka_topic.

• Добавили поддержку обновления версий кластеров.

Managed Service for ClickHouse

• ClickHouse Keeper — новый сервис для репликации данных и выполнения распределенных DDL-запросов, реализующий совместимый с ZooKeeper клиент-серверный протокол. В отличие от ZooKeeper, ClickHouse Keeper не требует для своей работы отдельных хостов, а выполняется на хостах ClickHouse, поэтому такая отказоустойчивая конфигурация обойдется дешевле. Включить поддержку ClickHouse Keeper можно только при создании кластера. Функциональность находится в режиме Preview. Подробнее →

• Для кластеров с гибридным хранилищем появились дополнительные storage policies: «local» и «object_storage». Политика «local» позволяет хранить данные только на локальном/сетевом диске, а политика «object_storage» — только в объектном хранилище. Возможность хранения данных в гибридном хранилище доступна всем пользователям.

DataLens

• Навигатор для линейных и областных диаграмм с настройками. Навигатор — элемент управления отображения периода даты на графике. Теперь вы можете настраивать его состояние по умолчанию и указывать линию для отображения в навигаторе.

• Формы линий. В линейных диаграммах появилась новая секция для управления типами линий. Можно использовать аналогично цвету — добавлять туда измерения или явно задавать тип линии для конкретных показателей.

• Обновления в маркетплейсе:

• Коннектор к МойСклад. Коннектор выгружает данные из сервиса МойСклад для построения аналитических отчетов в DataLens. Данные в отчетах обновляются автоматически по расписанию.

• ДТП по данным пользователей Яндекса. Обновляемый датасет и дашборд с данными о точках ДТП в Москве, которые добавили пользователи Яндекс.Карт и Яндекс.Навигатора.

• Подготовили большой публичный функциональный демо дашборд с примерами. Развернуть редактируемую копию в свой аккаунт DataLens можно через Marketplace.

• Запустили интерактивный тест на VC. Проверьте, какой вы аналитик.

• Собрали частые вопросы и ответы по сервису и добавили новый раздел с ошибками и рекомендациями по их устранению.