Дайджест новостей платформы данных (январь — март)

Рассказываем, что нового появилось в сервисах платформы данных с января по март 2022 года.

Общие новости

С 13 апреля мы пересмотрели стоимость услуг в рублях на сервисы платформы данных. Подробнее →

В документацию сервисов добавлены страницы «История изменений», в которых мы будем регулярно обновлять информацию о новых возможностях наших продуктов.

Managed Service for PostgreSQL

• Версия PostgreSQL 14 доступна при создании кластера.

• Новые расширения: pgcompacttable, clickhouse_fdw, orafce. Подробнее →

• Добавлена возможность создания новой базы из шаблона (только из UI консоли, в ближайшее время появится поддержка в CLI, Terraform.

Managed Service for Greenplum^®

14 марта сервис Managed Service for Greenplum^® перешёл в общий доступ. Теперь для него действует соглашение об уровне обслуживания (SLA) и правила тарификации. Подробнее →

Для вашего удобства мы добавили калькулятор расчета рекомендуемой конфигурации и оценки стоимости. Также на нашем сайте доступна запись с прошедшего митапа Greenplum Community Meetup, где рассказали о том, как сделали сервис, и об опыте первого крупного пользователя сервиса «М.Видео-Эльдорадо».

Другие новости:

• Доступна новая версия 6.19 с исправлением известных ошибок.
• Добавлена возможность скрывать содержимое external tables.
• Появилась возможность изменения размера хранилища, в том числе для быстрого локального хранилища.

Managed Service for MySQL^®

Добавлены:

• Настройка innodb_strict_mode.
• Настройка max_digest_length. Настройка применяется с рестартом кластера.
• Возможность задавать приоритет выбора мастер хоста в случае смены мастера. Доступно в UI консоли и CLI.

Managed Service for ClickHouse

Доступна новая версия ClickHouse 22.3 LTS. Основные изменения по сравнению с версией 21.8 LTS:

• ClickHouse Keeper — встроенный сервис координации, позволяющий создавать отказоустойчивые кластеры без хостов ZooKeeper.

• Пользовательские функции.

• Новый тип данных JSON для эффективного хранения слабоструктурированных данных.

• Автоматический вывод схемы при чтении и записи данных через табличные функции s3, hdfs, url.

• Асинхронные вставки, позволяющие выполнять INSERT запросы с большой частотой и параллелизмом.

• Проекции для визуализации данных.

• Операторы ANY, ALL, EXCEPT, INTERSECT.

• Системная таблица session_log.

• Оптимизация производительности.

С полным списком изменений можно ознакомиться в changelog.

Добавлены:

• Восстановление шардированного кластера из резервной копии целиком. Доступно только через CLI.

• Изменение настройки публичного доступа.

Managed Service for Redis^™

Добавлены:

• Создание кластеров с публичным доступом. Включение или изменение настройки публичного кластера доступно доступна на уровне хоста и только для кластеров с включенным TLS.

• Управление настройкой персистентности. Отключение персистентности увеличивает производительность кластера, но повышает риск потери данных. Подробнее →

Managed Service for Apache Kafka^®

• Доступна новая версия Kafka 3.0.

Yandex Data Proc

Добавлены:

• Создание кластеров на сетевых нереплицируемых дисках размером до 8ТБ. Нереплицируемые диски устроены существенно проще стандартных сетевых хранилищ SSD. Благодаря этому производительность нереплицируемых дисков выше в несколько раз. С существующими ограничениями дисков можно ознакомиться в документации.

• Возможность отменить задания через UI-консоль, CLI. Подробнее →

• Номер сборки в версии кластера при создании. Теперь каждое новое обновление будет выпускаться с новым номером сборки.

• Передача параметров packages, repositories, exclude_packages для заданий spark и pyspark, которые позволяют скачивать дополнительные зависимости и пакеты с внешних репозиториев и исключить какие-то из них. Возможность доступна в UI-консоли и CLI.

DataLens

Переезд DataLens на Yandex Cloud Organization

При первом входе в DataLens для вас будет создана организация с активированным в ней DataLens. Если же вы ранее пользовались DataLens в облаке внутри каталога, DataLens продолжит работу по-старому. Позже будет добавлена возможность миграции DataLens из каталога в облаке на уровень организации. Документация →

Инспектор чартов

Позволяет увидеть SQL-запросы, отправляемые в БД, а также получить информацию о времени отрисовки чарта.

Новая легенда и расширенные селекторы

• Новая легенда для чартов. Работает аналогично Grafana. Клик по элементу теперь оставляет только выбранное значение на графике. Для выбора нескольких значений используйте Ctrl/CMD.

• Новые расширенные селекторы на дашбордах. Теперь можно:

• использовать новые операторы сравнения («больше», «меньше», «содержит…», «начинается…», и др.);

• задавать селекторы не только для измерений, но и для показателей.

Подробнее →

Новая навигация

Новая навигация Yandex Cloud стала доступна для включения всем пользователям. Включить можно во вкладке «Эксперименты» в настройках облака.

В DataLens добавлено более эффективное использование пространства экрана при работе с дашбордами и чартами, а также возможность работать с настройками сервиса, не переходя в консоль облака.

Автообновление дашбордов

Доступна первая версия автообновления дашбордов:

• минимальный период — 30 секунд;

• выполняется только для открытой в браузере вкладке.

Также мы собрали в одном посте для нашего телеграм-комьюнити все полезные ссылки для знакомства с DataLens (https://t.me/YandexDataLens/12296) и  его изучения, а также записали видео-инструкцию о том, как начать работу с сервисом.