Все новости сервисов Yandex Cloud — в одном дайджесте. Читайте в этом выпуске: новые Terraform‑модули, асимметричная криптография в Key Management Service, расширенная программа образовательных курсов и многое другое.
12 сентября 2023 г.
15 минут чтения
За последний месяц мы добавили ряд улучшений в сервисы Yandex Cloud, а также обновили и расширили функциональность некоторых сервисов. Сегодня в одном дайджесте рассказываем обо всех релизах, нововведениях в сервисах и возможностях платформы.
Окончание поддержки PostgreSQL версии 11 в Yandex Managed Service for PostgreSQL, два новых бесплатных курса «Витрина данных для веб‑аналитики в ClickHouse®» и «Основы работы с DataLens», возможность резервирования ресурсов для Managed Service for Greenplum и Managed Service for OpenSearch, Data Transfer стал доступен в мобильном приложении Yandex Cloud, а также последние новости группы сервисов «Платформа данных». О других изменениях, которые мы добавили в сервисы ранее, читайте здесь.
С 14 августа 2023 года прекращается поддержка PostgreSQL версии 11 в Yandex Managed Service for PostgreSQL. Создавать новые кластеры этой версии будет невозможно. Мы планируем автоматическое обновление кластеров версии 11 до версии 12, начиная с 12 сентября 2023 года. Доступно самостоятельное обновление, с учётом наших рекомендаций.
На бесплатном курсе вы погрузитесь в интерактивную историю в роли аналитика данных и попробуете себя в роли аналитика в онлайн‑магазине, изучите данные из разных источников и автоматизируете их загрузку в хранилище, разработаете хранилище данных на основе ClickHouse, соберёте дашборд в DataLens для визуализации и мониторинга и т. д. Курс будет полезен практикующим аналитикам и инженерам данных уровня junior или middle.
На курсе вы научитесь подключаться к данным и создавать подготовленные источники данных. Также вы создадите селф‑сервис‑датасет для команды категорийных менеджеров, разберётесь с функциональностью и особенностями DataLens, узнаете, как работать со сложными формулами и использовать параметры, ознакомитесь с практиками решения сложных аналитических задач в инструменте и решите реальные аналитические кейсы с помощью DataLens.
Мы добавили возможность резервирования определённого объёма ресурсов для Managed Service for Greenplum и Managed Service for OpenSearch. Получить скидку до 22% могут все пользователи платформы с 1 августа 2023 года. Стоимость ресурсов не изменится на протяжении всего срока действия предложения.
Подключить резервируемое потребление для сервисов Managed Service for Greenplum® и Managed Service for OpenSearch очень легко: в консоли управления достаточно выбрать срок и дату начала действия предложения. Подробную инструкцию вы найдёте в нашей документации.
Обновили инструкцию по работе с Delta Lake в Yandex Data Processing, добавив в неё детали по запуску Delta Lake 9.3 поверх образа Yandex Data Processing 2.1.4 (Spark 3.3.2).
Также вы можете запустить и приостановить необходимые трансферы, что делает управление потоками данных ещё быстрее.
Если у вас пока нет мобильного приложения Yandex Cloud, то его можно установить из App Store и Google Play.
Yandex Scale 2023: регистрация открыта!
Yandex Scale — ежегодная и самая масштабная конференция Yandex Cloud, где бизнес и технологии говорят на одном языке. Регистрируйтесь и добавляйте событие в календарь.
Кратко о последних новостях сервисов для разработки и администрирования контейнерных приложений: опубликован скрипт сбора диагностической информации с узлов Managed Service for Kubernetes и обновление в Managed Service for GitLab.
Managed Service for Kubernetes
Команда Support Yandex Cloud опубликовала в GitHub скрипт сбора диагностической информации с узлов Yandex Managed Service for Kubernetes, который рекомендуем использовать перед заведением тикетов (обращений).
В раздел «Документация» добавлен подраздел «История изменений в Yandex Managed Service for Kubernetes», в котором мы будем собирать всю информацию о релизах и изменениях в сервисе Yandex Managed Service for Kubernetes.
Новые возможности инструментов для визуализации и организации работы уже можно испытать в деле. Читайте, какую функциональность мы добавили в Tracker, Forms и Wiki.
Tracker
Дополнили страницы задач и очередей информацией о привязанных коммитах из систем хранения кода.
Обновили страницу привязки репозиториев для возможности добавлять собственные репозитории (на своих серверах) без обращения в поддержку.
Включили цветовую индикацию типов задач в списках задач и теперь отображаем закрытыми не только задачи с резолюцией, но и задачи с финальными статусами без резолюций.
Для работы по гибким методологиям на досках сделали возможным устанавливать WIP‑лимиты по группам (не только по колонкам на доске). Появилась возможность произвольной сортировки групп по любым полям для создания приоритетных групп и их произвольного ранжирования. Появилась возможность перетаскивания задач между группами (помимо колонок).
Реализовали возможность построения критического пути проекта и использовать цвета на диаграме Ганта на основе типов статусов.
Forms
Реализован новый интерфейс заполнения форм. В нём страницы опроса выглядят современнее, а работают быстрее и надёжнее.
Появилась тёмная тема, обновился дизайн страницы с результатами опроса. Кроме того, в опросе теперь сохраняются введённые значения на случай, если пользователь закрыл страницу.
Добавили три новых образа в Yandex Cloud Marketplace: операционную систему Роса Хром Сервер, платформу для автоматизации рекрутмента T1 TalentForce и OSS Core — платформа для автоматизации тестирования продуктов на базе open source.
T1 TalentForce
T1 TalentForce — гибкий инструмент для бизнес‑заказчиков, рекрутеров и кандидатов. Он позволяет реализовать логику взаимодействия со всеми участниками подбора в единой системе. С помощью TalentForce можно настроить личный кабинет для каждого кандидата и упростить процесс пребординга, а также создавать табличные отчёты под свои потребности.
Роса Хром Сервер
Роса Хром Сервер — минималистичный серверный дистрибутив Linux. Эта операционная система построена на базе собственной программной платформы ROSA 2021.1 и прошла полный цикл разработки и сборки ABF. Роса Хром технологически совместима с другими сертифицированными продуктами производства ООО «НТЦ ИТ РОСА», что позволяет легко строить инфраструктуру любой сложности с разными контурами безопасности.
OSS Core
OSS Core предназначен для поиска и устранения функциональных дефектов и уязвимостей в коде компонентов. Кроме того, решение подходит для автоматизации тестирования 100% объёма заимствованного кода для аудита безопасности и доработки в процессе эксплуатации, а также защиты инфраструктуры от эксплуатации Open Source Supply Chain уязвимостей.
Асимметричная криптография теперь доступна в Key Management Service. Рассказываем, где применяется эта схема шифрования и в каких сценариях её можно использовать. А также приглашаем пройти наши бесплатные курсы — недавно мы обновили программу обучения информационной безопасности.
В Key Management Service теперь доступна асимметричная криптография. Использование асимметричной криптографии предполагает работу с ключевыми парами, состоящими из открытого (публичного) и закрытого (приватного) ключей.
Для шифрования данных используется публичный ключ, а для расшифровки — приватный. Подпись данных осуществляется с применением приватного ключа, а её проверка — при помощи доступного всем публичного ключа.
Key Management Service позволяет выгрузить открытый ключ, чтобы его можно было распространять и шифровать с его помощью данные на стороне клиента или проверять выработанную электронную подпись.
Расшифровка данных, зашифрованных открытым ключом, и подписание данных при помощи схем ЭП производится на закрытом ключе в сервисе Key Management Service. Прямой доступ к закрытому ключу и его извлечение из сервиса не допускаются.
Где применяется асимметричная криптография
Асимметричные ключи обычно используются для шифрования небольших объёмов данных (например, симметричных ключей или иных секретов).
При использовании асимметричных ключей в шифровании кто угодно, используя отрытый ключ, может зашифровать сообщение, но расшифровать его может только обладатель закрытого ключа (адресат).
Для подписания больших объёмов данных, например образов контейнера, используется предварительное хэширование:
Сначала нужно вычислить хэш контейнера и загрузить его в Key Management Service.
В сервисе с помощью закрытого ключа создаётся подпись по хэшу данных.
Далее подпись передаётся адресату вместе с контейнером, и тот может проверить с помощью открытого ключа, что данные получены в неизменном состоянии.
Новую функциональность можно использовать в следующих сценариях:
Envelope encryption — шифрование симметричного ключа DEK публичным ключом. Например, если нужно передать в зашифрованном виде большой объём данных, их можно быстро зашифровать на симметричном ключе, а сам ключ — асимметричным.
Шифрование коротких сообщений и токенов. Например, со стороны клиентского приложения мы шифруем секрет (IAM‑токен, пароль и пр.), и приложение этот секрет передает в зашифрованном виде в сервис облака, где он уже расшифровывается на приватном ключе.
Подпись небольших файлов, например скриптов.
Офлайн проверка подписи данных.
Офлайн шифрование данных (вне облака).
Подробнее о работе с асимметричными ключами в Key Management Service читайте в документации.
Начните обучение сегодня
Углубите свои знания по интересующему направлению, научитесь работать с сервисами Yandex Cloud и примените полученный опыт в своих рабочих задачах.
Добавили два Terraform-модуля для Yandex Cloud и обновили бэкенд экспорта метрик в формате Prometheus для Yandex Monitoring. Подробнее — читайте под катом.
Модули Terraform — это готовые наборы файлов с настройками для облачных сервисов, которые упрощают работу DevOps‑инженеров. Также модули помогают избегать дублирования кода. Модули Terraform для сервисов Yandex Cloud доступны на GitHub.
Недавно мы добавили ещё два новых модуля: для Yandex Object Storage и стартовый Terraform‑модуль для Yandex Cloud.
Модуль для Yandex Object Storage
Предназначен для простого создания и настройки бакетов и позволяет создавать шаблоны политик доступа к бакетам, объектам и группам объектов. Модуль упрощает создание учётной записи с разрешениями storage.admin для создания бакета, а также облегчает работу с KMS, Yandex Certificate Manager и другими сервисами.
Список функций модуля S3 также включает:
создание ключа KMS для шифрования данных и сертификата HTTPS для бакета;
создание самого бакета, применение политики;
применение Bucket Policy для Yandex Cloud Console, настройка правил CORS;
применение предопределённых ACL или предоставление пользовательских разрешений;
включение хостинга веб‑сайтов;
включение управления версиями, жизненного цикла и блокировки объектов;
включение ведения журнала и шифрования на стороне сервера.
Стартовый Terraform‑модуль для Yandex Cloud
С его помощью вы можете создать облако, привязать его к биллинг‑аккаунту, создать каталоги и, при необходимости, группы для управления этим облаком и каталогами.
Функциональность модуля включает:
создание нового облака или использование существующего;
создание облачных папок;
создание организационных групп и добавление пользователей в них;
назначение облачных разрешений группе и прав доступа к папкам.
Новый бэкенд ускорит экспорт метрик в десятки раз. Сейчас все клиенты Yandex Cloud уже переключены на новый бэкенд. Со стороны пользователей ничего менять не нужно, URL для подключения Prometheus остался прежним.
Новые высокопроизводительные SSD-диски network-ssd-io-m3 теперь доступны всем пользователям платформы. Высокопроизводительные SSD-диски — это высокий IOPS и гарантия надёжности. Кроме того, они подходят для размещения высоконагруженных приложений: до 75 000 IOPS на диск (при соблюдении условий).
Системный образсодержит базовый набор актуальных версий популярных библиотек. Образ использует Python 3.10, Nvidia Cuda 11.8, Nvidia Driver 525. Это позволит приступить к работе над проектом в DataSphere не тратя время на сбор кастомного окружения.
Чтобы использовать новый образ, измените системный образ проекта. Как это сделать, смотрите по ссылке.
Наш партнёр IT Summa разработал фреймворк, который уменьшает трудозатраты при работе с облаком почти вдвое. Читайте далее, о ключевых особенностях решения и его возможностях.
Компания ITSumma — сертифицированный партнёр Yandex Cloud Professional в специализации Infrastructure & DevOps. Инструмент KulebiaC помогает DevOps и SRE‑инженерам примерно за 20–30 минут развернуть и описать рабочую инфраструктуру для стартапа или SaaS‑сервиса.
Решение основано на облачном инструментарии CDKTF (Cloud Development Kit for Terraform), в который портирован набор модулей, разработанных в ITSumma. Это помогает на 40% сократить трудозатраты на работу с Yandex Cloud.
Используя KulebiaC, инженеры смогут гибко работать со вложенными итерациями по массивам, создавать дополнительные вспомогательные провайдеры и использовать строгую типизацию для входных параметров модуля.
Ключевые особенности решения:
инфраструктура описывается в одном файле формата yaml;
отсутствуют проблемы при передаче значений и параметров;
нет необходимости регулировать порядок запуска;
инструмент лицензирован в соответствии с условиями Apache License 2.0.
Сейчас KulebiaC поддерживает:
все основные сервисы Yandex Cloud в качестве провайдера;
модули для быстрого подключения популярных баз данных: MySQL, MongoDB, ClickHouse, Redis;
создание и конфигурацию хранилища секретов Yandex Lockbox;
развёртывание SPA с использованием S3.
Ознакомиться с GitHub KulebiaC и примерами его использования можно по ссылке.
Подпишитесь на наш канал в Telegram и следите за новостями Yandex Cloud.