Дайджест новостей за  октябрь–ноябрь

Международная ассоциация Cloud Security Alliance подтвердила уровень безопасности и защищенности Yandex.CloudМеждународная ассоциация Cloud Security Alliance подтвердила уровень безопасности и защищенности Yandex.Cloud

Yandex.Cloud прошла первый этап сертификации CSA и подтвердила уровень безопасности и защищенности в соответствии со стандартами безопасности международной ассоциации. Также платформа получила регистрацию в публичном реестре альянса Security, Trust, Assurance and Risk (STAR). Ранее мы уже подтвердили соответствие требованиям федерального закона 152-ФЗ.

Три суперкомпьютера Яндекса вошли в мировой рейтинг Top500Три суперкомпьютера Яндекса вошли в мировой рейтинг Top500

«Червоненкис», «Галушкин» и «Ляпунов» используют современные GPU NVIDIA^® A100, производительность которых увеличена в 2 раза в сравнении с предыдущими поколениями. При этом новый графический процессор обладает самой быстрой в мире пропускной способностью памяти — более 2 ТБ/с, что позволяет работать с крупными моделями и наборами данных.

Алексей Башкеев, руководитель платформы Yandex.Cloud, подробно рассказал, что такое суперкомпьютеры, зачем они нужны и как они помогают бизнесу решать задачи.

NVIDIA^® A100 80GB стали доступны в Yandex.CloudNVIDIA^® A100 80GB стали доступны в Yandex.Cloud

Графические процессоры NVIDIA^® A100 80GB обеспечивают быструю масштабируемость и подходят для обучения сложных ML-моделей, анализа данных и высокопроизводительных вычислений (HPC). Новое поколение GPU можно использовать не только в Compute Cloud, но и в сервисах Yandex DataSphere и Managed Service for Kubernetes^®.

Аналитическая платформа Loginom в Yandex.CloudАналитическая платформа Loginom в Yandex.Cloud

Рассказали в блоге, как с помощью Loginom — аналитической платфомы для создания законченных прикладных решений в области анализа данных — рационализировать затраты и получить дополнительную выгоду.

Новости сервисовНовости сервисов

Поиск в консоли и приложенииПоиск в консоли и приложении

Теперь вам не нужно переключаться между облаками и каталогами, чтобы найти нужную виртуальную машину или кластер — просто введите имя ресурса. Поиск осуществляется между облаками, по основным сервисам и в документации.

Yandex Managed Service for ClickHouseYandex Managed Service for ClickHouse

Добавлено гибридное хранилище, которое позволяет хранить часто используемые «горячие» данные на дисках сетевого хранилища, а редко используемые «холодные» данные — в Yandex Object Storage.

Yandex Compute CloudYandex Compute Cloud

Образы, оптимизированные для развертыванияОбразы, оптимизированные для развертывания

На стадии Preview вышли образы, которые можно оптимизировать для развертывания большого количества виртуальных машин. Скорость создания виртуальных машин из оптимизированных образов гораздо выше, чем из обычных — это позволяет моментально расширить мощности и задействовать на них необходимые вам инструменты из собственного образа.

Файловые хранилищаФайловые хранилища

На стадии Preview вышло файловое хранилище — виртуальная файловая система, которую можно подключать к нескольким виртуальным машинам Compute Cloud из одной зоны доступности. С файлами в хранилище можно работать совместно, с нескольких ВМ.

Yandex Cloud FunctionsYandex Cloud Functions

В общий доступ выложен плагин Yandex.Cloud Toolkit, который добавляет интеграцию с Yandex.Cloud в семейство IDE на платформе Intellij от JetBrains.

Бюллетени безопасностиБюллетени безопасности

Новый бюллетень безопасности рассказывает об уязвимости, обнаруженной в сентябре в Kubernetes^®, которая позволяла получать доступ к файловой системе ноды при авторизации пользователя в кластере.

Yandex Managed Service for Kubernetes не поддерживает анонимный доступ в кластер и не подвержен уязвимости со стороны внешнего нарушителя. Обновление, которое закрывает потенциальные уязвимости со стороны внутреннего нарушителя, доступно во всех релизных каналах.

Yandex Cloud MarketplaceYandex Cloud Marketplace

Новые продукты в маркетплейсе образовНовые продукты в маркетплейсе образов

• Windows Datacenter 2022

• Fedora 34

• Коннектор для выгрузки данных из сервиса МойСклад в Yandex.Datalens.

• Hystax OptScale — платформа для контроля и оптимизации облачных расходов.

• Образы Ubuntu, подготовленные для работы с платформой AMD Epic c NVIDIA A100 Ampere:

• Ubuntu 18.04 LTS GPU A100

• Ubuntu 20.04 LTS GPU A100

Обновление образовОбновление образов

• Liberica

• Loginom Team 6.4.3

• PT Application Firewall 3.7.3

• HashiCorp Vault 1.8.2 с поддержкой Yandex KMS

• Postgres Pro Enterprise Database 11.13.1

• Postgres Pro Enterprise Database 12.8.1

• Postgres Pro Enterprise Database 13.3.1

Публикации в блогахПубликации в блогах

Как решить проблемы тестировщиков и привлечь 150 enterprise-клиентовКак решить проблемы тестировщиков и привлечь 150 enterprise-клиентов

Основатель компании Test IT Евгений Хафизов рассказал в статье на VC, как появилась идея создать свой IT-проект, какие задачи и сложности приходилось решать на пути и как программа Yandex Cloud Boost помогла масштабировать бизнес. Читать на VC →

Аналитика на данных из AmoCRM в Yandex.CloudАналитика на данных из AmoCRM в Yandex.Cloud

Наш партнёр Valiotti Analytics рассказал на примере школы английского языка, как успешно вытаскивать данные из AmoCRM, обрабатывать с помощью Yandex Cloud Functions, а затем анализировать их в Yandex DataLens. С помощью API AmoCRM и возможности сервисов Yandex.Cloud, компании удалось построить рабочую аналитику с использованием serverless-функций, Managed Service for ClickHouse и инструмента для визуализации Yandex DataLens. Читать на Хабре →

Гиковатый Python, милая Tableau и богатенький наследник Power BI: как датавиз-инструменты обретают характерГиковатый Python, милая Tableau и богатенький наследник Power BI: как датавиз-инструменты обретают характер

Иинженер-программист и бизнес-аналитик Наташа Киселева делится опытом работы с датавиз-инструментами, а также рассказывает, как вдохновилась нарисовать серию комиксов и передать их характер. В эту серию попал и наш сервис Yandex DataLens. Читать на VC →

Инструкция: как управлять рисками компании в Yandex TrackerИнструкция: как управлять рисками компании в Yandex Tracker

Риски присутствуют в любом ИТ-проекте и могут привести как к позитивным, так и негативным последствиям. Чаще всего принято рассматривать именно негативные воздействия. В нашем блоге на vc.ru мы подробно рассказали, как и зачем управлять рисками, а также собрали пошаговую инструкцию с примерами для продактов и других специалистов. Читать на VC →

Истории успехаИстории успеха

Служба поддержки Яндекс.Такси научилась понимать обращения на 95+ языкахСлужба поддержки Яндекс.Такси научилась понимать обращения на 95+ языках

Яндекс.Такси работает в 19 странах мира, и служба поддержки постоянно получает большой поток обращений на разных языках. ML-модель приоритизирует эти обращения, чтобы самые срочные получали немедленную реакцию. Однако изначально модель была обучена только русскому языку. Решением стало использование машинного перевода Yandex Translate в ML-модели.

Как CVisionLab обрабатывает 1000 КТ-исследований в деньКак CVisionLab обрабатывает 1000 КТ-исследований в день

Во время пандемии COVID-19 врачи столкнулись с необходимостью анализировать огромное количество КТ-снимков легких. В 2020 году Правительство Москвы приняло решение включить КТ-исследование легких в эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений.

Разработанный в рамках эксперимента сервис компании CVisionLab на платформе Yandex.Cloud обрабатывает 90% исследований за 2,5 минуты — от входящего запроса из медучреждения до сообщения о выгруженном в ответ результате. Во время третьей волны пандемии сервис успешно справлялся с нагрузкой в 1000 КТ-исследований в день, что соответствует примерно 200 ГБ обрабатываемых данных.

Как tada.team меняет формат рабочих коммуникацийКак tada.team меняет формат рабочих коммуникаций

Команда бизнес-мессенджера tada.team приняла участие в программе Yandex Cloud Boost. Сейчас у tada.team более 10 тысяч пользователей, а использование сервисов облачной платформы Yandex.Cloud позволяет компании активно расти, не отвлекаясь на обслуживание и масштабирование инфраструктуры.

Перенос системы Service Desk в управляемый кластер Kubernetes для ITSM 365Перенос системы Service Desk в управляемый кластер Kubernetes для ITSM 365

Компания ITSM 365 с 2013 года предоставляет систему Service Desk по модели SaaS. В 2019 году в ITSM 365 провели исследование и пришли к выводу, что необходимо обновить технологическую базу и устранить проблемы неоднородности окружения. Подходящим решением стало внедрение контейнеров и системы оркестрации. Проведя тестирование различных вариантов развертывания Kubernetes, ITSM 365 выбрали Yandex.Cloud и за несколько месяцев перешли на использование Yandex Managed Service for Kubernetes без потери производительности сервиса и с полным соблюдением SLA.

Как сеть пекарен «ЦЕХ85» автоматизирует рабочие расписанияКак сеть пекарен «ЦЕХ85» автоматизирует рабочие расписания

Сеть пекарен «ЦЕХ85» использует мобильный помощник сотрудника Ally для автоматизации рабочих расписаний. Инфраструктура Ally развернута в Yandex.Cloud, что позволяет компании-разработчику Ally Soft не содержать команду девопс-инженеров, не думать о масштабировании даже при кратных нагрузках, не заботиться о резервировании и резервном копировании данных.

Как облачный сервис Yandex Translate делает более 7 тысяч изданий доступными на многих языкахКак облачный сервис Yandex Translate делает более 7 тысяч изданий доступными на многих языках

PressReader — это платформа, которая предоставляет своим подписчикам цифровые версии популярных газет и журналов на более чем 60 языках. С 2017 года PressReader использует сервис машинного перевода Yandex Translate. Ежемесячный объем материалов, переводимых с помощью облачного сервиса, превышает два миллиарда знаков.

Виртуальные машины с GPU для видеоаналитики VizorLabsВиртуальные машины с GPU для видеоаналитики VizorLabs

VizorLabs занимается внедрением технологий компьютерного зрения и видеоаналитики на производствах. Компания оперирует особо чувствительными персональными данными, поэтому искала облачную платформу, которая полностью соответствует 152-ФЗ. Решением стала платформа Yandex.Cloud.

МероприятияМероприятия

Вебинар «Защита персональных данных в облаке»Вебинар «Защита персональных данных в облаке»

Рассмотрели все нюансы 152-ФЗ и обсудили, что нужно учесть при работе с облаками, как разделяется ответственность за соблюдение закона между провайдером и клиентом и как подготовиться к оценке на соответствие этому закону.

Вебинар «Закупка облачных сервисов — советы и рекомендации»Вебинар «Закупка облачных сервисов — советы и рекомендации»

Рассказали, что нужно учесть при закупке, как грамотно сформулировать требования к облачной платформе и какие нормативно-правовые акты понадобится учесть.

Вебинар «Как создать уникальный голос для своего бизнеса за месяц»Вебинар «Как создать уникальный голос для своего бизнеса за месяц»

Рассказали, как создать уникальный голос с нуля всего за месяц, какие готовые продукты Yandex SpeechKit Brand Voice для этого использовать и в каких бизнес-сценариях внедрять.

Вебинар «Библиотека решений по безопасности»Вебинар «Библиотека решений по безопасности»

Представили библиотеку Security Solutions Library — набор примеров и рекомендаций, собранных в публичном репозитории на GitHub. Решения библиотеки подготовлены командой безопасности на основе опыта и реальных задач клиентов платформы.

ДокументацияДокументация

Появился раздел документации Начало работы в Yandex.Cloud.

Обновились следующие документы:

Релизы YC CLI

• Версии интерфейса командной строки YC CLI 0.83.0 и 0.84.0. Изменения в сервисах Yandex.Cloud:

• В Cloud Functions добавлены команды:

• yc cdn resource — для управления CDN-ресурсами (get, list, delete, get-provider-cname).

• yc cdn cache — для управления кешированием контента CDN-ресурсов.

• yc cdn origin — для управления источниками.

• yc cdn origin-group — для управления группами источников.

• yc cdn provider — для подключения к провайдеру CDN.

• В Application Load Balancer добавлены команды yc application-load-balancer load-balancer start и yc application-load-balancer load-balancer stop для запуска и остановки L7-балансировщика.

• В Yandex Database добавлены команды yc ydb database start и yc ydb database stop для запуска и остановки базы данных.

• В Managed Service for Redis для команды yc managed-redis cluster start-failover добавлен параметр --hostnames для указания хостов кластера, с которых нужно переключить мастер.

• В Managed Service for Apache Kafka^® добавлены команды yc managed-kafka cluster list-logs и yc managed-kafka cluster move для управления кластерами.

• В Managed Service for MongoDB:

• Добавлена поддержка создания кластера с версией MongoDB 5.0.

• Добавлена команда yc managed-mongodb hosts restart для перезагрузки указанных хостов.

• В Managed Service for MySQL:

• Для команды yc managed-mysql hosts update добавлены параметры --assign-public-ip и --backup-priority.

• В вывод команды yc managed-mysql hosts list добавлена колонка BACKUP PRIORITY.

• В Managed Service for ClickHouse для команд yc managed-clickhouse cluster create и yc managed-clickhouse cluster restore добавлен флаг --embedded-keeper.

• В Managed Service for PostgreSQL для команды yc managed-postgresql hosts update добавлен параметр --assign-public-ip для управления публичным доступом к хосту.

Yandex API Gateway

• В пошаговые инструкции добавлена информация о поддержке плагина Yandex.Cloud Toolkit.

Yandex Application Load Balancer

• Описаны метрики работы балансировщика, добавлена инструкция по их отслеживанию.

• Добавлен справочник логов с описанием полей и возможных значений.

Yandex Audit Trails

• Описаны метрики для отслеживания состояния трейлов.

• Добавлено практическое руководство по настройке алертов в Yandex Monitoring.

Yandex Cloud CDN

• Добавлено практическое руководство по публикации обновлений для игр.

Yandex Compute Cloud

• Добавлены инструкции по созданию образов из дисков, снимков дисков и других образов.

• Добавлена инструкция по созданию группы виртуальных машин с L7-балансировщиком.

• В инструкции по подключению диска к виртуальной машине обновлена информация о том, как разметить и смонтировать пустой диск.

• Добавлено практическое руководство по автоматическому масштабированию группы виртуальных машин для обработки сообщений из очереди Yandex Message Queue.

Yandex Data Proc

• В свойства компонентов добавлены настройки Spark для работы с Object Storage.

• Добавлены инструкции по изменению настроек кластера, отслеживанию его состояния и просмотру логов.

• Добавлены практические руководства по работе с заданиями Hive, MapReduce и Spark.

• В сценарий использования Yandex Object Storage в Data Proc добавлен способ аутентификации с использованием IAM-токена сервисного аккаунта кластера.

Yandex Data Streams

• Добавлено практическое руководство по вводу данных в системы хранения.

• Добавлено практическое руководство по хранению журналов работы приложения.

• Добавлено практическое руководство по хранению данных в микросервисных архитектурах.

Yandex Data Transfer

• Добавлена инструкция по мониторингу состояния трансфера.

• Обновлено описание ролей, действующих в сервисе.

Yandex DataSphere

• Добавлено описание служебных команд #pragma.

Yandex Cloud DNS

• Добавлено практическое руководство по настройке локального кеширующего DNS-резолвера.

Yandex Cloud Functions

• В инструкции по управлению функциями добавлена информация о поддержке плагина Yandex.Cloud Toolkit.

• Добавлено практическое руководство по конвертации видео в GIF на Python.

Yandex Identity and Access Management

• Описаны федерации удостоверений.

Yandex Load Testing

• Добавлена инструкция по настройке групп безопасности.

Yandex Lockbox

• Добавлен сценарий синхронизации секретов Yandex Lockbox с секретами кластера Managed Service for Kubernetes.

Yandex Managed Service for ClickHouse

• Добавлена инструкция по мониторингу состояния кластера и хостов.

Yandex Managed Service for Elasticsearch

• Добавлена инструкция по мониторингу состояния кластера и хостов.

Yandex Managed Service for Greenplum^®

• Добавлена инструкция по мониторингу состояния кластера и хостов.

Yandex Managed Service for Apache Kafka^®

• Описаны коннекторы, добавлена инструкция по работе с ними.

• Добавлена информация об управлении схемами данных.

• Добавлено практическое руководство по настройке Kafka Connect для работы с кластером.

• Добавлена инструкция по мониторингу состояния кластера и хостов.

• Дополнена инструкция по изменению настроек кластера.

Yandex Managed Service for Redis

• Добавлен отдельный раздел о способах подключения к базе данных, включая инструкции по подключению к нешардированному и шардированному кластерам.

Yandex Managed Service for SQL Server^™

• Добавлена инструкция по управлению пользовательскими сеансами.

Yandex Cloud Organization

• Добавлена инструкция по аутентификации с помощью Azure Active Directory.

Yandex Resource Manager

• Добавлены инструкции по удалению каталога и облака.

Yandex Object Storage

• Добавлен раздел об AWS SDK для C++, созданный пользователем Yandex.Cloud в рамках контент-программы.

• Добавлены инструкции по управлению бакетом, включая изменение политики доступа и версионирование.

• Добавлена инструкция по удалению всех объектов из бакета.

• Добавлено практическое руководство по шифрованию бакета на стороне сервера.

Yandex Tracker

• Все инструкции адаптированы под пользователей мобильного приложения.

• Добавлена инструкция о том, как найти задачу по ключу или названию.

Yandex Wiki

• Описаны блоки со специальным форматированием.

• Добавлена информация об интеграции с сервисами Yandex Forms и Yandex Tracker.

Биллинг

• Описан электронный документооборот, добавлена инструкция по подключению к нему.

• Добавлена инструкция по удалению платежного аккаунта.

Сценарии использования

• Добавлено пошаговое руководство по настройке Kafka Connect для работы с кластером Yandex Managed Service for Apache Kafka^®.

• Добавлено пошаговое руководство по миграции базы данных из Yandex Managed Service for MySQL в MySQL.

Техническая поддержка

• Добавлена инструкция о том, как копировать ошибки из консоли браузера.