Вопросы и ответы про Yandex MPP Analytics for PostgreSQL

Общие вопросыОбщие вопросы

• Что такое Yandex MPP Analytics for PostgreSQL?

• Какую часть работы по управлению и сопровождению баз данных берет на себя Yandex MPP Analytics for PostgreSQL?

• Для каких задач стоит использовать Yandex MPP Analytics for PostgreSQL, а для каких — виртуальные машины с базами данных?

• Как начать работу с Yandex MPP Analytics for PostgreSQL?

• Что происходит, когда выпускается новая версия СУБД?

• Что происходит, когда версия СУБД становится неподдерживаемой (deprecated)?

• Какой размер блока используется на дисках кластера?

• Соответствует ли сервис требованиям Федерального закона Российской Федерации № 152-ФЗ «О персональных данных»?

• Я могу получить логи моей работы в сервисах?

ПодключениеПодключение

• Могу ли я подключиться к БД по SSH и получить права суперпользователя?

• Как получить доступ к запущенному хосту базы данных?

• Как настроить аутентификацию пользователей?

Резервное копированиеРезервное копирование

• Когда выполняется резервное копирование? Доступен ли кластер БД во время резервного копирования?

• Включено ли резервное копирование хостов БД по умолчанию?

• Можно ли вручную запустить резервное копирование кластера Yandex MPP Analytics for PostgreSQL?

• Можно ли выбрать другие ресурсы при восстановлении кластера из резервной копии?

Изменение кластераИзменение кластера

• Как изменить вычислительные ресурсы и объем хранилища для кластера БД?

Кластеры и хосты Yandex MPP Analytics for PostgreSQLКластеры и хосты Yandex MPP Analytics for PostgreSQL

• Что такое хост базы данных и кластер базы данных?

• Сколько хостов БД может содержать кластер?

• Сколько кластеров можно создать в одном облаке?

• Как происходит обслуживание кластеров БД?

• Как рассчитывается стоимость использования для хоста базы данных?

• Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

• Почему возникает ошибка о минимальном объеме памяти для процессов Yandex MPP Analytics for PostgreSQL?

• Через какое время удаленные объекты окончательно удаляются из гибридного хранилища?

Работа с внешними таблицамиРабота с внешними таблицами

• Каким образом при работе с внешними таблицами передаются учетные данные пользователей?

МониторингМониторинг

• За какими метриками и процессами можно следить с помощью мониторинга?

• Какие графики отражают состояние гибридного хранилища?

• Как долго хранятся логи?

Общие вопросыОбщие вопросы

Что такое Yandex MPP Analytics for PostgreSQL?Что такое Yandex MPP Analytics for PostgreSQL?

Yandex MPP Analytics for PostgreSQL — это сервис, который помогает вам создавать, эксплуатировать и масштабировать базы данных Greenplum® и Apache Cloudberry™ в облачной инфраструктуре.

С Yandex MPP Analytics for PostgreSQL вы можете:

• создавать базы данных с необходимыми параметрами производительности;
• масштабировать вычислительные мощности и выделенный объем хранилища для баз данных по мере необходимости;
• получать журналы работы баз данных.

Yandex MPP Analytics for PostgreSQL берет на себя трудоемкие задачи по администрированию инфраструктуры СУБД:

• предоставляет мониторинг потребляемых ресурсов;
• автоматически создает резервные копии баз данных;
• обеспечивает отказоустойчивость за счет автоматического переключения на резервные реплики;
• своевременно обновляет программное обеспечение СУБД.

Вы взаимодействуете с кластером БД в Yandex MPP Analytics for PostgreSQL как с обычной базой данных в вашей локальной инфраструктуре. Благодаря этому вы можете управлять внутренними настройками БД в соответствии с требованиями вашего приложения.

Какую часть работы по управлению и сопровождению баз данных берет на себя Yandex MPP Analytics for PostgreSQL?Какую часть работы по управлению и сопровождению баз данных берет на себя Yandex MPP Analytics for PostgreSQL?

При создании кластеров Yandex MPP Analytics for PostgreSQL выделяет ресурсы, устанавливает СУБД и создает базы данных.

Для созданных и запущенных баз данных Yandex MPP Analytics for PostgreSQL автоматически создает резервные копии, а также устанавливает исправления и обновления СУБД.

Также Yandex MPP Analytics for PostgreSQL обеспечивает репликацию данных между хостами БД (как внутри, так и между зонами доступности) и автоматически переключает нагрузку на резервную реплику в случае аварии.

При работе необходимо учитывать, что контролирует сервис, а что — клиент Yandex Cloud. Понимание этих зон контроля помогает эффективно использовать облачные ресурсы и избегать возможных проблем при работе с базами данных. Подробнее см. Разграничение зон контроля пользователей сервисов управляемых баз данных (MDB) и Yandex Cloud.

Для каких задач стоит использовать Yandex MPP Analytics for PostgreSQL, а для каких — виртуальные машины с базами данных?Для каких задач стоит использовать Yandex MPP Analytics for PostgreSQL, а для каких — виртуальные машины с базами данных?

Yandex Cloud предлагает два варианта работы с базами данных:

• Yandex MPP Analytics for PostgreSQL позволяет вам эксплуатировать шаблонные базы данных, не заботясь об администрировании.
• Виртуальные машины Yandex Compute Cloud позволяют вам создавать и настраивать собственные базы данных. Такой подход позволяет использовать любые СУБД, подключаться к базам данных по SSH и так далее.

Как начать работу с Yandex MPP Analytics for PostgreSQL?Как начать работу с Yandex MPP Analytics for PostgreSQL?

Yandex MPP Analytics for PostgreSQL доступен всем зарегистрированным пользователям Yandex Cloud.

Чтобы создать кластер базы данных в Yandex MPP Analytics for PostgreSQL, необходимо определиться с его характеристиками:

• Класс хостов (характеристики производительности — процессоры, память и т. п.).
• Объем хранилища (резервируется в полном объеме при создании кластера).
• Сеть, к которой будет подключен ваш кластер.
• Количество хостов для кластера и зона доступности кластера.

Подробные инструкции см. в разделе Создание кластера.

Что происходит, когда выпускается новая версия СУБД?Что происходит, когда выпускается новая версия СУБД?

Программное обеспечение баз данных обновляется при выходе новых минорных версий. Владельцы затронутых кластеров БД получают предварительное оповещение о сроках проведения работ и доступности баз данных.

Что происходит, когда версия СУБД становится неподдерживаемой (deprecated)?Что происходит, когда версия СУБД становится неподдерживаемой (deprecated)?

Через месяц после того, как версия СУБД становится неподдерживаемой, Yandex MPP Analytics for PostgreSQL автоматически оповещает владельцев кластеров БД, созданных с этой версией, по электронной почте.

Для кластеров с неподдерживаемой версией СУБД создание новых хостов и восстановление из резервных копий становится невозможным. Через 7 дней после оповещения для минорных версий и через 1 месяц для мажорных версий проводится автоматическое обновление кластеров БД до следующей поддерживаемой версии. Обновление неподдерживаемых мажорных версий происходит даже если у вас отключено автоматическое обновление.

Какой размер блока используется на дисках кластера?Какой размер блока используется на дисках кластера?

Размер блока всех типов дисков — 4 КБ.

Соответствует ли сервис требованиям Федерального закона Российской Федерации № 152-ФЗ О персональных данных?Соответствует ли сервис требованиям Федерального закона Российской Федерации № 152-ФЗ О персональных данных?

Да, вы можете ознакомиться с полным заключением по результатам аудита системы защиты.

Я могу получить логи моей работы в сервисах?Я могу получить логи моей работы в сервисах?

Да, вы можете запросить информацию о работе с вашими ресурсами из логов сервисов Yandex Cloud. Для этого обратитесь в техническую поддержку.

ПодключениеПодключение

Могу ли я подключиться к БД по SSH и получить права суперпользователя?Могу ли я подключиться к БД по SSH и получить права суперпользователя?

Нет, подключиться через SSH не получится, как и получить права суперпользователя. Это сделано в целях безопасности и отказоустойчивости пользовательских кластеров, так как прямые изменения внутри хостов могут привести к их полной неработоспособности. Однако вы можете подключиться к БД от лица пользователя-администратора с ролью mdb_admin. Его набор привилегий заменяет суперпользователя. Подробнее читайте в разделе Роль mdb_admin вместо суперпользователя.

Как получить доступ к запущенному хосту базы данных?Как получить доступ к запущенному хосту базы данных?

Вы можете подключаться к базам данных в кластере Yandex MPP Analytics for PostgreSQL способами, стандартными для СУБД.

Подробнее о подключении к кластерам.

Что делать, если при получении SSL-сертификата через PowerShell возникает ошибка проверки отзыва?Что делать, если при получении SSL-сертификата через PowerShell возникает ошибка проверки отзыва?

Полный текст ошибки:

curl: (35) schannel: next InitializeSecurityContext failed: Unknown error (0x80092012)
The revocation function was unable to check revocation for the certificate

Это означает, что при подключении к веб-сайту не удалось проверить, есть ли его сертификат в списке отозванных.

Чтобы исправить ошибку:

• убедитесь, что проверку не блокируют настройки корпоративной сети;

• выполните команду с параметром --ssl-no-revoke.

  mkdir $HOME\.postgresql; curl.exe --ssl-no-revoke -o $HOME\.postgresql\root.crt https://storage.yandexcloud.net/cloud-certs/CA.pem
  

Как настроить аутентификацию пользователей?Как настроить аутентификацию пользователей?

Настроить аутентификацию пользователей в Yandex MPP Analytics for PostgreSQL можно с помощью правил.

Подробнее см. в разделе Аутентификация пользователей.

Резервное копированиеРезервное копирование

Когда выполняется резервное копирование? Доступен ли кластер БД во время резервного копирования?Когда выполняется резервное копирование? Доступен ли кластер БД во время резервного копирования?

Окно резервного копирования — это интервал времени, в течение которого выполняется ежедневное полное резервное копирование кластера БД. Вы можете задать окно резервного копирования при создании и изменении кластера.

Во время резервного копирования кластеры остаются полностью доступными.

Включено ли резервное копирование хостов БД по умолчанию?Включено ли резервное копирование хостов БД по умолчанию?

Да, по умолчанию резервное копирование включено и выполняется один раз в сутки, при этом сохраняются все журналы транзакций кластера БД. Первая и каждая седьмая автоматические резервные копии, а также все резервные копии, созданные вручную, — полные резервные копии всех баз данных. Остальные резервные копии — инкрементные, хранится только разница с предыдущей резервной копией, что позволяет экономить место в хранилище.

Резервные копии существующего кластера, созданные автоматически, хранятся 7 дней, а созданные вручную — бессрочно. После удаления кластера все резервные копии хранятся 7 дней.

Можно ли вручную запустить резервное копирование кластера Yandex MPP Analytics for PostgreSQL?Можно ли вручную запустить резервное копирование кластера Yandex MPP Analytics for PostgreSQL?

Да, Yandex MPP Analytics for PostgreSQL поддерживает ручной запуск резервного копирования кластера.

Можно ли выбрать другие ресурсы при восстановлении кластера из резервной копии?Можно ли выбрать другие ресурсы при восстановлении кластера из резервной копии?

Да, при условии соблюдения ограничений:

• Общее количество сегментов должно совпадать с исходным кластером.
• Размер диска на один сегмент в новом кластере должен быть не меньше, чем у исходного кластера.

Изменение кластераИзменение кластера

Как изменить вычислительные ресурсы и объем хранилища для кластера БД?Как изменить вычислительные ресурсы и объем хранилища для кластера БД?

Вы можете изменять вычислительные ресурсы и объем хранилища в консоли управления — просто выберите другой класс хостов для нужного кластера.

Характеристики кластера изменяются в течение 30 минут. В этот период также могут быть включены другие сервисные работы по кластеру, например, установка обновлений.

Кластеры и хосты Yandex MPP Analytics for PostgreSQLКластеры и хосты Yandex MPP Analytics for PostgreSQL

Что такое хост базы данных и кластер базы данных?Что такое хост базы данных и кластер базы данных?

Хост БД — это изолированная среда базы данных в облачной инфраструктуре с выделенными вычислительными ресурсами и зарезервированным объемом хранилища данных.

Кластер БД — это один или более хостов БД, между которыми можно настроить репликацию.

Сколько хостов БД может содержать кластер?Сколько хостов БД может содержать кластер?

Кластер Yandex MPP Analytics for PostgreSQL состоит минимум из 4 хостов:

• 2 хоста-мастера;
• 2 хоста-сегмента.

Количество хостов-сегментов можно увеличить до 32.

Подробнее см. в разделе Квоты и лимиты.

Сколько кластеров можно создать в одном облаке?Сколько кластеров можно создать в одном облаке?

Технические и организационные ограничения MDB приведены в разделе Квоты и лимиты.

Как происходит обслуживание кластеров БД?Как происходит обслуживание кластеров БД?

Под обслуживанием в Yandex MPP Analytics for PostgreSQL понимается:

• автоматическая установка обновлений и исправлений СУБД для ваших хостов БД;
• изменение класса хостов и объема хранилища;
• другие сервисные работы Yandex MPP Analytics for PostgreSQL.

Подробнее см. в разделе Техническое обслуживание.

Как рассчитывается стоимость использования для хоста базы данных?Как рассчитывается стоимость использования для хоста базы данных?

В Yandex MPP Analytics for PostgreSQL стоимость использования рассчитывается исходя из следующих параметров:

• Выбранный класс хостов.
• Объем хранилища, зарезервированного для хоста БД.
• Объем резервных копий кластера БД. Объем резервных копий, равный объему хранилища, не тарифицируется. Хранение резервных копий сверх этого объема оплачивается по тарифам.
• Количество часов работы хоста БД. Неполные часы округляются до целого значения. Стоимость часа работы для каждого класса хостов приведена в разделе Правила тарификации.

Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

Вероятно, максимальные значения IOPS и пропускной способности (bandwidth) хранилища недостаточны для обработки текущего количества запросов. В этом случае срабатывает троттлинг и быстродействие всего кластера падает.

Максимальные IOPS и bandwidth прирастают на фиксированную величину при увеличении размера хранилища на определенный шаг. Шаг и прирост зависят от типа дисков:

Чтобы увеличить максимальные значения IOPS и bandwidth и снизить вероятность троттлинга, расширьте размер хранилища при изменении кластера.

Если вы используете хранилище с типом диска network-hdd, рассмотрите возможность перехода на network-ssd или network-ssd-nonreplicated путем восстановления кластера из резервной копии.

Почему возникает ошибка о минимальном объеме памяти для процессов Yandex MPP Analytics for PostgreSQL?Почему возникает ошибка о минимальном объеме памяти для процессов Yandex MPP Analytics for PostgreSQL?

При создании, изменении или восстановлении кластера может появиться ошибка:

Per process memory must be more then '20971520' bytes on segment host, got '<рассчитанный_объем_памяти>'

Ошибка возникает, если при количестве соединений, достигающем значения настройки max_connections, объем памяти на каждый процесс Yandex MPP Analytics for PostgreSQL составляет меньше 20 МБ. Минимальный объем памяти на каждый процесс кластера рассчитывается по формуле:

<объем_RAM_хоста-сегмента> ÷ (<max_connections> × <количество_сегментов_на_хост>)

Чтобы устранить ошибку, воспользуйтесь одним из способов:

• Уменьшите значение max_connections.
• Увеличьте объем памяти, изменив класс хостов-сегментов.

Через какое время удаленные объекты окончательно удаляются из гибридного хранилища?Через какое время удаленные объекты окончательно удаляются из гибридного хранилища?

Удаленные файлы хранятся в служебном бакете одну неделю, затем перемещаются в «корзину» и еще через одну неделю удаляются окончательно.

Подробнее в разделе Очистка гибридного хранилища.

Работа с внешними таблицамиРабота с внешними таблицами

Каким образом при работе с внешними таблицами передаются учетные данные пользователей?Каким образом при работе с внешними таблицами передаются учетные данные пользователей?

При работе с внешними таблицами по протоколу PXF учетные данные пользователей передаются в открытом виде. Поэтому учетные данные доступны только пользователю-администратору с ролью mdb_admin. Остальным пользователям учетные данные недоступны из соображений безопасности.

МониторингМониторинг

За какими метриками и процессами можно следить с помощью мониторинга?За какими метриками и процессами можно следить с помощью мониторинга?

Для всех типов СУБД можно отслеживать:

• загрузку процессора, памяти, сети, дисков в абсолютных величинах;
• загрузку памяти, сети, дисков в процентах от установленных лимитов для класса хостов соответствующего кластера;
• объем данных кластера БД и остаток свободного места в хранилище данных.

Для всех хостов БД можно отслеживать метрики, специфические для типа соответствующей СУБД. Например, для Greenplum® можно отслеживать:

• среднее время выполнения запроса;
• количество запросов в секунду;
• количество ошибок в журналах и т. д.

Мониторинг можно осуществлять с минимальным шагом в 5 секунд.

Подробнее о мониторинге см. в разделе Мониторинг состояния кластера и хостов.

Какие графики отражают состояние гибридного хранилища?Какие графики отражают состояние гибридного хранилища?

На графике Hybrid Storage можно отслеживать количество файлов в холодном хранилище и их суммарный размер. Количество и общий размер файлов могут уменьшаться со временем благодаря процедуре очистки гибридного хранилища. Подробнее в разделе Гибридное хранилище в Yandex MPP Analytics for PostgreSQL

Как долго хранятся логи?Как долго хранятся логи?

Логи кластера хранятся 45 дней.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.

Apache® и Apache Cloudberry™ являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах.