Вопросы и ответы про Managed Service for Greenplum®

Общие вопросыОбщие вопросы

• Что такое Managed Service for Greenplum®?

• Какую часть работы по управлению и сопровождению баз данных берет на себя Managed Service for Greenplum®?

• Для каких задач стоит использовать Managed Service for Greenplum®, а для каких — виртуальные машины с базами данных?

• Как начать работу с Managed Service for Greenplum®?

• Что происходит, когда выпускается новая версия СУБД?

• Что происходит, когда версия СУБД становится неподдерживаемой (deprecated)?

• Я могу получить логи моей работы в сервисах?

ПодключениеПодключение

• Могу ли я подключиться к БД по SSH и получить права суперпользователя?

• Как получить доступ к запущенному хосту базы данных?

• Как настроить аутентификацию пользователей?

Резервное копированиеРезервное копирование

• Когда выполняется резервное копирование? Доступен ли кластер БД во время резервного копирования?

• Включено ли резервное копирование хостов БД по умолчанию?

• Можно ли вручную запустить резервное копирование кластера Managed Service for Greenplum®?

• Можно ли выбрать другие ресурсы при восстановлении кластера из резервной копии?

Изменение кластераИзменение кластера

• Как изменить вычислительные ресурсы и объем хранилища для кластера БД?

Кластеры и хосты Managed Service for Greenplum®Кластеры и хосты Managed Service for Greenplum®

• Что такое хост базы данных и кластер базы данных?

• Сколько хостов БД может содержать кластер?

• Сколько кластеров можно создать в одном облаке?

• Как происходит обслуживание кластеров БД?

• Как рассчитывается стоимость использования для хоста базы данных?

• Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

• Почему возникает ошибка о минимальном объеме памяти для процессов Greenplum®?

Работа с внешними таблицамиРабота с внешними таблицами

• Каким образом при работе с внешними таблицами передаются учетные данные пользователей?

МониторингМониторинг

• За какими метриками и процессами можно следить с помощью мониторинга?

Общие вопросыОбщие вопросы

Что такое Managed Service for Greenplum®?Что такое Managed Service for Greenplum®?

Managed Service for Greenplum® — это сервис, который помогает вам создавать, эксплуатировать и масштабировать базы данных Greenplum® в облачной инфраструктуре.

С Managed Service for Greenplum® вы можете:

• создавать базы данных с необходимыми параметрами производительности;
• масштабировать вычислительные мощности и выделенный объем хранилища для баз данных по мере необходимости;
• получать журналы работы баз данных.

Managed Service for Greenplum® берет на себя трудоемкие задачи администрирования инфраструктуры Greenplum®:

• предоставляет мониторинг потребляемых ресурсов;
• автоматически создает резервные копии баз данных;
• обеспечивает отказоустойчивость за счет автоматического переключения на резервные реплики;
• своевременно обновляет программное обеспечение СУБД.

Вы взаимодействуете с кластером БД в Managed Service for Greenplum® как с обычной базой данных в вашей локальной инфраструктуре. Благодаря этому вы можете управлять внутренними настройками БД в соответствии с требованиями вашего приложения.

Какую часть работы по управлению и сопровождению баз данных берет на себя Managed Service for Greenplum®?Какую часть работы по управлению и сопровождению баз данных берет на себя Managed Service for Greenplum®?

При создании кластеров Managed Service for Greenplum® выделяет ресурсы, устанавливает СУБД и создает базы данных.

Для созданных и запущенных баз данных Managed Service for Greenplum® автоматически создает резервные копии, а также устанавливает исправления и обновления СУБД.

Также Managed Service for Greenplum® обеспечивает репликацию данных между хостами БД (как внутри, так и между зонами доступности) и автоматически переключает нагрузку на резервную реплику в случае аварии.

Для каких задач стоит использовать Managed Service for Greenplum®, а для каких — виртуальные машины с базами данных?Для каких задач стоит использовать Managed Service for Greenplum®, а для каких — виртуальные машины с базами данных?

Yandex Cloud предлагает два варианта работы с базами данных:

• Managed Service for Greenplum® позволяет вам эксплуатировать шаблонные базы данных, не заботясь об администрировании.
• Виртуальные машины Yandex Compute Cloud позволяют вам создавать и настраивать собственные базы данных. Такой подход позволяет использовать любые СУБД, подключаться к базам данных по SSH и так далее.

Как начать работу с Managed Service for Greenplum®?Как начать работу с Managed Service for Greenplum®?

Managed Service for Greenplum® доступен всем зарегистрированным пользователям Yandex Cloud.

Чтобы создать кластер базы данных в Managed Service for Greenplum®, необходимо определиться с его характеристиками:

• Класс хостов (характеристики производительности — процессоры, память и т. п.).
• Объем хранилища (резервируется в полном объеме при создании кластера).
• Сеть, к которой будет подключен ваш кластер.
• Количество хостов для кластера и зона доступности кластера.

Подробные инструкции см. в разделе Создание кластера.

Что происходит, когда выпускается новая версия СУБД?Что происходит, когда выпускается новая версия СУБД?

Программное обеспечение баз данных обновляется при выходе новых минорных версий. Владельцы затронутых кластеров БД получают предварительное оповещение о сроках проведения работ и доступности баз данных.

Что происходит, когда версия СУБД становится неподдерживаемой (deprecated)?Что происходит, когда версия СУБД становится неподдерживаемой (deprecated)?

Через месяц после того, как версия СУБД становится неподдерживаемой, Managed Service for Greenplum® автоматически оповещает владельцев кластеров БД, созданных с этой версией, по электронной почте.

Создание новых хостов с СУБД неподдерживаемых версий становится невозможным. Через 7 дней после оповещения для минорных версий и через 1 месяц для мажорных версий проводится автоматическое обновление кластеров БД до следующей поддерживаемой версии. Обновление неподдерживаемых мажорных версий происходит даже если у вас отключено автоматическое обновление.

Соответствует ли сервис требованиям Федерального закона Российской Федерации № 152-ФЗ О персональных данных?Соответствует ли сервис требованиям Федерального закона Российской Федерации № 152-ФЗ О персональных данных?

Да, вы можете ознакомиться с полным заключением по результатам аудита системы защиты.

Я могу получить логи моей работы в сервисах?Я могу получить логи моей работы в сервисах?

Да, вы можете запросить информацию о работе с вашими ресурсами из логов сервисов Yandex Cloud. Подробнее читайте в разделе Запросы данных.

ПодключениеПодключение

Могу ли я подключиться к БД по SSH и получить права суперпользователя?Могу ли я подключиться к БД по SSH и получить права суперпользователя?

Нет, подключиться через SSH не получится, как и получить права суперпользователя. Это сделано в целях безопасности и отказоустойчивости пользовательских кластеров, так как прямые изменения внутри хостов могут привести к их полной неработоспособности. Однако вы можете подключиться к БД от лица пользователя-администратора с ролью mdb_admin. Его набор привилегий заменяет суперпользователя. Подробнее читайте в разделе Роль mdb_admin вместо суперпользователя.

Как получить доступ к запущенному хосту базы данных?Как получить доступ к запущенному хосту базы данных?

Вы можете подключаться к базам данных Managed Service for Greenplum® способами, стандартными для СУБД.

Подробнее о подключении к кластерам.

Что делать, если при получении SSL-сертификата через PowerShell возникает ошибка проверки отзыва?Что делать, если при получении SSL-сертификата через PowerShell возникает ошибка проверки отзыва?

Полный текст ошибки:

curl: (35) schannel: next InitializeSecurityContext failed: Unknown error (0x80092012)
The revocation function was unable to check revocation for the certificate

Это означает, что при подключении к веб-сайту не удалось проверить, есть ли его сертификат в списке отозванных.

Чтобы исправить ошибку:

• убедитесь, что проверку не блокируют настройки корпоративной сети;

• выполните команду с параметром --ssl-no-revoke.

  mkdir $HOME\.postgresql; curl.exe --ssl-no-revoke -o $HOME\.postgresql\root.crt https://storage.yandexcloud.net/cloud-certs/CA.pem
  

Как настроить аутентификацию пользователей?Как настроить аутентификацию пользователей?

Настроить аутентификацию пользователей в Managed Service for Greenplum® можно с помощью правил.

Подробнее см. в разделе Аутентификация пользователей.

Резервное копированиеРезервное копирование

Когда выполняется резервное копирование? Доступен ли кластер БД во время резервного копирования?Когда выполняется резервное копирование? Доступен ли кластер БД во время резервного копирования?

Окно резервного копирования — это интервал времени, в течение которого выполняется ежедневное полное резервное копирование кластера БД. Вы можете задать окно резервного копирования при создании и изменении кластера.

Во время резервного копирования кластеры остаются полностью доступными.

Включено ли резервное копирование хостов БД по умолчанию?Включено ли резервное копирование хостов БД по умолчанию?

Да, по умолчанию резервное копирование включено. Для Greenplum® выполняется резервное копирование один раз в сутки, и сохраняются все журналы транзакций кластера БД. Первая и каждая вторая автоматические резервные копии — полные резервные копии всех баз данных. Остальные резервные копии — инкрементные, хранится только разница с предыдущей резервной копией, что позволяет экономить место в хранилище.

Резервные копии существующего кластера, созданные автоматически, хранятся 7 дней, а созданные вручную — бессрочно. После удаления кластера все резервные копии хранятся 7 дней.

Можно ли вручную запустить резервное копирование кластера Managed Service for Greenplum®?Можно ли вручную запустить резервное копирование кластера Managed Service for Greenplum®?

Да, Managed Service for Greenplum® поддерживает ручной запуск резервного копирования кластера.

Можно ли выбрать другие ресурсы при восстановлении кластера из резервной копии?Можно ли выбрать другие ресурсы при восстановлении кластера из резервной копии?

Да, при условии соблюдения ограничений:

• Общее количество сегментов должно совпадать с исходным кластером.
• Размер диска на один сегмент в новом кластере должен быть не меньше, чем у исходного кластера.

Изменение кластераИзменение кластера

Как изменить вычислительные ресурсы и объем хранилища для кластера БД?Как изменить вычислительные ресурсы и объем хранилища для кластера БД?

Вы можете изменять вычислительные ресурсы и объем хранилища в консоли управления — просто выберите другой класс хостов для нужного кластера.

Характеристики кластера изменяются в течение 30 минут. В этот период также могут быть включены другие сервисные работы по кластеру, например, установка обновлений.

Кластеры и хосты Managed Service for Greenplum®Кластеры и хосты Managed Service for Greenplum®

Что такое хост базы данных и кластер базы данных?Что такое хост базы данных и кластер базы данных?

Хост БД — это изолированная среда базы данных в облачной инфраструктуре с выделенными вычислительными ресурсами и зарезервированным объемом хранилища данных.

Кластер БД — это один или более хостов БД, между которыми можно настроить репликацию.

Сколько хостов БД может содержать кластер?Сколько хостов БД может содержать кластер?

Кластер Managed Service for Greenplum® состоит минимум из 4 хостов:

• 2 хоста-мастера;
• 2 хоста-сегмента.

Количество хостов-сегментов можно увеличить до 32.

Подробнее см. в разделе Квоты и лимиты.

Сколько кластеров можно создать в одном облаке?Сколько кластеров можно создать в одном облаке?

Технические и организационные ограничения MDB приведены в разделе Квоты и лимиты.

Как происходит обслуживание кластеров БД?Как происходит обслуживание кластеров БД?

Под обслуживанием в Managed Service for Greenplum® понимается:

• автоматическая установка обновлений и исправлений СУБД для ваших хостов БД;
• изменение класса хостов и объема хранилища;
• другие сервисные работы Managed Service for Greenplum®.

Подробнее см. в разделе Техническое обслуживание.

Как рассчитывается стоимость использования для хоста базы данных?Как рассчитывается стоимость использования для хоста базы данных?

В Managed Service for Greenplum® стоимость использования рассчитывается исходя из следующих параметров:

• Выбранный класс хостов.
• Объем хранилища, зарезервированного для хоста БД.
• Объем резервных копий кластера БД. Объем резервных копий, равный объему хранилища, не тарифицируется. Хранение резервных копий сверх этого объема оплачивается по тарифам.
• Количество часов работы хоста БД. Неполные часы округляются до целого значения. Стоимость часа работы для каждого класса хостов приведена в разделе Правила тарификации.

Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

Вероятно, максимальные значения IOPS и пропускной способности (bandwidth) хранилища недостаточны для обработки текущего количества запросов. В этом случае срабатывает троттлинг и быстродействие всего кластера падает.

Максимальные IOPS и bandwidth прирастают на фиксированную величину при увеличении размера хранилища на определенный шаг. Шаг и прирост зависят от типа дисков:

Чтобы увеличить максимальные значения IOPS и bandwidth и снизить вероятность троттлинга, расширьте размер хранилища при изменении кластера.

Если вы используете хранилище с типом диска network-hdd, рассмотрите возможность перехода на network-ssd или network-ssd-nonreplicated путем восстановления кластера из резервной копии.

Почему возникает ошибка о минимальном объеме памяти для процессов Greenplum®?Почему возникает ошибка о минимальном объеме памяти для процессов Greenplum®?

При создании, изменении или восстановлении кластера может появиться ошибка:

Per process memory must be more then '20971520' bytes on segment host, got '<рассчитанный_объем_памяти>'

Ошибка возникает, если при количестве соединений, достигающем значения настройки max_connections, объем памяти на каждый процесс Greenplum® составляет меньше 20 МБ. Минимальный объем памяти на каждый процесс кластера рассчитывается по формуле:

<объем_RAM_хоста-сегмента> ÷ (<max_connections> × <количество_сегментов_на_хост>)

Чтобы устранить ошибку, воспользуйтесь одним из способов:

• Уменьшите значение max_connections.
• Увеличьте объем памяти, изменив класс хостов-сегментов.

Работа с внешними таблицамиРабота с внешними таблицами

Каким образом при работе с внешними таблицами передаются учетные данные пользователей?Каким образом при работе с внешними таблицами передаются учетные данные пользователей?

При работе с внешними таблицами по протоколу PXF учетные данные пользователей передаются в открытом виде. Поэтому учетные данные доступны только пользователю-администратору с ролью mdb_admin. Остальным пользователям учетные данные недоступны из соображений безопасности.

МониторингМониторинг

За какими метриками и процессами можно следить с помощью мониторинга?За какими метриками и процессами можно следить с помощью мониторинга?

Для всех типов СУБД можно отслеживать:

• загрузку процессора, памяти, сети, дисков в абсолютных величинах;
• загрузку памяти, сети, дисков в процентах от установленных лимитов для класса хостов соответствующего кластера;
• объем данных кластера БД и остаток свободного места в хранилище данных.

Для всех хостов БД можно отслеживать метрики, специфические для типа соответствующей СУБД. Например, для Greenplum® можно отслеживать:

• среднее время выполнения запроса;
• количество запросов в секунду;
• количество ошибок в журналах и т. д.

Мониторинг можно осуществлять с минимальным шагом в 5 секунд.

Подробнее о мониторинге см. в разделе Мониторинг состояния кластера и хостов.

Как долго хранятся логи?Как долго хранятся логи?

Логи кластера хранятся 30 дней.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.