Связаться с намиПодключиться

Вопросы и ответы про Managed Service for PostgreSQL

Статья создана
Улучшена
Обновлена 15 октября 2024 г.

Общие вопросы

Подключение

Изменение кластера

Настройки параметров кластера

Перемещение и восстановление кластера

Мониторинг и логи

Общие вопросы

Что такое Managed Service for PostgreSQL?

Managed Service for PostgreSQL — это сервис, который помогает вам создавать, эксплуатировать и масштабировать базы данных PostgreSQL в облачной инфраструктуре.

С Managed Service for PostgreSQL вы можете:

  • создавать базы данных с необходимыми параметрами производительности;
  • масштабировать вычислительные мощности и выделенный объем хранилища для баз данных по мере необходимости;
  • получать журналы работы баз данных.

Managed Service for PostgreSQL берет на себя трудоемкие задачи администрирования инфраструктуры PostgreSQL:

  • предоставляет мониторинг потребляемых ресурсов;
  • автоматически создает резервные копии баз данных;
  • обеспечивает отказоустойчивость за счет автоматического переключения на резервные реплики;
  • своевременно обновляет программное обеспечение СУБД.

Вы взаимодействуете с кластером БД в Managed Service for PostgreSQL как с обычной базой данных в вашей локальной инфраструктуре. Благодаря этому вы можете управлять внутренними настройками БД в соответствии с требованиями вашего приложения.

Какую часть работы по управлению и сопровождению баз данных берет на себя Managed Service for PostgreSQL?

При создании кластеров Managed Service for PostgreSQL выделяет ресурсы, устанавливает СУБД и создает базы данных.

Для созданных и запущенных баз данных Managed Service for PostgreSQL автоматически создает резервные копии, а также устанавливает исправления и обновления СУБД.

Также Managed Service for PostgreSQL обеспечивает репликацию данных между хостами БД (как внутри, так и между зонами доступности) и автоматически переключает нагрузку на резервную реплику в случае аварии.

Для каких задач стоит использовать Managed Service for PostgreSQL, а для каких — виртуальные машины с базами данных?

Yandex Cloud предлагает два варианта работы с базами данных:

  • Managed Service for PostgreSQL позволяет вам эксплуатировать шаблонные базы данных, не заботясь об администрировании.
  • Виртуальные машины Yandex Compute Cloud позволяют вам создавать и настраивать собственные базы данных. Такой подход позволяет использовать любые СУБД, подключаться к базам данных по SSH и так далее.

Что такое хост базы данных и кластер базы данных?

Хост БД — это изолированная среда базы данных в облачной инфраструктуре с выделенными вычислительными ресурсами и зарезервированным объемом хранилища данных.

Кластер БД — это один или более хостов БД, между которыми можно настроить репликацию.

Как начать работу с Managed Service for PostgreSQL?

Managed Service for PostgreSQL доступен всем зарегистрированным пользователям Yandex Cloud.

Чтобы создать кластер базы данных в Managed Service for PostgreSQL, необходимо определиться с его характеристиками:

  • Класс хостов (характеристики производительности — процессоры, память и т. п.).
  • Объем хранилища (резервируется в полном объеме при создании кластера).
  • Сеть, к которой будет подключен ваш кластер.
  • Количество хостов для кластера и зона доступности для каждого хоста вы можете выбрать зону доступности.

Подробные инструкции см. в разделе Как начать работать с Managed Service for PostgreSQL.

Сколько хостов БД может содержать кластер?

Минимальное количество хостов зависит от типа используемого хранилища:

  • при использовании хранилища на нереплицируемых SSD-дисках (network-ssd-nonreplicated) или на локальных SSD-дисках (local-ssd) — не менее 3;
  • при использовании хранилища на сетевых SSD-дисках (network-ssd) или на сетевых HDD-дисках (network-hdd) допускается создание кластера из одного хоста.

Максимальное количество хостов в кластере ограничено только запрошенными вычислительными ресурсами и объемом хранилища для кластера.

Подробнее см. в разделе Квоты и лимиты в Managed Service for PostgreSQL.

Как получить доступ к запущенному хосту базы данных?

Вы можете подключаться к базам данных Managed Service for PostgreSQL способами, стандартными для СУБД.

Подробнее о подключении к кластерам.

Сколько кластеров можно создать в рамках одного облака?

Технические и организационные ограничения MDB приведены в разделе Квоты и лимиты в Managed Service for PostgreSQL.

Как происходит обслуживание кластеров БД?

Под обслуживанием в Managed Service for PostgreSQL понимается:

  • автоматическая установка обновлений и исправлений СУБД для хостов БД (в т. ч. для выключенных кластеров);
  • изменение класса хостов и объема хранилища;
  • другие сервисные работы Managed Service for PostgreSQL.

Подробнее в разделе Техническое обслуживание в Managed Service for PostgreSQL.

Какую версию PostgreSQL использует Managed Service for PostgreSQL?

Managed Service for PostgreSQL поддерживает PostgreSQL 11, 12, 13, 14, 15 и 16, а также PostgreSQL 11, 12, 13, 14 и 15 для 1C.

Какую версию PostgreSQL и какие настройки лучше использовать при создании базы данных для 1С?

Рекомендуется использовать PostgreSQL версии 12-1c (актуально на март 2022 года). Проверка работы этой версии была выполнена с версией 1С 8.3.18 — работа с более ранними версиями 1С не гарантирована.

Нужные для оптимизации работы настройки кластера уточняйте в службе поддержки 1С.

Что происходит, когда выпускается новая версия СУБД?

Программное обеспечение баз данных обновляется при выходе новых минорных версий. Владельцы затронутых кластеров БД получают предварительное оповещение о сроках проведения работ и доступности баз данных.

Что происходит, когда версия СУБД становится неподдерживаемой (deprecated)?

Через месяц после того, как версия СУБД становится неподдерживаемой, Managed Service for PostgreSQL автоматически оповещает владельцев кластеров БД, созданных с этой версией, по электронной почте.

Создание новых хостов с СУБД неподдерживаемых версий становится невозможным. Через 7 дней после оповещения для минорных версий и через 1 месяц для мажорных версий проводится автоматическое обновление кластеров БД до следующей поддерживаемой версии. Обновление неподдерживаемых мажорных версий происходит даже если у вас отключено автоматическое обновление.

Как рассчитывается стоимость потребления для хоста базы данных?

В Managed Service for PostgreSQL стоимость потребления рассчитывается исходя из следующих параметров:

  • Выбранный класс хостов.
  • Объем хранилища, зарезервированного для хоста БД.
  • Объем резервных копий кластера БД. Объем резервных копий, равный объему хранилища, не тарифицируется. Хранение резервных копий сверх этого объема оплачивается по тарифам.
  • Количество часов работы хоста БД. Неполные часы округляются до целого значения. Стоимость часа работы для каждого класса хостов приведена в разделе Правила тарификации для Managed Service for PostgreSQL.

Как изменить вычислительные ресурсы и объем хранилища для кластера БД?

Вы можете изменять вычислительные ресурсы и объем хранилища в консоли управления — просто выберите другой класс хостов для нужного кластера.

Характеристики кластера изменяются в течение 30 минут. В этот период также могут быть включены другие сервисные работы по кластеру, например, установка обновлений.

Можно ли настроить автоматическое увеличение размера хранилища кластера?

Да, автоматическое увеличение размера хранилища можно настроить при создании или изменении кластера.

Включено ли резервное копирование хостов БД по умолчанию?

Да, по умолчанию резервное копирование включено. Для PostgreSQL выполняется полное резервное копирование один раз в сутки, и сохраняются все журналы транзакций кластера БД. Это позволяет восстановить состояние кластера на любой момент времени в пределах периода хранения резервных копий, за исключением последних 30 секунд.

По умолчанию резервные копии хранятся 7 дней.

Когда выполняется резервное копирование? Доступен ли кластер БД во время резервного копирования?

Окно резервного копирования — это интервал времени, в течение которого выполняется ежедневное полное резервное копирование кластера БД. Окно резервного копирования — 01:00−05:00 по московскому времени.

Во время окна резервного копирования кластеры остаются полностью доступными.

Шифруется ли соединение с кластером БД PostgreSQL?

Соединение между кластером БД и приложением всегда шифруется с использованием SSL. Отключить шифрование соединений с кластером нельзя.

Что такое реплика для чтения в PostgreSQL?

Реплика для чтения — это доступный только для чтения хост в кластере БД PostgreSQL, данные на котором синхронизируются с хостом-мастером (применимо только если в кластере работает более 1 хоста). Вы можете использовать реплику для чтения для снижения нагрузки на мастер в базах данных с большим объемом запросов на чтение.

За какими метриками и процессами можно следить с помощью мониторинга?

Для всех типов СУБД можно отслеживать:

  • загрузку процессора, памяти, сети, дисков в абсолютных величинах;
  • объем данных кластера БД и остаток свободного места в хранилище данных.

Для всех хостов БД можно отслеживать метрики, специфические для типа соответствующей СУБД. Например для PostgreSQL можно отслеживать:

  • среднее время выполнения запроса;
  • количество запросов в секунду;
  • количество ошибок в журналах и т. д.

Мониторинг можно осуществлять с минимальной гранулярностью в 5 секунд.

Я могу получить логи моей работы в сервисах?

Да, вы можете запросить записи о том, что происходило с вашими ресурсами, из логов сервисов Yandex Cloud. Подробнее читайте в разделе Запросы данных.

Какие ограничения накладываются на кластеры БД PostgreSQL?

Подробнее об ограничениях Managed Service for PostgreSQL см. раздел Квоты и лимиты в Managed Service for PostgreSQL. В разделе Классы хостов PostgreSQL приведены характеристики кластеров, которые можно создать с помощью Managed Service for PostgreSQL.

Какие расширения для PostgreSQL поддерживаются в Managed Service for PostgreSQL?

Список поддерживаемых расширений для PostgreSQL приведен в разделе Управление расширениями.

В каком дата-центре хранятся резервные копии кластера PostgreSQL?

Резервные копии кластера хранятся и доступны сразу во всех трех дата-центрах.

Соответствует ли сервис требованиям Федерального закона Российской Федерации № 152-ФЗ О персональных данных?

Да, вы можете ознакомиться с полным заключением по результатам аудита системы защиты.

Могу ли я получить права суперпользователя в PostgreSQL?

Нет, права суперпользователя недоступны пользователям Managed Service for PostgreSQL. Максимальные привилегии при работе с кластером имеет пользователь с ролью mdb_admin.

Могу ли я скопировать данные из таблицы Managed Service for PostgreSQL в локальный файл? А заполнить таблицу данными из локального файла?

Да, вы можете как скопировать данные из таблицы в локальный файл, так и заполнить таблицу данными из локального файла. Подробнее см. в разделе Копирование и заполнение таблицы с локальной машины.

Есть ли какие-то особенности или ограничения работы сборщика мусора в кластере Managed Service for PostgreSQL?

В кластере Managed Service for PostgreSQL поддерживаются все параметры команды VACUUM, но при их использовании учитывайте, что:

  • Для выполнения полной очистки (VACUUM FULL) пользователю должна быть назначена роль mdb_admin. Полная очистка не затронет служебные таблицы.
  • В PostgreSQL версии 14 расширена функциональность параметра INDEX_CLEANUP: теперь по умолчанию он имеет значение AUTO. Это означает, что команда VACUUM пропускает очистку индекса, если считает ее нецелесообразной. Если вы хотите обеспечить обратную совместимость с предыдущими версиями PostgreSQL, установите параметр INDEX_CLEANUP в значение ON.

Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

Вероятно, максимальные значения IOPS и пропускной способности (bandwidth) хранилища недостаточны для обработки текущего количества запросов. В этом случае срабатывает троттлинг и быстродействие всего кластера падает.

Максимальные IOPS и bandwidth прирастают на фиксированную величину при увеличении размера хранилища на определенный шаг. Шаг и прирост зависят от типа дисков:

Тип дисков Шаг, ГБ Прирост макс. IOPS (чтение/запись) Прирост макс. bandwidth (чтение/запись), МБ/с
network-hdd 256 300/300 30/30
network-ssd 32 1000/1000 15/15
network-ssd-nonreplicated 93 28000/5600 110/82

Чтобы увеличить максимальные значения IOPS и bandwidth и снизить вероятность троттлинга, расширьте размер хранилища при изменении кластера.

Если вы используете хранилище с типом диска network-hdd, рассмотрите возможность перехода на network-ssd или network-ssd-nonreplicated путем восстановления кластера из резервной копии.

Подключение

Возможен ли доступ к кластеру изнутри Yandex Cloud?

К хостам кластера Managed Service for PostgreSQL можно подключиться:

  • Через интернет, если вы настроили публичный доступ для нужного хоста. К таким хостам подключиться можно только используя SSL-соединение.
  • С виртуальных машин Yandex Cloud, расположенных в той же облачной сети. Если к хосту нет публичного доступа, для подключения с таких виртуальных машин необязательно использовать SSL-соединение.
  • Из контейнера в сервисе Yandex Serverless Containers. Если к хосту нет публичного доступа, контейнер должен располагаться в той же облачной сети.

Подробнее см. в документации сервиса.

Можно ли подключиться к кластеру из Docker-контейнера?

Да, для этого настройте Dockerfile.

Пример подключения из контейнера в сервисе Yandex Serverless Containers см. в практическом руководстве.

Как получить SSL-сертификат для подключения к Managed Service for PostgreSQL на Windows?

SSL-сертификат можно получить с помощью PowerShell:

mkdir $HOME\.postgresql; curl.exe --output $HOME\.postgresql\root.crt https://storage.yandexcloud.net/cloud-certs/CA.pem

Сертификат будет сохранен в файле $HOME\.postgresql\root.crt.

Подробнее о получении сертификата и подключении к базе данных см. в документации сервиса.

Что делать, если при получении SSL-сертификата через PowerShell возникает ошибка проверки отзыва?

Полный текст ошибки:

curl: (35) schannel: next InitializeSecurityContext failed: Unknown error (0x80092012)
The revocation function was unable to check revocation for the certificate

Это означает, что при подключении к веб-сайту не удалось проверить, есть ли его сертификат в списке отозванных.

Чтобы исправить ошибку:

  • убедитесь, что проверку не блокируют настройки корпоративной сети;

  • выполните команду с параметром --ssl-no-revoke.

    mkdir $HOME\.postgresql; curl.exe --ssl-no-revoke -o $HOME\.postgresql\root.crt https://storage.yandexcloud.net/cloud-certs/CA.pem

Как установить SSL-сертификат для подключения Power BI к Managed Service for PostgreSQL через psql?

  1. Установите Windows Subsystem for Linux (WSL) и выполните в терминале команду:

    mkdir /mnt/c/temp && \
curl "https://storage.yandexcloud.net/cloud-certs/CA.pem" --output /mnt/c/temp/CA.pem && \
openssl pkcs12 -export -out /mnt/c/temp/CA.pfx -nokeys -in /mnt/c/temp/CA.pem

    Сертификат будет доступен по пути C:\temp\CA.pfx.

  2. Разместите полученный сертификат в хранилище сертификатов Windows.

Что делать, если при подключении я получаю ошибку SSL is required?

Ошибка означает, что вы пытаетесь подключиться к кластеру с хостом в публичном доступе. Такие хосты поддерживают только соединения с SSL-сертификатом. Вы можете:

Можно ли подключиться к хостам кластера по SSH или получить на хостах права суперпользователя?

Подключиться к хостам через SSH не получится, как и получить права суперпользователя. Это сделано в целях безопасности и отказоустойчивости пользовательских кластеров, так как прямые изменения внутри хоста могут привести к его полной неработоспособности.

Сколько одновременных подключений к одному хосту доступно в Managed Service for PostgreSQL?

Количество одновременных подключений задается на уровне кластера в настройке Max connections. По умолчанию установлено максимальное значение, которое задается формулой:

200 × <количество_vCPU_на_одном_хосте>

О том, как изменить настройки PostgreSQL на уровне кластера читайте в документации.

Сколько подключений доступно одному пользователю?

По умолчанию кластер резервирует для каждого пользователя 50 подключений к каждому хосту. Вы можете изменить это количество в настройке Conn limit.

Если лимит подключений для пользователя будет исчерпан, то попытка открыть новое подключение завершится ошибкой:

too many active clients for user (pool_size for user <имя_пользователя> reached <значение_лимита>)

О том, как изменить настройки PostgreSQL на уровне пользователя читайте в документации.

Почему при попытке подключиться к базе данных возникает ошибка?

Подключение к базе данных может завершиться ошибкой вида:

ERROR: odyssey: ce3ea075f4ffa: route for 'dbname.username' is not found

Ошибка означает, что в параметрах подключения указано неверное имя базы данных.

Почему при попытке подключиться к базе данных из Looker Studio возникает ошибка?

Для подключения из Looker Studio необходимо сгенерировать и указать в настройках подключения файл сертификата клиента и приватный ключ. О том, как это сделать, см. в разделе Подключение из Looker Studio.

Почему соединение завершается ошибкой?

Соединение с кластером Managed Service for PostgreSQL может завершаться сообщением:

FATAL: terminating connection due to administrator command

Такое сообщение не является ошибкой, а означает, что длительность сессии/транзакции превысила значение настройки Session duration timeout (по умолчанию — 12 часов).

Изменение кластера

Почему кластер перешел в статус Updating во время внепланового создания резервной копии?

Кластер переходит в статус Updating сразу после запуска процесса создания резервной копии. Отменить операцию невозможно — дождитесь ее завершения.

Время выполнения операции зависит от ряда факторов: объем БД, конфигурация кластера, характер хранимых данных и т. д. Средняя скорость восстановления кластера из резервной копии приблизительно равна 100 Мб/сек.

Можно ли одновременно создавать две базы данных в PostgreSQL?

Одновременное выполнение нескольких операций над кластером невозможно: это архитектурная особенность технологий, используемых Yandex Cloud.

Как изменить количество подключений, доступное пользователю?

Можно. Для этого измените значения соответствующих настроек:

  • Conn limit — максимальное количество подключений к хосту для одного пользователя. По умолчанию равно 50. Не может быть меньше 10.
  • Max connections — максимальное количество подключений, зарезервированных для всех пользователей. По умолчанию равно 200 × <количество_vCPU_на_каждом_хосте>. При этом нужно учитывать, что в это число входит 15 служебных подключений: например, если для кластера задан параметр "max_connections": 100, то вы можете зарезервировать не более 85 подключений на каждый хост кластера для пользователей.

Можно ли изменить класс существующего хоста (standard, memory-optimized, burstable)?

Можно — для этого воспользуйтесь инструкцией в разделе Изменение настроек кластера.

Можно ли изменить тип диска в существующем кластере?

Можно. Для этого восстановите кластер из резервной копии и при задании настроек нового кластера укажите нужный тип диска.

Можно ли управлять кластером с помощью команд SQL?

Существуют ограничения на управление кластером с помощью команд SQL. Подробнее см. в разделе Ограничения для команд SQL.

Почему я не могу остановить кластер?

Текст ошибки:

ERROR: rpc error: code = FailedPrecondition desc = Cluster has no backups

Остановить кластер, у которого нет резервных копий, невозможно. Чтобы устранить ошибку и остановить кластер, создайте резервную копию.

Настройки параметров кластера

Параметр autovacuum по умолчанию включен для всех таблиц?

Да, AUTOVACUUM включен для всех таблиц по умолчанию.

Процесс автоочистки запускается не по времени, а по достижении значений, заданных в настройках — например, когда доля измененных или удаленных записей в таблице равна значению настройки Autovacuum vacuum scale factor.

Подробнее см. в документации PostgreSQL.

Какие значения LC_COLLATE и LC_CTYPE по умолчанию выставляются для баз данных?

По умолчанию для создаваемых баз данных выставляются значения LC_CTYPE=C и LC_COLLATE=C. Для базы данных, которую вы создаете вместе с кластером, эти настройки изменить нельзя, но вы можете создать новую базу и указать нужные значения для нее.

Можно ли изменить значения LC_COLLATE и LC_CTYPE?

Настройки локали нельзя изменить после создания базы данных. Вы можете:

  • создать новую базу данных с нужными настройками;
  • задать локаль сортировки (LC_COLLATE) для элементов уже созданной базы данных:
    • при вызове функции: 
      SELECT lower(t1 COLLATE "ru_RU.utf8") FROM test;
    • при создании и изменении таблицы: 
      CREATE TABLE test (t1 text COLLATE "ru_RU.utf8");

Можно ли сменить владельца БД?

После создания БД изменить ее владельца невозможно. Если создать БД через Terraform и затем поменять ее владельца в параметре owner, это приведет к пересозданию БД и потере данных.

Перемещение и восстановление кластера

Можно ли восстановить резервную копию кластера в работающий экземпляр Managed Service for PostgreSQL в другой облачной сети?

Восстановить кластер из резервной копии можно только в рамках одной облачной сети.

Чтобы перенести данные между облачными сетями, воспользуйтесь инструкциями по миграции.

Можно ли изменить срок хранения автоматических резервных копий?

При создании или изменении кластера можно задать срок хранения автоматических резервных копий.

Нужен ли плагин wal2json, если выполняется только реплицирование, но не копирование данных?

Да, плагин обязателен, даже если вы не выполняете копирование данных.

Можно ли локально выгрузить резервную копию базы данных?

Локально выгрузить резервную копию из Yandex Cloud средствами сервиса нельзя, но вы можете воспользоваться утилитой pg_dump.

Как перенести локальный дамп базы данных PostgreSQL в Yandex Cloud?

Воспользуйтесь инструкцией в разделе Миграция базы данных.

Почему перенос данных через создание и восстановление логического дампа завершается ошибкой?

Восстановление логического дампа может завершаться одной из ошибок:

  • ERROR: role "<имя_пользователя_источника>" does not exist
  • ERROR: must be member of role "<имя_пользователя_источника>"

Ошибки связаны с отсутствием в кластере-приемнике пользователя или привилегий пользователя, от имени которого был создан логический дамп в кластере-источнике.

Чтобы устранить ошибки:

  1. Добавьте пользователя в кластере-приемнике с доступом к базе данных для переноса и таким же именем, что и у пользователя, с помощью которого был создан логический дамп в кластере-источнике.
  2. Восстанавливайте логической дамп с помощью этого пользователя или выдайте его привилегии пользователю, с помощью которого вы восстанавливаете логической дамп.

Мониторинг и логи

Где я могу отслеживать использование дискового пространства, чтобы не превысить лимит в 95% для перехода в read-only?

Отслеживать использование дискового пространства можно:

Логи хранятся на том же диске, что и данные PostgreSQL? Как они тарифицируются?

Логи хранятся отдельно от диска с данными и ротируются автоматически. Посмотреть информацию о логах можно командой CLI:

yc managed-postgresql cluster list-logs <идентификатор_кластера>

Использование хранилища с логами кластера не тарифицируется.

Как долго хранятся логи?

Логи кластера хранятся 30 дней.

Что такое WAL и для чего они нужны?

Журналы Write-Ahead Log нужны для записи данных на диск и их репликации. Они создаются при запросах на запись и занимают место на диске до момента полной записи информации с журналов на диски хостов — это обеспечивает отказоустойчивость и надежность СУБД.

Подробнее о принципах работы PostgreSQL см. в официальной документации.

Что означает параметр Cached в мониторинге RAM хоста кластера PostgreSQL?

В Cached помещаются кешированные данные. Большинство операций выполняется на уровне оперативной памяти, так как вся информация базы данных хранится именно там. Кеширование происходит не только для баз данных, но и для диска — из-за этого объём кешированных данных может превышать размер хранилища.

В случае увеличения потребления оперативной памяти приложениями часть памяти с кешем может высвобождаться.

Подробнее о кешировании данных дисков в Linux см. в документации.

Как получать алерты о критических показателях кластера PostgreSQL?

Воспользуйтесь сервисом Yandex Monitoring и настройте алерты по критичным для вас параметрам.

Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?

Создайте алерт с метрикой disk.used_bytes в сервисе Yandex Monitoring. Метрика показывает размер использованного дискового пространства в кластере Managed Service for PostgreSQL.

Для disk.used_bytes используются пороги для оповещения. Их рекомендуемые значения:

  • Alarm — 90% дискового пространства.
  • Warning — 80% дискового пространства.

Значения порогов задаются только в байтах. Например, рекомендуемые значения для диска размером в 100 ГБ:

  • Alarm — 96636764160 байт (90%).
  • Warning — 85899345920 байт (80%).
Предыдущая
Мониторинг и логи
Следующая
Обучающие курсы