Подключение к Managed Service for PostgreSQL из PySpark-задания в Yandex Managed Service for Apache Spark™ с использованием секрета Yandex Lockbox

Вы можете использовать секрет Yandex Lockbox для подключения к кластеру Yandex Managed Service for PostgreSQL из PySpark-задания в Yandex Managed Service for Apache Spark™. Для этого сервисному аккаунту кластера Yandex Managed Service for Apache Spark™ необходимо предоставить доступ к секрету. Секрет создается сервисом Yandex Connection Manager автоматически при создании пользователя Managed Service for PostgreSQL.

Для PySpark-задания используется Python-скрипт, который хранится в бакете Yandex Object Storage. Скрипт получает пароль пользователя из секрета и использует его для подключения к кластеру Managed Service for PostgreSQL.

Чтобы получить информацию из секрета и подключиться к кластеру Managed Service for PostgreSQL, выполните следующие действия:

1. Подготовьте инфраструктуру.
2. Настройте права доступа к секрету пользователя.
3. Подготовьте PySpark-задание.
4. Запустите задание и проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер Yandex Managed Service for Apache Spark™: вычислительные ресурсы компонентов кластера (см. тарифы Yandex Managed Service for Apache Spark™).
• Кластер Managed Service for PostgreSQL: использование выделенных хостам вычислительных ресурсов, объем хранилища и резервных копий (см. тарифы Managed Service for PostgreSQL).
• Бакет Object Storage: использование хранилища и выполнение операций с данными (см. тарифы Object Storage).
• NAT-шлюз: почасовое использование шлюза и исходящий через него трафик (см. тарифы Virtual Private Cloud).
• Публичные IP-адреса, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).

Использование секретов Yandex Lockbox, созданных с помощью Connection Manager, не тарифицируется.

Подготовьте инфраструктуруПодготовьте инфраструктуру

1. Создайте сервисный аккаунт spark-agent и назначьте ему роли:

   • managed-spark.integrationProvider — для взаимодействия Yandex Managed Service for Apache Spark™ с другими сервисами;
   • storage.editor — для доступа к файлу с PySpark-заданием в бакете Object Storage.

2. Создайте бакет.

3. Предоставьте разрешение READ для сервисного аккаунта spark-agent на созданный бакет.

4. Создайте облачную сеть с именем spark-network.

   Вместе с ней автоматически будут созданы три подсети в разных зонах доступности.

5. В сети spark-network создайте группу безопасности spark-sg для кластера Yandex Managed Service for Apache Spark™, разрешающую исходящие TCP-подключения:

   • на порт 6432 для подключения к PostgreSQL;
   • на порт 443 для скачивания Maven-пакетов.

6. В сети spark-network создайте группу безопасности pg-sg для кластера Managed Service for PostgreSQL, разрешающую входящие TCP-подключения на порт 6432.

7. Создайте кластер Yandex Managed Service for Apache Spark™ со следующими настройками:

   • Сервисный аккаунт — spark-agent.
   • Сеть — spark-network.
   • Группа безопасности — spark-sg.

8. Настройте NAT-шлюз для подсети, в которой создан кластер Yandex Managed Service for Apache Spark™. NAT-шлюз нужен для скачивания JDBC-драйвера PostgreSQL из Maven-репозитория.

9. Создайте кластер Managed Service for PostgreSQL со следующими настройками:

   • Сеть — spark-network.
   • Группа безопасности — pg-sg.

Настройте права доступа к секрету пользователя Managed Service for PostgreSQLНастройте права доступа к секрету пользователя Managed Service for PostgreSQL

Подготовьте PySpark-заданиеПодготовьте PySpark-задание

1. Создайте локально файл с именем job-mpg-connection-with-secret.py и скопируйте в него скрипт:

   job-mpg-connection-with-secret.py

   import json
   import os
   import urllib.request
   from pyspark.sql import SparkSession
   
   def get_secret(secret_id: str) -> dict:
       """Получение секрета из Yandex Lockbox."""
       # Получение IAM-токена через metadata service
       metadata_host = os.environ.get("YC_METADATA_ADDR", "169.254.169.254")
       token_url = f"http://{metadata_host}/computeMetadata/v1/instance/service-accounts/default/token"
   
       req = urllib.request.Request(token_url)
       req.add_header("Metadata-Flavor", "Google")
       with urllib.request.urlopen(req, timeout=10) as resp:
           token = json.loads(resp.read())["access_token"]
   
       # Получение секрета Yandex Lockbox
       secret_url = f"https://payload.lockbox.api.cloud.yandex.net/lockbox/v1/secrets/{secret_id}/payload"
       req = urllib.request.Request(secret_url)
       req.add_header("Authorization", f"Bearer {token}")
       with urllib.request.urlopen(req, timeout=30) as resp:
           payload = json.loads(resp.read())
           return {e["key"]: e["textValue"] for e in payload["entries"]}
   
   
   # Использование функции получения секрета
   secrets = get_secret("<идентификатор_секрета>")
   
   # Инициализация Spark сессии
   spark = SparkSession.builder.appName("db-reader").getOrCreate()
   
   # Подключение к кластеру Managed Service for PostgreSQL
   df = spark.read \
       .format("jdbc") \
       .option("url", f"jdbc:postgresql://<FQDN_хоста>:6432/<имя_БД>") \
       .option("driver", "org.postgresql.Driver") \
       .option("user", "<имя_пользователя>") \
       .option("password", secrets["postgresql_password"]) \
       .option("dbtable", "<имя_таблицы>") \
       .load()
   
   # Вывод первых 20 строк таблицы
   df.show()
   

2. Укажите в файле скрипта следующие параметры:

   • идентификатор секрета;
   • FQDN хоста для подключения к кластеру Managed Service for PostgreSQL;
   • имя базы данных;
   • имя таблицы.

Запустите задание и проверьте результатЗапустите задание и проверьте результат

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Кластер Yandex Managed Service for Apache Spark™.
2. Кластер Managed Service for PostgreSQL.
3. Бакет Object Storage. Перед удалением бакета удалите из него все объекты.
4. NAT-шлюз.