Блокировка состояний Terraform с помощью Yandex Managed Service for YDB
- Подготовьте облако к работе
- Создайте сервисный аккаунт и статический ключ доступа
- Создайте бакет
- Создайте базу данных Managed Service for YDB
- Установите и настройте Terraform
- Настройте бэкенд
- Разверните конфигурацию
- Проверьте сохраненное состояние
- Проверьте блокировку состояния
- Как удалить созданные ресурсы
- См. также
Terraform
Terraform распространяется под лицензией Business Source License
Подробнее о Terraform читайте в документации.
Чтобы управлять инфраструктурой могли несколько пользователей одновременно, состояния Terraform можно автоматически загружать и хранить в Yandex Object Storage.
Когда несколько пользователей одновременно работают с одним состоянием из Object Storage, возможны конфликты. Чтобы предотвратить их, вы можете развернуть базу данных в Yandex Managed Service for YDB и использовать ее для механизма блокировок, встроенного в Terraform (state locking). При каждом изменении инфраструктуры через Terraform состояние будет автоматически блокироваться, пока изменение не применится.
Чтобы настроить хранение состояний Terraform в Object Storage и их блокировку с помощью Managed Service for YDB:
- Подготовьте облако к работе.
- Создайте сервисный аккаунт и статический ключ доступа.
- Создайте бакет.
- Создайте БД Managed Service for YDB.
- Установите и настройте Terraform.
- Настройте бэкенд.
- Разверните конфигурацию.
- Проверьте сохраненное состояние.
- Проверьте блокировку состояния.
Если созданные ресурсы вам больше не нужны, удалите их.
Подготовьте облако к работе
Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:
- Перейдите в консоль управления
, затем войдите в Yandex Cloud или зарегистрируйтесь. - На странице Yandex Cloud Billing
убедитесь, что у вас подключен платежный аккаунт, и он находится в статусеACTIVE
илиTRIAL_ACTIVE
. Если платежного аккаунта нет, создайте его и привяжите к нему облако.
Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака
Подробнее об облаках и каталогах.
Необходимые платные ресурсы
В стоимость поддержки инфраструктуры для работы с состояниями Terraform входят:
- Плата за хранение данных (см. тарифы Object Storage).
- Плата за выполнение запросов к БД (см. тарифы Managed Service for YDB).
В стоимость поддержки инфраструктуры, разворачиваемой через Terraform в этом руководстве в качестве примера, входят:
- Плата за постоянно запущенную виртуальную машину (см. тарифы Yandex Compute Cloud).
- Плата за использование динамического публичного IP-адреса (см. тарифы Yandex Virtual Private Cloud).
Если вы разворачиваете ресурсы других сервисов Yandex Cloud, стоимость изменится в соответствии с тарифами этих сервисов.
Создайте сервисный аккаунт и статический ключ доступа
- Создайте сервисный аккаунт с ролями storage.editor и ydb.admin на каталог, указанный в настройках провайдера.
- Получите статический ключ доступа. Сохраните идентификатор ключа и секретный ключ — они понадобятся в следующих разделах инструкции.
Создайте бакет
Создайте бакет с ограниченным доступом. В нем будет храниться файл состояния Terraform.
Создайте базу данных Managed Service for YDB
Создайте Serverless БД с именем state-lock-db
.
Создайте таблицу
-
В консоли управления
выберите каталог, в котором находится ваша БД. -
В списке сервисов выберите Managed Service for YDB.
-
В списке БД выберите
state-lock-db
. -
Перейдите на вкладку Навигация.
-
В правом верхнем углу нажмите Создать и выберите Таблица.
-
Укажите имя таблицы
state-lock-table
. -
В параметрах таблицы укажите Тип таблицы — документная таблица.
-
В графе Колонки укажите:
- Имя —
LockID
. - Тип —
String
. - Ключ партицирования — поставьте галочку.
Остальные колонки удалите.
- Имя —
-
Нажмите Создать таблицу.
Чтобы создать таблицу с помощью AWS CLI:
-
Выполните команду:
aws dynamodb create-table \ --table-name <имя_таблицы> \ --attribute-definitions \ AttributeName=LockID,AttributeType=S \ --key-schema \ AttributeName=LockID,KeyType=HASH \ --endpoint <document-api-endpoint_БД>
Где:
--table-name
— имя таблицы.--attribute-definitions
— параметры колонок:AttributeName
— имя колонки.AttributeType
— тип данных. В примере используется строковые данные (S
).
--key-schema
— схема ключей для колонки:AttributeName
— имя колонки.KeyType
— тип ключа. В примере используется ключ партицирования (HASH
).
--endpoint
— эндпоинт Document API БД. Найти его можно на главной странице БД, в графе Document API эндпоинт.
Установите и настройте Terraform
Установите Terraform
Используйте один из способов:
-
Скачайте дистрибутив Terraform
и установите его согласно инструкции . -
Установите Terraform с помощью пакетного менеджера Chocolatey
, используя команду:choco install terraform
Скачайте дистрибутив Terraform
Используйте один из способов:
-
Скачайте дистрибутив Terraform
и установите его согласно инструкции . -
Установите Terraform с помощью пакетного менеджера Homebrew
, используя команду:brew install terraform
Получите данные для аутентификации
Чтобы управлять инфраструктурой Yandex Cloud с помощью Terraform, используйте сервисный аккаунт. Это позволит гибко настраивать права доступа к ресурсам.
Также вы можете использовать Terraform от имени аккаунта на Яндексе или федеративного аккаунта, однако этот способ является менее безопасным. Подробности см. в конце раздела.
-
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите его.
-
Настройте профиль CLI для выполнения операций от имени сервисного аккаунта:
CLI-
Создайте авторизованный ключ для сервисного аккаунта и запишите его файл:
yc iam key create \ --service-account-id <идентификатор_сервисного_аккаунта> \ --folder-name <имя_каталога_с_сервисным_аккаунтом> \ --output key.json
Где:
service-account-id
— идентификатор сервисного аккаунта.folder-name
— имя каталога, в котором создан сервисный аккаунт.output
— имя файла с авторизованным ключом.
Результат:
id: aje8nn871qo4******** service_account_id: ajehr0to1g8b******** created_at: "2022-09-14T09:11:43.479156798Z" key_algorithm: RSA_2048
-
Создайте профиль CLI для выполнения операций от имени сервисного аккаунта. Укажите имя профиля:
yc config profile create <имя_профиля>
Результат:
Profile 'sa-terraform' created and activated
-
Задайте конфигурацию профиля:
yc config set service-account-key key.json yc config set cloud-id <идентификатор_облака> yc config set folder-id <идентификатор_каталога>
Где:
service-account-key
— файл с авторизованным ключом сервисного аккаунта.cloud-id
— идентификатор облака.folder-id
— идентификатор каталога.
-
-
Добавьте аутентификационные данные в переменные окружения:
BashPowerShellexport YC_TOKEN=$(yc iam create-token) export YC_CLOUD_ID=$(yc config get cloud-id) export YC_FOLDER_ID=$(yc config get folder-id)
Где:
YC_TOKEN
— IAM-токен.YC_CLOUD_ID
— идентификатор облака.YC_FOLDER_ID
— идентификатор каталога.
$Env:YC_TOKEN=$(yc iam create-token) $Env:YC_CLOUD_ID=$(yc config get cloud-id) $Env:YC_FOLDER_ID=$(yc config get folder-id)
Где:
YC_TOKEN
— IAM-токен.YC_CLOUD_ID
— идентификатор облака.YC_FOLDER_ID
— идентификатор каталога.
Примечание
Время жизни IAM-токена — не больше 12 часов, но рекомендуется запрашивать его чаще, например каждый час.
Управление ресурсами от имени аккаунта на Яндексе или федеративного аккаунта
Важно
Управление ресурсами от имени аккаунта на Яндексе или федеративного аккаунта пользователя является менее безопасным, чем использование сервисного аккаунта.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name
или --folder-id
.
Если вы используете федеративный аккаунт, аутентифицируйтесь в CLI от имени федеративного пользователя.
Добавьте аутентификационные данные в переменные окружения:
export YC_TOKEN=$(yc iam create-token)
export YC_CLOUD_ID=$(yc config get cloud-id)
export YC_FOLDER_ID=$(yc config get folder-id)
Где:
YC_TOKEN
— IAM-токен.YC_CLOUD_ID
— идентификатор облака.YC_FOLDER_ID
— идентификатор каталога.
$Env:YC_TOKEN=$(yc iam create-token)
$Env:YC_CLOUD_ID=$(yc config get cloud-id)
$Env:YC_FOLDER_ID=$(yc config get folder-id)
Где:
YC_TOKEN
— IAM-токен.YC_CLOUD_ID
— идентификатор облака.YC_FOLDER_ID
— идентификатор каталога.
Примечание
Время жизни IAM-токена — не больше 12 часов, но рекомендуется запрашивать его чаще, например каждый час.
Создайте файл конфигурации Terraform
- Создайте директорию с произвольным названием, например
cloud-terraform
. В ней будут храниться конфигурационные файлы Terraform. - Создайте в этой директории конфигурационный файл с расширением
.tf
, напримерexample.tf
.
Настройте провайдер
Примечание
Настройки применимы для Terraform 0.13
и более поздних версий. Рекомендуется использовать последнюю стабильную версию Terraform.
-
Если раньше у вас был настроен провайдер из реестра HashiCorp, сохраните его настройки:
Linux/macOSWindowsmv ~/.terraformrc ~/.terraformrc.old
mv $env:APPDATA/terraform.rc $env:APPDATA/terraform.rc.old
-
Укажите источник, из которого будет устанавливаться провайдер.
Linux/macOSWindowsОткройте файл конфигурации Terraform CLI:
nano ~/.terraformrc
Примечание
Файл
.terraformrc
должен располагаться в корне домашней папки пользователя, например,/home/user/
или/User/user/
.Откройте файл конфигурации Terraform CLI
terraform.rc
в папке%APPDATA%
вашего пользователя.Чтобы узнать абсолютный путь к папке
%APPDATA%
, выполните командуecho %APPDATA%
для cmd или$env:APPDATA
для PowerShell.Добавьте в него следующий блок:
provider_installation { network_mirror { url = "https://terraform-mirror.yandexcloud.net/" include = ["registry.terraform.io/*/*"] } direct { exclude = ["registry.terraform.io/*/*"] } }
Подробнее о настройках зеркал см. в документации
. -
В начале конфигурационного файла
.tf
добавьте следующие блоки:terraform { required_providers { yandex = { source = "yandex-cloud/yandex" } } required_version = ">= 0.13" } provider "yandex" { zone = "<зона_доступности_по_умолчанию>" }
Где:
source
— глобальный адрес источника провайдера.required_version
— минимальная версия Terraform, с которой совместим провайдер.provider
— название провайдера.zone
— зона доступности, в которой по умолчанию будут создаваться все облачные ресурсы.
-
Выполните команду
terraform init
в папке с конфигурационным файлом.tf
. Эта команда инициализирует провайдеров, указанных в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.
Если провайдер не установился, создайте обращение в поддержку
Если вы использовали файл .terraform.lock.hcl
, перед инициализацией выполните команду terraform providers lock
, указав адрес зеркала, откуда будет загружаться провайдер, и платформы, на которых будет использоваться конфигурация:
terraform providers lock -net-mirror=https://terraform-mirror.yandexcloud.net -platform=<название_платформы_1> -platform=<название_платформы_2> yandex-cloud/yandex
Где:
-net-mirror
— адрес зеркала, откуда будет загружаться провайдер.-platform
— платформы, на которых будет использоваться конфигурация. Возможные значения:windows_amd64
— 64-bit Windows.linux_amd64
— 64-bit Linux.darwin_arm64
— 64-bit macOS.
Если вы использовали модули Terraform, сначала выполните terraform init
, затем удалите lock-файл, а затем выполните команду terraform providers lock
.
Более подробную информацию о команде terraform providers lock
см. в документации Terraform
Настройте бэкенд
Примечание
Настройки бэкенда применимы для Terraform 1.6.3
и более поздних версий.
Чтобы сохранить состояние Terraform в Object Storage и активировать блокировку состояний:
-
Добавьте в переменные окружения идентификатор ключа и секретный ключ, полученные ранее:
BashPowerShellexport ACCESS_KEY="<идентификатор_ключа>" export SECRET_KEY="<секретный_ключ>"
-
Добавьте настройки провайдера и бэкенда в конфигурационный файл:
terraform { required_providers { yandex = { source = "yandex-cloud/yandex" } } required_version = ">= 0.13" backend "s3" { endpoints = { s3 = "https://storage.yandexcloud.net" dynamodb = "<эндпоинт_Document_API_БД>" } bucket = "<имя_бакета>" region = "ru-central1" key = "<путь_к_файлу_состояния_в_бакете>/<имя_файла_состояния>.tfstate" dynamodb_table = "<имя_таблицы>" skip_region_validation = true skip_credentials_validation = true skip_requesting_account_id = true # Необходимая опция Terraform для версии 1.6.1 и старше. skip_s3_checksum = true # Необходимая опция при описании бэкенда для Terraform версии 1.6.3 и старше. } } provider "yandex" { zone = "<зона_доступности_по_умолчанию>" }
Где:
bucket
— имя бакета.dynamodb
— Document API базы данных, в форматеhttps://docapi.serverless.yandexcloud.net/ru-central1/b1gia87mbaom********
:key
— ключ объекта в бакете: путь и имя к файлу состояния Terraform в бакете.dynamodb_table
— имя таблицы.
Подробнее о бэкенде для хранения состояний читайте на сайте Terraform
. -
В папке с конфигурационным файлом выполните команду:
terraform init
Разверните конфигурацию
В этом примере будет создана ВМ terraform-vm
, которая будет подключена к подсети subnet-1
в зоне доступности ru-central1-a
. Подсеть будет принадлежать облачной сети network-1
.
У ВМ будет: 2 ядра и 4 ГБ оперативной памяти и она автоматически получит публичный и приватный IP-адреса из диапазона 192.168.10.0/24
в подсети subnet-1
. На ВМ будет установлена операционная система Ubuntu и размещена публичная часть ключа для доступа по SSH.
-
Сохраните следующую конфигурацию в отдельном файле
example-vm.tf
в папке с файлом конфигурации бэкенда:resource "yandex_compute_image" "ubuntu_2004" { source_family = "ubuntu-2004-lts" } resource "yandex_compute_disk" "boot-disk" { name = "boot-disk" type = "network-hdd" zone = "ru-central1-a" size = "20" image_id = yandex_compute_image.ubuntu_2004.id } resource "yandex_compute_instance" "vm-1" { name = "terraform-vm" resources { cores = 2 memory = 4 } boot_disk { disk_id = yandex_compute_disk.boot-disk.id } network_interface { subnet_id = yandex_vpc_subnet.subnet-1.id nat = true } metadata = { user-data = "#cloud-config\nusers:\n - name: <имя_пользователя>\n groups: sudo\n shell: /bin/bash\n sudo: 'ALL=(ALL) NOPASSWD:ALL'\n ssh_authorized_keys:\n - ${file("<путь_к_открытому_SSH-ключу>")}" } } resource "yandex_vpc_network" "network-1" { name = "network1" } resource "yandex_vpc_subnet" "subnet-1" { name = "subnet1" zone = "ru-central1-a" network_id = yandex_vpc_network.network-1.id v4_cidr_blocks = ["192.168.10.0/24"] } output "internal_ip_address_vm_1" { value = yandex_compute_instance.vm-1.network_interface.0.ip_address } output "external_ip_address_vm_1" { value = yandex_compute_instance.vm-1.network_interface.0.nat_ip_address } output "subnet-1" { value = yandex_vpc_subnet.subnet-1.id }
-
Проверьте конфигурацию с помощью команды
terraform plan
. -
Разверните конфигурацию с помощью команды
terraform apply
.
Проверьте сохраненное состояние
Убедитесь, что файл состояния загружен в Yandex Object Storage:
- Откройте консоль управления
и выберите каталог, в котором находится созданный бакет. - Выберите сервис Object Storage.
- В списке бакетов выберите тот, в котором должно было сохраниться состояние Terraform.
- Убедитесь, что в бакете появился файл состояния.
Проверьте блокировку состояния
Попробуйте изменить инфраструктуру одновременно с другим пользователем. Если все работает, Terraform вернет следующее сообщение после выполнения команды terraform apply
:
member Error: Error acquiring the state lock
member Error message: ConditionalCheckFailedException: Condition not satisfied
member Lock Info:
member ID: <...>
member Path: terraform-object-storage-tutorial/TF/cloud-storage.tfstate
member Operation: OperationTypeApply
member Who: LD\user@i7293
member Version: 1.4.2
member Created: <...>
member Info:
member Terraform acquires a state lock to protect the state from being written
member by multiple users at the same time. Please resolve the issue above and try
member again. For most commands, you can disable locking with the "-lock=false"
member flag, but this is not recommended.
Как удалить созданные ресурсы
Если созданные ресурсы вам больше не нужны, удалите их: