Блокировка состояний Terraform с помощью Yandex Managed Service for YDB

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробнее о Terraform читайте в документации.

Чтобы управлять инфраструктурой могли несколько пользователей одновременно, состояния Terraform можно автоматически загружать и хранить в Yandex Object Storage.

Когда несколько пользователей одновременно работают с одним состоянием, загруженным в Object Storage, возможны конфликты. Чтобы предотвратить их, вы можете развернуть базу данных в Yandex Managed Service for YDB и использовать ее для механизма блокировок, встроенного в Terraform (state locking). При каждом изменении инфраструктуры через Terraform состояние будет автоматически блокироваться, пока изменение не применится.

Чтобы настроить хранение состояний Terraform в Object Storage и их блокировку с помощью Managed Service for YDB:

1. Подготовьте облако к работе.
2. Создайте сервисный аккаунт и статический ключ доступа.
3. Создайте бакет.
4. Создайте БД Managed Service for YDB.
5. Установите и настройте Terraform.
6. Настройте бэкенд.
7. Разверните конфигурацию.
8. Проверьте сохраненное состояние.
9. Проверьте блокировку состояния.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры для работы с состояниями Terraform входят:

• Плата за хранение данных (см. тарифы Object Storage).
• Плата за выполнение запросов к БД (см. тарифы Managed Service for YDB).

В стоимость поддержки инфраструктуры, разворачиваемой через Terraform в этом руководстве в качестве примера, входят:

• Плата за постоянно запущенную виртуальную машину (см. тарифы Yandex Compute Cloud).
• Плата за использование динамического публичного IP-адреса (см. тарифы Yandex Virtual Private Cloud).

Если вы разворачиваете ресурсы других сервисов Yandex Cloud, стоимость изменится в соответствии с тарифами этих сервисов.

Создайте сервисный аккаунт и статический ключ доступаСоздайте сервисный аккаунт и статический ключ доступа

1. Создайте сервисный аккаунт с ролями storage.editor и ydb.admin на каталог, указанный в настройках провайдера.
2. Получите статический ключ доступа. Сохраните идентификатор ключа и секретный ключ — они понадобятся в следующих разделах инструкции.

Создайте бакетСоздайте бакет

Создайте бакет с ограниченным доступом. В нем будет храниться файл состояния Terraform.

Создайте базу данных Managed Service for YDBСоздайте базу данных Managed Service for YDB

Создайте Serverless БД с именем state-lock-db.

Создайте таблицуСоздайте таблицу

Установите и настройте TerraformУстановите и настройте Terraform

Установите TerraformУстановите Terraform

Получите данные для аутентификацииПолучите данные для аутентификации

Чтобы управлять инфраструктурой Yandex Cloud с помощью Terraform, используйте сервисный аккаунт. Это позволит гибко настраивать права доступа к ресурсам.

Также вы можете использовать Terraform от имени аккаунта на Яндексе или федеративного аккаунта, однако этот способ является менее безопасным. Подробности см. в конце раздела.

1. Если у вас еще нет интерфейса командной строки Yandex Cloud, установите его.

2. Настройте профиль CLI для выполнения операций от имени сервисного аккаунта:

   CLI

   1. Создайте авторизованный ключ для сервисного аккаунта и запишите его файл:

      yc iam key create \
        --service-account-id <идентификатор_сервисного_аккаунта> \
        --folder-name <имя_каталога_с_сервисным_аккаунтом> \
        --output key.json
      

      Где:

      • service-account-id — идентификатор сервисного аккаунта.
      • folder-name — имя каталога, в котором создан сервисный аккаунт.
      • output — имя файла с авторизованным ключом.

      Результат:

      id: aje8nn871qo4********
      service_account_id: ajehr0to1g8b********
      created_at: "2022-09-14T09:11:43.479156798Z"
      key_algorithm: RSA_2048
      

   2. Создайте профиль CLI для выполнения операций от имени сервисного аккаунта. Укажите имя профиля:

      yc config profile create <имя_профиля>
      

      Результат:

      Profile 'sa-terraform' created and activated
      

   3. Задайте конфигурацию профиля:

      yc config set service-account-key key.json
      yc config set cloud-id <идентификатор_облака>
      yc config set folder-id <идентификатор_каталога>
      

      Где:

      • service-account-key — файл с авторизованным ключом сервисного аккаунта.
      • cloud-id — идентификатор облака.
      • folder-id — идентификатор каталога.

3. Добавьте аутентификационные данные в переменные окружения:

   Bash

   PowerShell

   export YC_TOKEN=$(yc iam create-token)
   export YC_CLOUD_ID=$(yc config get cloud-id)
   export YC_FOLDER_ID=$(yc config get folder-id)
   

   Где:

   • YC_TOKEN — IAM-токен.
   • YC_CLOUD_ID — идентификатор облака.
   • YC_FOLDER_ID — идентификатор каталога.

   $Env:YC_TOKEN=$(yc iam create-token)
   $Env:YC_CLOUD_ID=$(yc config get cloud-id)
   $Env:YC_FOLDER_ID=$(yc config get folder-id)
   

   Где:

   • YC_TOKEN — IAM-токен.
   • YC_CLOUD_ID — идентификатор облака.
   • YC_FOLDER_ID — идентификатор каталога.

   Примечание

   Время жизни IAM-токена — не больше 12 часов, но рекомендуется запрашивать его чаще, например каждый час.

export YC_TOKEN=$(yc iam create-token)
export YC_CLOUD_ID=$(yc config get cloud-id)
export YC_FOLDER_ID=$(yc config get folder-id)

$Env:YC_TOKEN=$(yc iam create-token)
$Env:YC_CLOUD_ID=$(yc config get cloud-id)
$Env:YC_FOLDER_ID=$(yc config get folder-id)

Создайте файл конфигурации TerraformСоздайте файл конфигурации Terraform

1. Создайте директорию с произвольным названием, например cloud-terraform. В ней будут храниться конфигурационные файлы Terraform.
2. Создайте в этой директории конфигурационный файл с расширением .tf, например example.tf.

Настройте провайдерНастройте провайдер

1. Если раньше у вас был настроен провайдер из реестра HashiCorp, сохраните его настройки:

   Linux/macOS

   Windows

   mv ~/.terraformrc ~/.terraformrc.old
   

   mv $env:APPDATA/terraform.rc $env:APPDATA/terraform.rc.old
   

2. Укажите источник, из которого будет устанавливаться провайдер.

   Linux/macOS

   Windows

   Откройте файл конфигурации Terraform CLI:

   nano ~/.terraformrc
   

   Примечание

   Файл .terraformrc должен располагаться в корне домашней папки пользователя, например, /home/user/ или /User/user/.

   Откройте файл конфигурации Terraform CLI terraform.rc в папке %APPDATA% вашего пользователя.

   Чтобы узнать абсолютный путь к папке %APPDATA%, выполните команду echo %APPDATA% для cmd или $env:APPDATA для PowerShell.

   Добавьте в него следующий блок:

   provider_installation {
     network_mirror {
       url = "https://terraform-mirror.yandexcloud.net/"
       include = ["registry.terraform.io/*/*"]
     }
     direct {
       exclude = ["registry.terraform.io/*/*"]
     }
   }
   

   Подробнее о настройках зеркал см. в документации.

3. В начале конфигурационного файла .tf добавьте следующие блоки:

   terraform {
     required_providers {
       yandex = {
         source = "yandex-cloud/yandex"
       }
     }
     required_version = ">= 0.13"
   }
   
   provider "yandex" {
     zone = "<зона_доступности_по_умолчанию>"
   }
   

   Где:

   • source — глобальный адрес источника провайдера.
   • required_version — минимальная версия Terraform, с которой совместим провайдер.
   • provider — название провайдера.
   • zone — зона доступности, в которой по умолчанию будут создаваться все облачные ресурсы.

4. Выполните команду terraform init в папке с конфигурационным файлом .tf. Эта команда инициализирует провайдеров, указанных в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

Если провайдер не установился, создайте обращение в поддержку с именем и версией провайдера.

Если вы использовали файл .terraform.lock.hcl, перед инициализацией выполните команду terraform providers lock, указав адрес зеркала, откуда будет загружаться провайдер, и платформы, на которых будет использоваться конфигурация:

terraform providers lock -net-mirror=https://terraform-mirror.yandexcloud.net -platform=<название_платформы_1> -platform=<название_платформы_2> yandex-cloud/yandex

Где:

• -net-mirror — адрес зеркала, откуда будет загружаться провайдер.
• -platform — платформы, на которых будет использоваться конфигурация. Возможные значения:
  • windows_amd64 — 64-bit Windows.
  • linux_amd64 — 64-bit Linux.
  • darwin_arm64 — 64-bit macOS.

Если вы использовали модули Terraform, сначала выполните terraform init, затем удалите lock-файл, а затем выполните команду terraform providers lock.

Более подробную информацию о команде terraform providers lock см. в документации Terraform.

Настройте бэкендНастройте бэкенд

Чтобы сохранить состояние Terraform в Object Storage и активировать блокировку состояний:

1. Добавьте в переменные окружения идентификатор ключа и секретный ключ, полученные ранее:

   Bash

   PowerShell

   export ACCESS_KEY="<идентификатор_ключа>"
   export SECRET_KEY="<секретный_ключ>"
   

2. Добавьте настройки провайдера и бэкенда в конфигурационный файл:

   terraform {
     required_providers {
       yandex = {
         source = "yandex-cloud/yandex"
       }
     }
     required_version = ">= 0.13"
   
     backend "s3" {
       endpoints = {
         s3       = "https://storage.yandexcloud.net"
         dynamodb = "<эндпоинт_Document_API_БД>"
       }
       bucket            = "<имя_бакета>"
       region            = "ru-central1"
       key               = "<путь_к_файлу_состояния_в_бакете>/<имя_файла_состояния>.tfstate"
   
       dynamodb_table = "<имя_таблицы>"
   
       skip_region_validation      = true
       skip_credentials_validation = true
       skip_requesting_account_id  = true # Необходимая опция Terraform для версии 1.6.1 и старше.
       skip_s3_checksum            = true # Необходимая опция при описании бэкенда для Terraform версии 1.6.3 и старше.
     }
   }
   
   provider "yandex" {
     zone = "<зона_доступности_по_умолчанию>"
   }
   

   Где:

   • bucket — имя бакета.
   • dynamodb — Document API базы данных, в формате https://docapi.serverless.yandexcloud.net/ru-central1/b1gia87mbaom********:
   • key — ключ объекта в бакете: путь и имя к файлу состояния Terraform в бакете.
   • dynamodb_table — имя таблицы.

   Подробнее о бэкенде для хранения состояний читайте на сайте Terraform.

3. В папке с конфигурационным файлом выполните команду:

   terraform init
   

Разверните конфигурациюРазверните конфигурацию

В этом примере будет создана ВМ terraform-vm, которая будет подключена к подсети subnet-1 в зоне доступности ru-central1-d. Подсеть будет принадлежать облачной сети network-1.

У ВМ будет: 2 ядра и 4 ГБ оперативной памяти и она автоматически получит публичный и приватный IP-адреса из диапазона 192.168.10.0/24 в подсети subnet-1. На ВМ будет установлена операционная система Ubuntu и размещена публичная часть ключа для доступа по SSH.

1. Сохраните следующую конфигурацию в отдельном файле example-vm.tf в папке с файлом конфигурации бэкенда:

   resource "yandex_compute_image" "ubuntu_2004" {
     source_family = "ubuntu-2004-lts"
   }
   
   resource "yandex_compute_disk" "boot-disk" {
     name     = "boot-disk"
     type     = "network-hdd"
     zone     = "ru-central1-d"
     size     = "20"
     image_id = yandex_compute_image.ubuntu_2004.id
   }
   
   resource "yandex_compute_instance" "vm-1" {
     name = "terraform-vm"
   
     resources {
       cores  = 2
       memory = 4
     }
   
     boot_disk {
       disk_id = yandex_compute_disk.boot-disk.id
     }
   
     network_interface {
       subnet_id = yandex_vpc_subnet.subnet-1.id
       nat       = true
     }
   
     metadata = {
       user-data = "#cloud-config\nusers:\n  - name: <имя_пользователя>\n    groups: sudo\n    shell: /bin/bash\n    sudo: 'ALL=(ALL) NOPASSWD:ALL'\n    ssh_authorized_keys:\n      - ${file("<путь_к_открытому_SSH-ключу>")}"
     }
   }
   
   resource "yandex_vpc_network" "network-1" {
     name = "network1"
   }
   
   resource "yandex_vpc_subnet" "subnet-1" {
     name           = "subnet1"
     zone           = "ru-central1-d"
     network_id     = yandex_vpc_network.network-1.id
     v4_cidr_blocks = ["192.168.10.0/24"]
   }
   
   output "internal_ip_address_vm_1" {
     value = yandex_compute_instance.vm-1.network_interface.0.ip_address
   }
   
   output "external_ip_address_vm_1" {
     value = yandex_compute_instance.vm-1.network_interface.0.nat_ip_address
   }
   
   output "subnet-1" {
     value = yandex_vpc_subnet.subnet-1.id
   }
   

2. Проверьте конфигурацию с помощью команды terraform plan.

3. Разверните конфигурацию с помощью команды terraform apply.

Проверьте сохраненное состояниеПроверьте сохраненное состояние

Убедитесь, что файл состояния загружен в Yandex Object Storage:

Проверьте блокировку состоянияПроверьте блокировку состояния

Попробуйте изменить инфраструктуру одновременно с другим пользователем. Если все работает, Terraform вернет следующее сообщение после выполнения команды terraform apply:

member Error: Error acquiring the state lock

member Error message: ConditionalCheckFailedException: Condition not satisfied
member Lock Info:
member   ID:        <...>
member   Path:      terraform-object-storage-tutorial/TF/cloud-storage.tfstate
member   Operation: OperationTypeApply
member   Who:       LD\user@i7293
member   Version:   1.4.2
member   Created:   <...>
member   Info:

member Terraform acquires a state lock to protect the state from being written
member by multiple users at the same time. Please resolve the issue above and try
member again. For most commands, you can disable locking with the "-lock=false"
member flag, but this is not recommended.

Как удалить созданные ресурсыКак удалить созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

1. Удалите таблицу из БД.
2. Удалите БД state-lock-db.
3. Удалите бакет.

См. такжеСм. также

• Начало работы с Terraform.
• Загрузка состояний Terraform в Object Storage.
• Использование модулей Yandex Cloud в Terraform.
• Источники данных Terraform.