Связаться с намиПодключиться

Создать группу виртуальных машин с подключением к Yandex Object Storage

Статья создана
Обновлена 15 ноября 2024 г.

Одним из способов работы со Stateful-нагрузкой является сохранение состояния приложения в независимом от группы ВМ бакете Object Storage.

Чтобы создать группу ВМ, в которой к каждой ВМ будет автоматически подключаться общий бакет Object Storage:

  1. По умолчанию все операции в Instance Groups выполняются от имени сервисного аккаунта. Если сервисного аккаунта нет, создайте его.

  2. Если у вас нет бакета Object Storage, создайте его.

  3. Операции с бакетом выполняются от имени сервисного аккаунта, созданного в том же каталоге, что, что и сам бакет. Если такого сервисного аккаунта нет, создайте его. Для работы с бакетом назначьте сервисному аккаунту роль storage.editor.

    Для работы с группой виртуальных машин и с бакетом можно использовать как один, так и два разных сервисных аккаунта.

  4. Создайте группу ВМ:

    Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

    По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

    1. Посмотрите описание команды CLI для создания группы ВМ:

      yc compute instance-group create --help

    2. Проверьте, есть ли в каталоге сети:

      yc vpc network list

      Если ни одной сети нет, создайте ее.

    3. Выберите один из публичных образов Yandex Cloud Marketplace (например, Ubuntu 22.04 LTS).

      Чтобы получить список доступных образов с помощью CLI, выполните следующую команду:

      yc compute image list --folder-id standard-images

      Результат:

      +----------------------+-------------------------------------+--------------------------+----------------------+--------+
|          ID          |                NAME                 |          FAMILY          |     PRODUCT IDS      | STATUS |
+----------------------+-------------------------------------+--------------------------+----------------------+--------+
...
| fdvk34al8k5n******** | centos-7-1549279494                 | centos-7                 | dqni65lfhvv2******** | READY  |
| fdv7ooobjfl3******** | windows-2016-gvlk-1548913814        | windows-2016-gvlk        | dqnnc72gj2is******** | READY  |
| fdv4f5kv5cvf******** | ubuntu-1604-lts-1549457823          | ubuntu-1604-lts          | dqnnb6dc7640******** | READY  |
...
+----------------------+-------------------------------------+--------------------------+----------------------+--------+

    4. Подготовьте файл с YAML-спецификацией группы ВМ с произвольным именем, например specification.yaml.

      Для того чтобы привязать бакет к виртуальным машинам группы, добавьте в спецификацию:

      • В поле instance_template — вложенное поле service_account_id, содержащее идентификатор сервисного аккаунта с назначенной ролью storage.editor:

        instance_template:
  ...
  service_account_id: <идентификатор_сервисного_аккаунта>

        Чтобы добиться более гранулярного управления правами доступа, привязывайте к группе ВМ и к виртуальным машинам группы разные сервисные аккаунты с разными наборами разрешений.

      • В секцию #cloud-config поля instance_template.metadata.user-data — набор команд для монтирования бакета на ВМ:

        instance_template:
  ...
  metadata:
    user-data: |-
      #cloud-config
      ...
      runcmd:
        - apt-get install fuse
        - wget https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64
        - chmod a+x geesefs-linux-amd64
        - cp geesefs-linux-amd64 /usr/bin/geesefs
        - mkdir <точка_монтирования_на_ВМ>
        - echo "user_allow_other" | tee -a /etc/fuse.conf
        - echo "<имя_бакета>    <точка_монтирования_на_ВМ>    fuse.geesefs    _netdev,allow_other,--iam    0   0" | tee -a /etc/fstab
        - mount -a

        Где:

        • - apt-get install fuse — команда для установки модуля FUSE. Подходит для операционных систем Ubuntu и Debian. Для ОС на основе Red Hat, таких как CentOS и Fedora, используйте команду - yum install fuse, для ОС OpenSUSE — - zypper install fuse, и т.п.
        • <точка_монтирования_на_ВМ> — директория на ВМ, в которую будет смонтирован подключенный бакет. Например: /mnt/gfs0.
        • <имя_бакета> — имя бакета, который требуется подключить к ВМ.

      Пример YAML-спецификации:

      name: vm-group-with-object-storage
service_account_id: ajegtlf2q28a********
description: "Эта группа ВМ создана с помощью YAML-файла конфигурации."
instance_template:
  platform_id: standard-v3
  resources_spec:
    memory: 2g
    cores: 2
  boot_disk_spec:
    mode: READ_WRITE
    disk_spec:
      image_id: fd8dlvgiatiqd8tt2qke
      type_id: network-hdd
      size: 32g
  network_interface_specs:
    - network_id: enp9mji1m7b3********
      primary_v4_address_spec: {
        one_to_one_nat_spec: {
          ip_version: IPV4
        }
      }
      security_group_ids:
        - enpuatgvejtn********
  service_account_id: aje1ki4ae68u********
  metadata:
    user-data: |-
      #cloud-config
      datasource:
       Ec2:
        strict_id: false
      ssh_pwauth: no
      users:
      - name: my-user
        sudo: ALL=(ALL) NOPASSWD:ALL
        shell: /bin/bash
        ssh_authorized_keys:
        - <публичный_SSH-ключ>
      runcmd:
      - apt-get install fuse
      - wget https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64
      - chmod a+x geesefs-linux-amd64
      - cp geesefs-linux-amd64 /usr/bin/geesefs
      - mkdir /mnt/gfs0
      - echo "user_allow_other" | tee -a /etc/fuse.conf
      - echo "my-bucket-for-vm-group    /mnt/gfs0    fuse.geesefs    _netdev,allow_other,--iam    0   0" | tee -a /etc/fstab
      - mount -a
deploy_policy:
  max_unavailable: 1
  max_expansion: 0
scale_policy:
  fixed_scale:
    size: 2
allocation_policy:
  zones:
    - zone_id: ru-central1-a
      instance_tags_pool:
      - first
      - second

      В данном примере приведена спецификация для создания группы ВМ фиксированного размера с подключенным к виртуальным машинам бакетом Object Storage.

      Подробнее о параметрах спецификации группы ВМ см. в разделе Спецификация группы виртуальных машин в формате YAML.

    5. Создайте группу ВМ в каталоге по умолчанию:

      yc compute instance-group create --file specification.yaml

      Данная команда создаст группу из двух однотипных ВМ со следующими характеристиками:

      • С именем my-vm-group-with-object-storage.
      • С OC Ubuntu 22.04 LTS.
      • В зоне доступности ru-central1-a.
      • С 2 vCPU и 2 ГБ RAM.
      • С сетевым HDD-диском объемом 32 ГБ.
      • С подключенным бакетом Object Storage. Бакет будет смонтирован в директорию /mnt/gfs0 виртуальных машин группы.

      • К каждой ВМ группы будет привязан публичный IP-адрес. Это сделано для удобства подключения по SSH к ВМ группы при проверке результата.

        Если вы создадите группу ВМ без публичных IP-адресов, вы по-прежнему сможете подключаться по SSH к ВМ группы, указывая внутренний IP-адрес или FQDN виртуальной машины вместо публичного IP-адреса. Но такое подключение можно выполнить только с другой виртуальной машины, имеющей публичный IP-адрес и расположенной в той же облачной сети Yandex Cloud, что и ВМ группы.

    Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

    1. Опишите в конфигурационном файле параметры ресурсов, которые необходимо создать:

      resource "yandex_iam_service_account" "ig-sa" {
  name        = "ig-sa"
  description = "Сервисный аккаунт для управления группой ВМ."
}

resource "yandex_iam_service_account" "storage-sa" {
  name        = "storage-sa"
  description = "Сервисный аккаунт для управления бакетом."
}

resource "yandex_resourcemanager_folder_iam_member" "editor" {
  folder_id  = "<идентификатор_каталога>"
  role       = "editor"
  member     = "serviceAccount:${yandex_iam_service_account.ig-sa.id}"
  depends_on = [
    yandex_iam_service_account.ig-sa,
  ]
}

resource "yandex_resourcemanager_folder_iam_member" "storage_editor" {
  folder_id  = "<идентификатор_каталога>"
  role       = "storage.editor"
  member     = "serviceAccount:${yandex_iam_service_account.storage-sa.id}"
  depends_on = [
    yandex_iam_service_account.storage-sa,
  ]
}

resource "yandex_compute_instance_group" "ig-1" {
  name                = "fixed-ig"
  folder_id           = "<идентификатор_каталога>"
  service_account_id  = "${yandex_iam_service_account.ig-sa.id}"
  deletion_protection = "<защита_от_удаления>"
  depends_on          = [yandex_resourcemanager_folder_iam_member.editor]
  instance_template {
    platform_id = "standard-v3"
    resources {
      memory = <объем_RAM_ГБ>
      cores  = <количество_ядер_vCPU>
    }

    boot_disk {
      mode = "READ_WRITE"
      initialize_params {
        image_id = "<идентификатор_образа>"
      }
    }

    service_account_id = "${yandex_iam_service_account.storage-sa.id}"

    network_interface {
      network_id         = "${yandex_vpc_network.network-1.id}"
      subnet_ids         = ["${yandex_vpc_subnet.subnet-1.id}"]
      security_group_ids = ["<список_идентификаторов_групп_безопасности>"]
      nat                = true
    }

    metadata = {
      user-data = "#cloud-config\n      datasource:\n       Ec2:\n        strict_id: false\n      ssh_pwauth: no\n      users:\n      - name: <имя_пользователя_ВМ>\n        sudo: ALL=(ALL) NOPASSWD:ALL\n        shell: /bin/bash\n        ssh_authorized_keys:\n        - <публичный_SSH-ключ>\n      runcmd:\n      - apt-get install fuse\n      - wget https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64\n      - chmod a+x geesefs-linux-amd64\n      - cp geesefs-linux-amd64 /usr/bin/geesefs\n      - mkdir <точка_монтирования_на_ВМ>\n      - echo \"user_allow_other\" | tee -a /etc/fuse.conf\n      - echo \"<имя_бакета>    <точка_монтирования_на_ВМ>    fuse.geesefs    _netdev,allow_other,--iam    0   0\" | tee -a /etc/fstab\n      - mount -a"
    }
  }

  scale_policy {
    fixed_scale {
      size = <количество_ВМ_в_группе>
    }
  }

  allocation_policy {
    zones = ["ru-central1-a"]
  }

  deploy_policy {
    max_unavailable = 1
    max_expansion   = 0
  }
}

resource "yandex_vpc_network" "network-1" {
  name = "network1"
}

resource "yandex_vpc_subnet" "subnet-1" {
  name           = "subnet1"
  zone           = "ru-central1-a"
  network_id     = "${yandex_vpc_network.network-1.id}"
  v4_cidr_blocks = ["192.168.10.0/24"]
}

      Где:

      • yandex_iam_service_account — описание сервисного аккаунта. Все операции в Instance Groups выполняются от имени сервисного аккаунта. Чтобы добиться более гранулярного управления правами доступа, привязывайте к группе ВМ и к виртуальным машинам группы разные сервисные аккаунты с разными наборами разрешений.

        Сервисный аккаунт нельзя удалить, пока он связан с группой виртуальных машин.

      • yandex_resourcemanager_folder_iam_member — описание прав доступа к каталогу, которому принадлежит сервисный аккаунт. Чтобы иметь возможность создавать, обновлять и удалять ВМ в группе, назначьте сервисному аккаунту роль editor.

      • yandex_compute_instance_group — описание группы ВМ:

        • Общая информация о группе ВМ:
          • name — имя группы ВМ.
          • folder_id — идентификатор каталога.
          • service_account_id — идентификатор сервисного аккаунта для группы ВМ.
          • deletion_protection — защита группы ВМ от удаления: true или false. Пока опция включена, группу ВМ удалить невозможно. Значение по умолчанию false.
        • Шаблон ВМ:

          • platform_id — платформа.

          • resources — количество ядер vCPU и объем RAM, доступные ВМ. Значения должны соответствовать выбранной платформе.

          • boot_disk — настройки загрузочного диска.

            • mode — режим доступа к диску: READ_ONLY (чтение) или READ_WRITE (чтение и запись).
            • image_id — идентификатор выбранного образа. Вы можете получить идентификатор образа из списка публичных образов.

          • service_account_id — идентификатор сервисного аккаунта для бакета.

          • network_interface — настройка сети. Укажите идентификаторы сети, подсети и групп безопасности.

          • metadata — в метаданных необходимо передать:

            • Имя пользователя ВМ и открытый ключ для SSH-доступа этого пользователя на ВМ.
            • - apt-get install fuse — команда для установки модуля FUSE. Подходит для операционных систем Ubuntu и Debian. Для ОС на основе Red Hat, таких как CentOS и Fedora, используйте команду - yum install fuse, для ОС OpenSUSE — - zypper install fuse, и т.п.
            • <точка_монтирования_на_ВМ> — директория на ВМ, в которую будет смонтирован подключенный бакет. Например: /mnt/gfs0.
            • <имя_бакета> — имя бакета, который требуется подключить к ВМ.

            Подробнее см. в разделе Метаданные виртуальной машины.

        • Политики:

      • yandex_vpc_network — описание облачной сети.

      • yandex_vpc_subnet — описание подсети, к которой будет подключена группа ВМ.

        Примечание

        Если у вас уже есть подходящие ресурсы (сервисные аккаунты, облачная сеть и подсеть), описывать их повторно не нужно. Используйте их имена и идентификаторы в соответствующих параметрах.

      Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

    2. Создайте ресурсы:

      1. В терминале перейдите в папку, где вы отредактировали конфигурационный файл.

      2. Проверьте корректность конфигурационного файла с помощью команды:

        terraform validate

        Если конфигурация является корректной, появится сообщение:

        Success! The configuration is valid.

      3. Выполните команду:

        terraform plan

        В терминале будет выведен список ресурсов с параметрами. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

      4. Примените изменения конфигурации:

        terraform apply

      5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

      После этого в указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

      К каждой ВМ группы будет привязан публичный IP-адрес. Это сделано для удобства подключения по SSH к ВМ группы при проверке результата.

      Если вы создадите группу ВМ без публичных IP-адресов, вы по-прежнему сможете подключаться по SSH к ВМ группы, указывая внутренний IP-адрес или FQDN виртуальной машины вместо публичного IP-адреса. Но такое подключение можно выполнить только с другой виртуальной машины, имеющей публичный IP-адрес и расположенной в той же облачной сети Yandex Cloud, что и ВМ группы.

    Воспользуйтесь методом REST API create для ресурса InstanceGroup или вызовом gRPC API InstanceGroupService/Create.

Убедитесь, что бакет подключен к виртуальным машинам группы. Для этого подключитесь к ВМ по SSH и перейдите в директорию, которую вы указали в качестве точки монтирования.

Предыдущая
Создать группу ВМ с подключением к файловому хранилищу
Следующая
Получить список групп ВМ