Настройка межсетевого экрана OPNsense в режиме кластера высокой доступности на серверах Yandex BareMetal

Предлагаемое решение позволяет настроить на серверах BareMetal периметральный межсетевой экран OPNsense, который будет выступать не только основным шлюзом и Stateful Firewall, но и DHCP-сервером в высокодоступной конфигурации.

Смысл предлагаемого решения заключается в том, чтобы к интернету были подключены только серверы межсетевого экрана OPNsense, что позволит сформировать за ними защищенный сегмент сети.

Решение должно быть отказоустойчивым, поэтому предлагаемая конфигурация – это кластер высокой доступности. Для обеспечения отказоустойчивости шлюза в предлагаемом решении используется протокол CARP.

Для того чтобы клиенты в защищенном сегменте сети могли автоматически получать IP-адреса и корректный адрес шлюза, в решении применяется сервер ISC DHCPv4 в высокодоступной конфигурации: реализация OPNsense позволяет реплицировать список DHCP-адресов между серверами с ролями Master и Backup в кластере.

Схема решения:

• Публичная сеть BareMetal пула серверов ru-central1-m4.

• Приватная подсеть BareMetal opnsense-private-subnet-m4.

• Два сервера BareMetal в составе кластера OPNsense: opnsense-master и opnsense-backup. При написании настоящего руководства использовался межсетевой экран OPNsense версии 25.1.

• Один сервер BareMetal vmware-esxi с запущенной платформой виртуализации VMware ESXi. При написании настоящего руководства использовался гипервизор ESXi версии 7.0U3g.

• На сервере vmware-esxi запущена виртуальная машина: opnsense-tester-vm. При написании настоящего руководства виртуальная машина создавались под управлением ОС Linux Ubuntu 24.04 без графического пользовательского интерфейса.

• Инсталляционный сервер jump-server, необходимый для настройки серверов OPNsense и ESXi, при помощи которого можно обращаться к приватным IP-адресам серверов OPNsense и ESXi.

  Инсталляционный сервер должен иметь графический пользовательский интерфейс и браузер. Для упрощения настроек в настоящем руководстве в роли инсталляционного сервера будет выступать сервер BareMetal, загруженный в режиме восстановления и диагностики с Rescue-CD.

  Примечание

  В качестве альтернативы Rescue-CD вы можете использовать VPN-подключение, при помощи которого можно будет обращаться к приватным IP-адресам серверов извне приватной подсети. При использовании VPN-соединения на серверах OPNsense потребуется настройка статического маршрута в сегмент сети за пределами текущей приватной подсети.

Чтобы настроить межсетевой экран OPNsense в режиме кластера высокой доступности на серверах Yandex BareMetal:

1. Подготовьте облако к работе.
2. Создайте загрузочные образы в BareMetal.
3. Создайте приватную подсеть BareMetal.
4. Арендуйте серверы BareMetal.
5. Настройте кластер высокой доступности OPNsense.
6. Установите гипервизор и создайте виртуальную машину.
7. Убедитесь в работоспособности решения.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость предлагаемого решения входят:

• плата за аренду серверов BareMetal (см. тарифы Yandex BareMetal);
• плата за хранение данных в Object Storage и операции с ними (см. тарифы Yandex Object Storage).

Создайте загрузочные образы в BareMetalСоздайте загрузочные образы в BareMetal

Установка межсетевого экрана OPNsense и гипервизора ESXi на серверы BareMetal будет выполняться из пользовательских загрузочных образов BareMetal, которые вы подготовите перед тем, как приступать к развертыванию инфраструктуры.

Загрузите ISO-образы программных продуктов в Yandex Object StorageЗагрузите ISO-образы программных продуктов в Yandex Object Storage

Для создания инфраструктуры, предусмотренной предлагаемым решением, вам потребуются ISO-образы с дистрибутивами для установки OPNsense и VMware ESXi на серверы.

Загрузите образы с дистрибутивами OPNsense и ESXi в бакет Object Storage:

1. Если у вас еще нет бакета в Object Storage, создайте его с ограниченным доступом.
2. Загрузите образы в ваш бакет, например, через консоль управления, с помощью AWS CLI или WinSCP. В терминах Object Storage загруженные файлы образов будут называться объектами.
3. Получите ссылки на загруженные образы. Используйте эти ссылки при создании загрузочных образов в BareMetal.

Создайте загрузочные образы в BareMetalСоздайте загрузочные образы в BareMetal

Создайте приватную подсеть BareMetalСоздайте приватную подсеть BareMetal

Арендуйте серверы BareMetalАрендуйте серверы BareMetal

Настройте кластер высокой доступности OPNsenseНастройте кластер высокой доступности OPNsense

Настройка кластера высокой доступности включает в себя установку межсетевого экрана OPNsense на два сервера BareMetal, последующее создание из этих серверов кластера OPNsense и его настройку.

Установите межсетевой экран OPNsense на серверыУстановите межсетевой экран OPNsense на серверы

1. Подключитесь к KVM-консоли сервера opnsense-master.

   Примечание

   Все последующие действия этого этапа настройки будут выполняться в окне KVM-консоли.

2. В окне KVM-консоли в верхнем меню выберите Media → Virtual Media Wizard... или нажмите значок с изображением CD-диска. В открывшемся окне:

   1. В секции CD/DVD Media1 нажмите кнопку Browse и в директории user-iso выберите сохраненный ранее образ с OPNsense.
   2. Нажмите кнопку Connect CD/DVD.
   3. Убедитесь, что в секции Status для устройства Virtual CD 1 значение поля Connected To изменилось на путь к выбранному образу, и нажмите кнопку Close.

3. Чтобы запустить сервер с выбранного образа, в правом верхнем углу KVM-консоли нажмите кнопку Reboot to cdrom.

4. Дождитесь запуска сервера и инициализации интерактивной оболочки OPNsense – этот процесс может занять до десяти минут.

   По завершении инициализации в экране терминала в KVM-консоли вы увидите предложение аутентифицироваться:

   login:
   

5. Аутентифицируйтесь, используя следующие учетные данные:

   • имя пользователя: installer;
   • пароль: opnsense.

   Совет

   Чтобы в KVM-консоли вставить текст из буфера обмена, воспользуйтесь полем Paste text here в правом верхнем углу.

6. В окне Keymap Selection оставьте значение по умолчанию Continue with default keymap и нажмите Enter.

7. В окне выбора действия выберите Install (ZFS) и нажмите Enter.

8. В окне ZFS Configuration выберите mirror и нажмите Enter.

9. В следующем окне с выбором блочных устройств для создания виртуального RAID-массива с помощью стрелок вверх и вниз и пробела выберите HDD или SSD диски сервера, например: sda0 и sda1. Затем нажмите Enter.

10. В окне с предупреждением о возможной потере данных подтвердите согласие на внесение изменений в таблицу разделов. Для этого с помощью стрелок вправо и влево выберите YES и нажмите Enter.

    Будет запущен процесс установки межсетевого экрана OPNsense на сервер.

    Внимание

    В процессе установки не закрывайте и не обновляйте окно KVM-консоли. В противном случае установочный образ окажется отмонтирован от сервера BareMetal и установку придется начинать заново.

    Процесс установки может занять до часа.

11. После завершения установки в окне Final Configuration выберите Root Password, чтобы задать пароль для пользователя root, и нажмите Enter. Введите и подтвердите введенный пароль.

12. После установки пароля в окне Final Configuration выберите Complete Install и нажмите Enter.

13. В окне Installation Complete выберите Reboot now и нажмите Enter.

14. В окне KVM-консоли в верхнем меню выберите Media → Virtual Media Wizard... или нажмите значок с изображением CD-диска. В открывшемся окне:

    1. В секции CD/DVD Media1 нажмите кнопку Disconnect и убедитесь, что в секции Status для устройства Virtual CD 1 значение поля Connected To изменилось на Not connected.
    2. Нажмите кнопку Close.

15. Аналогичным образом установите OPNsense на сервер opnsense-backup.

Выполните предварительную настройку серверов OPNsenseВыполните предварительную настройку серверов OPNsense

Прежде чем приступать к настройке кластера OPNsense, выполните базовую настройку сетевых интерфейсов обоих серверов OPNsense:

1. Подключитесь к KVM-консоли сервера OPNsense.

   Примечание

   Все последующие действия этого этапа настройки будут выполняться в окне KVM-консоли.

2. Аутентифицируйтесь, используя имя пользователя root и пароль, заданный при установке сервера. Если вы не задавали пароль пользователя root, значение пароля по умолчанию – opnsense.

   В результате успешной аутентификации вы увидите текстовое меню базовых настроек сервера со списком возможных действий.

3. Убедитесь, что в системе настроены сетевые интерфейсы:

   Примечание

   В зависимости от конфигурации сервера BareMetal он может быть оснащен сетевыми картами Intel или Mellanox. Сетевые интерфейсы на картах Intel ядро ОС настраивает автоматически, а для настройки сетевых интерфейсов на картах Mellanox могут потребоваться дополнительные действия.

   1. Введите 8 (вариант Shell) и нажмите Enter, чтобы открыть терминал операционной системы.

   2. Проверьте наличие сетевых интерфейсов:

      ifconfig
      

      Если в выводе команды присутствуют сетевые интерфейсы с описаниями (description) LAN и WAN, значит, дополнительных действий не требуется.

      Пример:

      igb0: flags=1008843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST,LOWER_UP> metric 0 mt
          description: LAN (lan)
          options=4802028<VLAN_MTU,JUMBO_MTU,WOL_MAGIC,HWSTATS,MEXTPG>
          ether 00:25:90:3:a1:fe
          inet 192.168.1.1 netmask Oxffffff00 broadcast 192.168.1.255
          inet6 fe80::225:90ff:fee3:a1fe%igb0 prefixlen 64 scopeid 0x1
          media: Ethernet autoselect (1000baseT ‹full-duplex>)
          status: active
          nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
      
      igb1: flags=1008843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST,LOWER_UP> metric 0 mt
          description: WAN (wan)
          options=4800028<VLAN_MTU,JUMBO_MTU,HWSTATS,MEXTPG>
          ether 00:25:90:3:a1:ff
          inet 94.126.204.143 netmask Oxfffffffe broadcast 94.126.204.143
          inet6 fe80::225:90ff:fee3:a1ff%igb1 prefixlen 64 scopeid 0x2
          media: Ethernet autoselect (1000baseT <full-duplex>)
          status: active
          nd6 options=23<PERFORMNUD,ACCEPT_RTADV,AUTO_LINKLOCAL>
      

      В приведенном примере сетевые интерфейсы igb0 и igb1 имеют соответственно описания LAN и WAN, а также назначенные IP-адреса. В этом случае вы можете переходить к следующему шагу.

      Что делать, если в выводе нет интерфейсов LAN и WAN с назначенными адресами.

      1. Создайте и откройте дополнительный файл конфигурации loader.conf.local:

         ee /boot/loader.conf.local
         

      2. Добавьте в созданный файл конфигурации строку:

         mlx4en_load="YES"
         

      3. Закройте файл, сохранив изменения. Для этого нажмите сочетание клавиш Esc + Enter и в открывшемся окне введите a.

      4. Перезапустите систему:

         reboot
         

      5. Дождитесь перезапуска системы, аутентифицируйтесь и перейдите в терминал ОС.

      6. Повторно выполните команду ifconfig, чтобы убедиться, что необходимые сетевые интерфейсы появились в системе. Интерфейсы Mellanox будут иметь идентификаторы mlxen0 и mlxen1.

   3. Закройте терминал операционной системы:

      exit
      

4. Настройте LAN-интерфейс сервера:

   1. Введите 2 (вариант Set interface IP address) и нажмите Enter:

      1 - LAN (igb0 - static, track6)
      2 - WAN (igb1 - dhcp, dhep6)
      

   2. Введите номер интерфейса LAN и нажмите Enter.

   3. Configure IPv4 address LAN interface via DHCP? [y/N]:

      Введите n, чтобы задать для интерфейса статический IPv4-адрес.

   4. Enter the new LAN IPv4 address. Press <ENTER> for none:

      Master

      Backup

      Введите адрес 192.168.1.252.

      Введите адрес 192.168.1.253.

   5. Enter the new LAN IPv4 subnet bit count (1 to 32):

      Введите префикс CIDR подсети. Например: 24.

   6. For a WAN, enter the new LAN IPv4 upstream gateway address. For a LAN, press <ENTER> for none:

      Нажмите Enter, чтобы не задавать адрес шлюза.

   7. Configure IPv6 address LAN interface via WAN tracking? [Y/n]:

      Введите n, чтобы не настраивать IPv6-адрес с помощью функции Track Interface.

   8. Configure IPv6 address LAN interface via DHCP6? [y/N]:

      Введите n, чтобы не настраивать получение IPv6-адреса по DHCP6.

   9. Enter the new LAN IPv6 address. Press <ENTER> for none:

      Нажмите Enter, чтобы не задавать IPv6-адрес.

   10. Do you want to enable the DHCP server on LAN? [y/N]:

       Введите n, чтобы не настраивать DHCP-сервер. Вы настроите DHCP-сервер через веб-интерфейс позднее.

   11. Do you want to change the web GUI protocol from HTTPS to HTTP? [y/N]:

       Введите y, чтобы использовать протокол HTTP для доступа к веб-интерфейсу конфигурации сервера.

   12. Restore web GUI access defaults? [y/N]:

       Введите y, чтобы для доступа к веб-интерфейсу конфигурации сервера использовать настройки по умолчанию.

   Настройки серверов OPNsense обновятся, и вы сможете продолжить конфигурирование серверов и кластера OPNsense через веб-интерфейс по указанным адресам:

   Master

   Backup

   You can now access the web GUI by opening the following URL in your web browser:
   
   http://192.168.1.252
   

   You can now access the web GUI by opening the following URL in your web browser:
   
   http://192.168.1.253
   

   Дополнительные настройки, если вы будете подключаться к веб-интерфейсу через VPN.

   1. Введите 8 (вариант Shell) и нажмите Enter, чтобы открыть терминал операционной системы.

   2. Настройте статический маршрут в VPN-сегмент сети:

      Master

      Backup

      route add <CIDR-VPN-сегмента> 192.168.1.252
      

      route add <CIDR-VPN-сегмента> 192.168.1.253
      

      Где <CIDR-VPN-сегмента> – CIDR подсети в VPN-сегменте. Например: 172.28.1.0/24.

   3. Убедитесь, что маршрут добавлен:

      netstat -rn4
      

      Вывод команды должен содержать маршрутную запись вида:

      Master

      Backup

      172.28.2.0/24  192.168.1.252. UGS. mlxen1
      

      172.28.2.0/24  192.168.1.253. UGS. mlxen1
      

На этом базовые настройки серверов OPNsense выполнены. Дальнейшее конфигурирование серверов и кластера вы будете выполнять через веб-интерфейс.

Настройте кластер серверов OPNsenseНастройте кластер серверов OPNsense

Для настройки кластера серверов OPNsense необходим инсталляционный сервер (Jump server), имеющий графический пользовательский интерфейс и доступ в приватную подсеть, к которой подключены хосты кластера.

Для упрощения необходимых настроек в настоящем руководстве в роли такого инсталляционного сервера будет использоваться арендованный ранее сервер jump-server, загруженный в режиме восстановления и диагностики с Rescue-CD.

1. Запустите сервер jump-server с Rescue-CD, выбрав в основном меню SystemRescue вариант загрузки по умолчанию – Boot SystemRescue using default options.

   После запуска SystemRescue в KVM-консоли будет запущен терминал ОС SystemRescue.

2. Чтобы запустить графическую оболочку SystemRescue, в терминале ОС SystemRescue выполните команду startx.

3. Поскольку в приватной подсети opnsense-private-subnet-m4 пока нет DHCP-сервера, настройте сетевой интерфейс вручную:

   1. Узнайте MAC-адрес подключенного к приватной подсети сетевого интерфейса сервера jump-server.

      MAC-адрес нужного сетевого интерфейса сервера BareMetal вы можете посмотреть на странице с информацией о сервере jump-server в блоке Приватная сеть.

      Сохраните полученный MAC-адрес — он потребуется на следующем шаге.

   2. Определите имя подключенного к приватной подсети сетевого интерфейса сервера jump-server в графической оболочке SystemRescue:

      1. В правом нижнем углу экрана графической оболочки SystemRescue правой кнопкой мыши нажмите значок сети и выберите Connection Information.
      2. На вкладках с именами Ethernet-интерфейсов Wired connection 1 и Wired connection 2 посмотрите значение поля Hardware Address. Нужный интерфейс будет иметь значение, идентичное сохраненному на предыдущем шаге MAC-адресу.

   3. В правом нижнем углу экрана графической оболочки SystemRescue правой кнопкой мыши нажмите значок сети и выберите Edit Connections....

   4. В открывшемся окне в блоке Ethernet выберите определенное ранее имя сетевого интерфейса, подключенного к приватной подсети, и нажмите значок шестеренки.

   5. В открывшемся окне настроек перейдите на вкладку IPv4 Settings и в поле Method выберите Manual.

   6. В блоке Addresses нажмите кнопку Add, затем в поле Address введите 192.168.1.20, а в поле Netmask – 24.

   7. Нажмите кнопку Save.

4. Убедитесь, что появился сетевой доступ к серверам OPNsense. Для этого в левом нижнем углу экрана нажмите значок терминала и в открывшемся окне введите команду:

   ping 192.168.1.252 -c3
   

   Результат:

   PING 192.168.1.252 (192.168.1.252) 56(84) bytes of data.
   64 bytes from 192.168.1.252: icmp_seq=1 ttl=64 time=0.110 ms
   64 bytes from 192.168.1.252: icmp_seq=2 ttl=64 time=0.127 ms
   64 bytes from 192.168.1.252: icmp_seq=3 ttl=64 time=0.115 ms
   
   --- 192.168.1.252 ping statistics ---
   3 packets transmitted, 3 received, 0% packet loss, time 2024ms
   tt min/avg/max/mdev = 0.110/0.117/0.127/0.007 ms
   

   Сетевая связность с сервером OPNsense установлена.

5. В правом нижнем углу экрана нажмите значок Firefox, чтобы открыть браузер.

6. В окне браузера настройте оба сервера OPNsense:

   1. В адресной строке браузера введите адрес сервера:

      Master

      Backup

      http://192.168.1.252

      http://192.168.1.253

   2. На странице аутентификации введите имя пользователя root и пароль, заданный при установке сервера. Если вы не задавали пароль пользователя root, значение пароля по умолчанию – opnsense.

   3. Задайте настройки кластера высокой доступности:

      1. В главном меню перейдите в настройки кластера высокой доступности: System → High Availability → Settings.

      2. В поле Synchronize all states via выберите интерфейс LAN.

      3. В поле Sync compatibility выберите OPNsense 24.7 or above.

      4. В полях Synchronize Peer IP и Synchronize Config:

         Master

         Backup

         Укажите IP-адрес сервера с ролью Backup: 192.168.1.253.

         Укажите IP-адрес сервера с ролью Master: 192.168.1.252.

      5. В поле Remote System Username укажите имя пользователя root.

         Примечание

         На серверах OPNsense для целей синхронизации вы можете создать дополнительных пользователей в разделе главного меню System → Access.

      6. В поле Remote System Password укажите пароль от заданной выше учетной записи.

      7. В поле Services выберите сервисы, состояние которых требуется синхронизировать. Нажмите Select All, чтобы выбрать все сервисы – этот вариант подходит для демонстрации возможностей предлагаемого решения.

      8. Нажмите кнопку Apply, чтобы сохранить и применить изменения.

   4. Задайте настройки виртуального IP-адреса CARP:

      1. В главном меню перейдите в настройки виртуальных IP-адресов: Interfaces → Virtual IPs → Settings.

      2. Нажмите значок , чтобы добавить новый виртуальный IP-адрес, и в открывшемся окне:

         • В поле Mode выберите CARP.

         • В поле Interface выберите LAN.

         • В поле Network / Address укажите 192.168.1.254/24.

         • В поле Peer (ipv4):

           Master

           Backup

           Укажите IP-адрес сервера с ролью Backup: 192.168.1.253.

           Укажите IP-адрес сервера с ролью Master: 192.168.1.252.

         • В поле Password задайте пароль, который будет использован для защиты CARP-группы.

           Используйте один и тот же пароль для настройки обоих серверов.

         • В поле VHID Group задайте идентификатор группы. Например: 101.

           Используйте один и тот же идентификатор группы для настройки обоих серверов.

         • Нажмите кнопку Save, чтобы сохранить настройки виртуального IP-адреса.

      3. Нажмите кнопку Apply, чтобы применить изменения.

   5. Настройте DHCP-сервер в приватной подсети:

      1. В главном меню перейдите в настройки DHCP: Services → ISC DHCPv4 → LAN.

      2. Включите опцию Enable DHCP server on the LAN interface.

      3. В поле Range задайте диапазон IP-адресов приватной подсети, доступных для выдачи клиентам DHCP-сервером. Например: from 192.168.1.100 to 192.168.1.199.

      4. В поле DNS servers укажите адреса серверов доменных имен, которые будут выданы клиентам. Например: 77.88.8.8.

      5. В поле Gateway укажите IP-адрес CARP-интерфейса, который был настроен ранее: 192.168.1.254.

      6. В поле Default lease time (seconds) задайте срок аренды предоставляемого IP-адреса в секундах. Например: 3600.

      7. В поле Failover peer IP:

         Master

         Backup

         Укажите IP-адрес сервера с ролью Backup: 192.168.1.253.

         Укажите IP-адрес сервера с ролью Master: 192.168.1.252.

      8. Нажмите кнопку Save, чтобы сохранить настройки DHCP-сервера.

7. На сервере с ролью Master выполните синхронизацию настроек хостов кластера:

   Примечание

   Когда OPNsense работает в режиме кластера, изменение настроек в работе межсетевого экрана следует производить в первую очередь на хосте с ролью Master. Хост с ролью Backup получит обновленные параметры в процессе синхронизации изменений.

   1. В адресной строке браузера введите адрес сервера http://192.168.1.252.
   2. В главном меню перейдите в настройки кластера высокой доступности: System → High Availability → Status.
   3. Пролистайте вниз страницу со списком сервисов и в строке Synchronize and reconfigure all нажмите кнопку (Restart all services).

   Важно

   В процессе синхронизации изменений также выполняется перезапуск сервисов.

8. Проверьте состояние CARP-группы на обоих хостах:

   Master

   Backup

   1. В адресной строке браузера введите адрес сервера с ролью Master: http://192.168.1.252.

   2. В главном меню перейдите в настройки виртуальных IP-адресов: Interfaces → Virtual IPs → Status.

   3. На вкладке Addresses убедитесь, что в столбце Status серверу назначена роль Master.

      Если статус адреса – DISABLED, нажмите кнопку Temporarily disable CARP, затем – Enable CARP. В результате статус виртуального адреса должен смениться на нужный.

   4. Перейдите на вкладку pfSync nodes и убедитесь, что в списке присутствуют два хоста.

   1. В адресной строке браузера введите адрес сервера с ролью Backup: http://192.168.1.253.

   2. В главном меню перейдите в настройки виртуальных IP-адресов: Interfaces → Virtual IPs → Status.

   3. На вкладке Addresses убедитесь, что в столбце Status серверу назначена роль Backup.

      Если статус адреса – DISABLED, нажмите кнопку Temporarily disable CARP, затем – Enable CARP. В результате статус виртуального адреса должен смениться на нужный.

   4. Перейдите на вкладку pfSync nodes и убедитесь, что в списке присутствуют два хоста.

На этом основная часть настройки кластера высокой доступности завершена.

Для дальнейшей настройки может потребоваться создание правил межсетевого экранирования. Но в рамках настоящего руководства достаточно базового набора правил, а также автоматически созданных правил NAT-трансляции, которые позволят клиентам получать доступ к интернету, то есть обеспечат движение трафика через межсетевой экран между интерфейсами LAN и WAN.

Установите гипервизор и создайте виртуальную машинуУстановите гипервизор и создайте виртуальную машину

Установите гипервизорУстановите гипервизор

1. Подключитесь к KVM-консоли сервера vmware-esxi.

   Примечание

   Все последующие действия этого этапа настройки будут выполняться в окне KVM-консоли.

2. В окне KVM-консоли в верхнем меню выберите Media → Virtual Media Wizard... или нажмите значок с изображением CD-диска. В открывшемся окне:

   1. В секции CD/DVD Media1 нажмите кнопку Browse и в директории user-iso выберите сохраненный ранее образ с VMware ESXi.
   2. Нажмите кнопку Connect CD/DVD.
   3. Убедитесь, что в секции Status для устройства Virtual CD 1 значение поля Connected To изменилось на путь к выбранному образу, и нажмите кнопку Close.

3. Чтобы запустить сервер с выбранного образа, в правом верхнем углу KVM-консоли нажмите кнопку Reboot to cdrom.

4. Дождитесь запуска сервера и инициализации интерактивной оболочки установщика ESXi, запустите процесс установки и примите условия лицензионного соглашения (EULA).

5. Выберите диск сервера, на который будет установлен гипервизор и используемую раскладку клавиатуры.

6. Задайте пароль пользователя root для доступа к настройкам гипервизора.

7. Подтвердите согласие на внесение изменений в таблицу разделов, чтобы начать установку ESXi.

8. Дождитесь завершения процесса установки и нажмите Enter, чтобы перезапустить сервер.

9. В окне KVM-консоли в верхнем меню выберите Media → Virtual Media Wizard... или нажмите значок с изображением CD-диска. В открывшемся окне:

   1. В секции CD/DVD Media1 нажмите кнопку Disconnect и убедитесь, что в секции Status для устройства Virtual CD 1 значение поля Connected To изменилось на Not connected.
   2. Нажмите кнопку Close.

10. Дождитесь запуска гипервизора и задайте сетевые настройки:

    1. Нажмите F2 и введите заданный при установке пароль пользователя root, чтобы перейти в настройки.

       Если пароль не был задан при установке, по умолчанию вход в учетную запись пользователя root осуществляется без пароля.

    2. В главном меню настроек выберите Configure Management Network.

    3. В открывшемся меню выберите IPv4 Configuration.

    4. С помощью клавиши пробел выберите Set static IPv4 address and network configuration и задайте:

       • IPv4 Address – любой свободный IP-адрес, входящий в приватную подсеть opnsense-private-subnet-m4 и не входящий в диапазон адресов, доступных для выдачи клиентам DHCP-сервером OPNsense. Например: 192.168.1.50.
       • Subnet Mask – маску подсети 255.255.255.0.
       • Default Gateway – созданный ранее в кластере OPNsense виртуальный IP-адрес CARP 192.168.1.254.

    5. Нажмите Enter, чтобы сохранить изменения.

    6. Нажмите Esc, чтобы выйти из меню настроек и применить изменения.

    7. В открывшемся окне подтвердите применение обновленных настроек и перезапуск сетевого интерфейса.

Создайте виртуальную машинуСоздайте виртуальную машину

Для создания и настройки виртуальных машин необходим инсталляционный сервер (Jump server), имеющий графический пользовательский интерфейс и доступ в приватную подсеть, к которой подключен гипервизор.

Для упрощения необходимых настроек в настоящем руководстве в роли такого инсталляционного сервера будет использоваться арендованный ранее сервер jump-server, загруженный в режиме восстановления и диагностики с Rescue-CD.

1. Запустите сервер jump-server с Rescue-CD, выбрав в основном меню SystemRescue вариант загрузки по умолчанию – Boot SystemRescue using default options.

2. Чтобы запустить графическую оболочку SystemRescue, в терминале ОС SystemRescue выполните команду startx.

3. В правом нижнем углу экрана нажмите значок Firefox, чтобы открыть браузер.

4. Скачайте на сервер ISO-образ операционной системы, которую вы будете устанавливать на виртуальную машину.

   Примечание

   В настоящем руководстве на ВМ будет установлена ОС Linux Ubuntu 24.04 без графического пользовательского интерфейса (Server install image).

5. В адресной строке введите адрес гипервизора, например: https://192.168.1.50/.

6. На странице аутентификации введите имя пользователя root и пароль, заданный при установке ESXi.

7. Загрузите в файловое хранилище гипервизора образ операционной системы, который вы будете устанавливать на виртуальную машину:

   1. В главном меню слева выберите Storage.

   2. В открывшемся окне выберите хранилище datastore1.

   3. В меню сверху нажмите кнопку Datastore browser и в открывшемся окне:

      1. Нажмите кнопку Create directory и создайте директорию ISO.

      2. Выберите созданную директорию ISO и нажмите кнопку Upload.

      3. В открывшемся окне выберите скачанный ранее ISO-образ.

         По умолчанию скачанные файлы сохраняются в директорию /Home/Downloads/

      4. Дождитесь загрузки образа в хранилище и нажмите кнопку Close в правом нижнем углу окна.

8. Создайте виртуальную машину:

   1. В главном меню слева выберите Virtual Machines и нажмите кнопку Create / Register VM.

   2. В окне Select creation type выберите Create a new virtual machine и нажмите кнопку Next.

   3. В окне Select a name and guest OS:

      1. В поле Name введите имя создаваемой машины. Например: opnsense-tester-vm.
      2. В поле Guest OS family выберите Linux.
      3. В поле Guest OS version выберите Ubuntu Linux (64-bit).
      4. Нажмите кнопку Next.

   4. В окне Select storage выберите хранилище datastore1 и нажмите Next.

   5. В окне Customize setting на вкладе Virtual Hardware:

      1. В поле CPU выберите количество vCPU, выделяемое виртуальной машине. Например: 4.
      2. В поле Memory выберите объем оперативной памяти, выделяемый виртуальной машине. Например: 8 GB.
      3. В поле Hard disk 1 выберите объем жесткого диска, выделяемый виртуальной машине. Например: 50 GB.
      4. В поле CD/DVD Drive 1 выберите Datastore ISO file и в открывшемся окне выберите загруженный ранее образ.
      5. Остальные параметры оставьте без изменений и нажмите Next.

   6. В окне Ready to complete проверьте параметры создаваемой виртуальной машины и нажмите кнопку Finish, чтобы создать ВМ.

   7. В главном меню слева выберите Virtual Machines и выберите виртуальную машину opnsense-tester-vm.

   8. В открывшемся окне нажмите кнопку Power on или значок в окне с превью виртуальной машины.

   9. Нажмите на окно с превью виртуальной машины и разверните его на весь экран.

   10. Выполните процедуру установки операционной системы, выбрав нужные параметры языка, раскладки клавиатуры, типа установки и т.д. Вы можете оставлять все настройки по умолчанию – этого будет достаточно для тестирования предлагаемого решения в рамках настоящего руководства.

       На экране с сетевыми настройками убедитесь, что виртуальная машина получила приватный IP-адрес в подсети opnsense-private-subnet-m4 из диапазона, заданного в настройках DHCP-сервера OPNsense.

       На экране Profile configuration задайте имя и пароль пользователя, который будет иметь доступ к ВМ.

   11. После завершения установки нажмите Reboot Now.

Убедитесь в работоспособности решенияУбедитесь в работоспособности решения

Для проверки работоспособности решения будет использована виртуальная машина, созданная ранее на сервере под управлением VMware ESXi.

Проверку работоспособности можно считать успешно пройденной, если:

• виртуальная машина получит IP-адрес в локальной сети от DHCP-сервера, созданного в кластере OPNsense;
• виртуальная машина сможет получить доступ в интернет через межсетевой экран OPNsense.

Проверьте получение IP-адреса клиентом от DHCP-сервераПроверьте получение IP-адреса клиентом от DHCP-сервера

1. Подключитесь к KVM-консоли сервера opnsense-master.

2. Аутентифицируйтесь на сервере OPNsense, используя имя пользователя root и пароль, заданный при установке сервера.

3. Введите 8 (вариант Shell) и нажмите Enter, чтобы открыть терминал операционной системы.

4. Выполните команду:

   tcpdump -i <идентификатор_интерфейса> -pvn port 67 and port 68
   

   Где <идентификатор_интерфейса> – идентификатор сетевого интерфейса сервера, подключенный к приватной подсети opnsense-private-subnet-m4. Например: igb0.

   Команда tcpdump позволяет прослушать сетевой интерфейс, чтобы наглядно продемонстрировать работу протокола DHCP.

   Результат:

   10:45:50.180979 IP (tos 0x0, ttl 64, id 0, offset 0, flags [none], proto UDP (17), length 328)
       0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from 00:0c:29:7a:bf:5c, length 300, xid 0x6094a655, Flags [none]
       Client-Ethernet-Address 00:0c:29:7a:bf:5c
       Vendor-rfc1048 Extensions
           Magic Cookie 0x63825363
           DHCP-Message (53), length 1: Discover
           MSZ (57), length 2: 576
           Parameter-Request (55), length 7:
           Subnet-Mask (1), Default-Gateway (3), Domain-Name-Server (6), Hostname (12)
           Domain-Name (15), BR (28), NTP (42)
           Hostname (12), length 8: "alp-vm-1"
           Vendor-Class (60), length 12: "udhcp 1.37.0"
           Client-ID (61), length 7: ether 00:0c:29:7a:bf:5c
   10:45:51.229540 IP (tos 0x10, ttl 128, id 0, offset 0, flags [none], proto UDP (17), length 328)
       192.168.1.252.67 > 192.168.1.153.68: BOOTP/DHCP, Reply, length 300, xid 0x6094a655, Flags [none]
       Your-IP 192.168.1.153
       Client-Ethernet-Address 00:0c:29:7a:bf:5c
       Vendor-rfc1048 Extensions
           Magic Cookie 0x63825363
           DHCP-Message (53), length 1: Offer
           Server-ID (54), length 4: 192.168.1.252
           Lease-Time (51), length 4: 600
           Subnet-Mask (1), length 4: 255.255.255.0
           Default-Gateway (3), length 4: 192.168.1.254
           Domain-Name-Server (6), length 4: 77.88.8.8
           Domain-Name (15), length 11: "localdomain"
   10:45:51.280876 IP (tos 0x0, ttl 64, id 0, offset 0, flags [none], proto UDP (17), length 330)
       0.0.0.0.68 > 255.255.255.255.67: BOOTP/DHCP, Request from 00:0c:29:7a:bf:5c, length 302, xid 0x6094a655, secs 1, Flags [none]
       Client-Ethernet-Address 00:0c:29:7a:bf:5c
       Vendor-rfc1048 Extensions
           Magic Cookie 0x63825363
           DHCP-Message (53), length 1: Request
           Requested-IP (50), length 4: 192.168.1.153
           Server-ID (54), length 4: 192.168.1.252
           MSZ (57), length 2: 576
           Parameter-Request (55), length 7:
           Subnet-Mask (1), Default-Gateway (3), Domain-Name-Server (6), Hostname (12)
           Domain-Name (15), BR (28), NTP (42)
           Hostname (12), length 8: "alp-vm-1"
           Vendor-Class (60), length 12: "udhcp 1.37.0"
           Client-ID (61), length 7: ether 00:0c:29:7a:bf:5c
   10:45:51.281467 IP (tos 0x10, ttl 128, id 0, offset 0, flags [none], proto UDP (17), length 328)
       192.168.1.252.67 > 192.168.1.153.68: BOOTP/DHCP, Reply, length 300, xid 0x6094a655, secs 1, Flags [none]
       Your-IP 192.168.1.153
       Client-Ethernet-Address 00:0c:29:7a:bf:5c
       Vendor-rfc1048 Extensions
           Magic Cookie 0x63825363
           DHCP-Message (53), length 1: ACK
           Server-ID (54), length 4: 192.168.1.252
           Lease-Time (51), length 4: 600
           Subnet-Mask (1), length 4: 255.255.255.0
           Default-Gateway (3), length 4: 192.168.1.254
           Domain-Name-Server (6), length 4: 77.88.8.8
           Domain-Name (15), length 11: "localdomain"
   

   Анализ результата:

   Результат содержит два основных этапа:

   Запрос IP-адреса клиентом

   Предложение IP-адреса DHCP-сервером

   0.0.0.0.68 > 255.255.255.255.67:     BOOTP/DHCP, Request
   DHCP-Message (53), length 1:         Discover
   Client-ID (61), length 7:            00:0c:29:7a:bf:5c
   

   192.168.1.252.67 > 192.168.1.153.68:   BOOTP/DHCP, Reply
   Client-Ethernet-Address:               00:0c:29:7a:bf:5c
   DHCP-Message (53), length 1:           Offer
   Server-ID (54), length 4:              192.168.1.252
   Your-IP:                               192.168.1.153
   Subnet-Mask (1), length 4:             255.255.255.0
   Default-Gateway (3), length 4:         192.168.1.254
   Domain-Name-Server (6), length 4:      77.88.8.8
   

Проверьте наличие доступа в интернет с виртуальной машиныПроверьте наличие доступа в интернет с виртуальной машины

1. Запустите сервер jump-server с Rescue-CD, выбрав в основном меню SystemRescue вариант загрузки по умолчанию – Boot SystemRescue using default options.

2. Запустите графическую оболочку SystemRescue, выполнив команду startx.

3. В графическом интерфейсе пользователя в правом нижнем углу экрана нажмите значок Firefox, чтобы открыть браузер.

4. В адресной строке введите адрес гипервизора, например: https://192.168.1.50/.

5. На странице аутентификации введите имя пользователя root и пароль, заданный при установке ESXi.

6. В главном меню слева выберите Virtual Machines и выберите виртуальную машину opnsense-tester-vm.

7. В открывшемся окне нажмите кнопку в экране с превью виртуальной машины и разверните его на весь экран. В окне терминала виртуальной машины:

   1. Введите имя пользователя и пароль, заданные при создании ВМ, чтобы аутентифицироваться.

   2. Убедитесь, что виртуальной машине присвоен IP-адрес:

      ip a
      

      Результат:

      1: 1o: «LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
          link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
          inet 127.0.0.1/8 scope host lo
              valid_lft forever preferred_lft forever
          inet6 ::1/128 scope host noprefixroute
              valid_lft forever preferred_lft forever
      2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fa_codel state UP group default glen 1000
          link/ether 00:0c:29:86:04:10 brd ffiff:ff:ff:ff:ff
          altname enp3s0
          inet 192.168.1.153/24 metric 100 brd 192.168.1.255 scope global dynamic ens160
              valid_lft 459sec preferred_lft 459sec
          inet6 fe80::20c:29ff:fe86:d410/64 scope link
              valid_lft forever preferred_lft forever
      

      Сетевой интерфейс ens160 получил от DHCP-сервера IP-адрес 192.168.1.153.

   3. Установите пакеты net-tools и traceroute:

      sudo apt install net-tools traceroute
      

   4. Проверьте таблицу маршрутов:

      netstat -rn
      

      Результат:

      Kernel IP routing table
      Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
      0.0.0.0         192.168.1.254   0.0.0.0         UG        0 0          0 ens160
      77.88.8.8       192.168.1.254   255.255.255.255 UGH       0 0          0 ens160
      192.168.1.0     0.0.0.0         255.255.255.0   U         0 0          0 ens160
      192.168.1.254   0.0.0.0         255.255.255.255 UH        0 0          0 ens160        
      

   5. Проверьте доступность любого внешнего адреса, например, 1.1.1.1:

      ping -c 3 1.1.1.1
      

      Результат:

      PING 1.1.1.1 (1.1.1.1): 56 data bytes
      64 bytes from 1.1.1.1: seq=0 ttl=55 time=2.252 ms
      64 bytes from 1.1.1.1: seq=1 ttl=55 time=2.354 ms
      64 bytes from 1.1.1.1: seq=2 ttl=55 time=2.363 ms
      
      --- 1.1.1.1 ping statistics ---
      3 packets transmitted, 3 packets received, 0% packet loss
      round-trip min/avg/max = 2.252/2.323/2.363 ms
      

   6. Проверьте маршрут до любого внешнего адреса, например, 1.1.1.1:

      traceroute -n 1.1.1.1
      

      Результат:

      traceroute to 1.1.1.1 (1.1.1.1), 30 hops max, 60 byte packets
       1  192.168.1.253  0.223 ms  0.176 ms  0.147 ms
       2  94.126.204.142  2.914 ms  3.193 ms  *
       3  *  *  *
       4  *  *  *
       5  *  *  *
       6  *  *  *
       7  *  *  *
       8  195.208.209.7  2.697 ms  *  *
       9  *  62.115.139.123  12.950 ms  *
      10  *  *  *
      11  *  *  *
      12  *  *  *
      13  *  *  *
      14  1.1.1.1  1.725 ms  *  *
      

Результаты тестирования показывают, что виртуальная машина имеет доступ в интернет.

Как удалить созданные ресурсыКак удалить созданные ресурсы

1. Удалите созданные в бакете объекты, затем удалите сам бакет.
2. Удалить серверы BareMetal нельзя. Вместо этого откажитесь от продления их аренды.