Создание и настройка кластера Kubernetes без доступа в интернет

Вы можете создать и настроить кластер Managed Service for Kubernetes, для которого недоступно подключение к интернету. Для этого используется следующая конфигурация:

• У кластера и группы узлов Managed Service for Kubernetes нет публичного адреса. К такому кластеру можно подключиться только с виртуальной машины Yandex Cloud.
• Кластер и группа узлов размещены в подсетях без доступа в интернет.
• У сервисных аккаунтов нет ролей на работу с ресурсами, имеющими доступ в интернет, например Yandex Network Load Balancer.
• Группы безопасности кластера ограничивают входящий и исходящий трафик.

Чтобы создать кластер Managed Service for Kubernetes без доступа в интернет:

1. Подготовьте инфраструктуру для Managed Service for Kubernetes.
2. Подготовьте виртуальную машину.
3. Проверьте доступность кластера.
4. (Опционально) Подключите приватный реестр Docker-образов.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for Kubernetes: использование мастера (см. тарифы Managed Service for Kubernetes).
• Плата за узлы кластера и ВМ: использование вычислительных ресурсов, операционной системы и хранилища (см. тарифы Compute Cloud).
• Плата за публичный IP-адрес для ВМ, которая используется для подключения к кластеру (см. тарифы Virtual Private Cloud).
• Плата за сервис Key Management Service: количество активных версий ключа (в статусах Active и Scheduled For Destruction) и выполненных криптографических операций (см. тарифы Key Management Service).

Подготовьте инфраструктуру для Managed Service for KubernetesПодготовьте инфраструктуру для Managed Service for Kubernetes

Подготовьте виртуальную машинуПодготовьте виртуальную машину

Так как у кластера Managed Service for Kubernetes нет доступа в интернет, к нему можно подключиться только с ВМ, находящейся в одной сети с кластером. Поэтому, чтобы проверить доступность кластера, подготовьте инфраструктуру:

1. Создайте необходимые ресурсы:

   Вручную

   Terraform

   1. Создайте сервисный аккаунт vm-sa с ролями k8s.cluster-api.cluster-admin и k8s.admin. От имени этого аккаунта вы подключитесь к кластеру Managed Service for Kubernetes.

   2. Создайте группу безопасности vm-security-group и укажите в ней правило для входящего трафика:

      • Диапазон портов — 22.
      • Протокол — TCP.
      • Источник — CIDR.
      • CIDR блоки — 0.0.0.0/0.

   3. Создайте ВМ Linux с параметрами:

      • Подсеть — my-subnet.
      • Публичный IP-адрес — Автоматически, либо можно зарезервировать статический публичный IP-адрес и привязать его к новой ВМ.
      • Группы безопасности — vm-security-group.
      • Сервисный аккаунт — vm-sa.

   1. В директорию с файлом k8s-cluster-with-no-internet.tf скачайте файл конфигурации virtual-machine-for-k8s.tf.

      В этом файле описаны:

      • сервисный аккаунт для ВМ;
      • группа безопасности для ВМ;
      • ВМ.

   2. Укажите в файле virtual-machine-for-k8s.tf:

      • Идентификатор каталога.
      • Идентификатор сети, созданной вместе с кластером Managed Service for Kubernetes.
      • Идентификатор подсети, созданной вместе с кластером Managed Service for Kubernetes и располагающейся в зоне доступности ru-central1-a. Эта зона указана в настройках ВМ.
      • Имя пользователя, от лица которого будет выполняться подключение к ВМ по SSH.
      • Абсолютный путь до публичной части SSH-ключа для подключения к ВМ.

   3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   4. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

2. Подключитесь к ВМ по протоколу SSH:

   ssh <имя_пользователя>@<публичный_IP-адрес_ВМ>
   

   Где <имя_пользователя> — имя учетной записи пользователя ВМ.

3. Установите интерфейс командной строки Yandex Cloud (YC CLI).

4. Создайте профиль для YC CLI.

5. Установите kubectl и настройте его на работу с созданным кластером.

Проверьте доступность кластераПроверьте доступность кластера

На ВМ выполните команду:

kubectl cluster-info

Команда вернет информацию о кластере Managed Service for Kubernetes:

Kubernetes control plane is running at https://<адрес_кластера>
CoreDNS is running at https://<адрес_кластера>/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.

(Опционально) Подключите приватный реестр Docker-образов(Опционально) Подключите приватный реестр Docker-образов

Вы можете подключить приватный реестр Docker-образов к кластеру Managed Service for Kubernetes. Для аутентификации в реестре и подключения к нему по протоколу HTTPS кластеру нужны сертификаты, выданные CA (Certificate Authority — доверенный центр сертификации). Чтобы добавить и позднее автоматически обновлять сертификаты на узлах кластера, используйте контроллер DaemonSet. Он запускает следующий процесс в подах:

1. При помощи Bash-скрипта на узлах кластера постоянно проверяется наличие нужных сертификатов.
2. Если их нет, они копируются из секрета Kubernetes и обновляются.
3. Перезагружается среда запуска контейнеров containerd.

Чтобы настроить обновление сертификатов с помощью DaemonSet, на ВМ:

1. Разместите файлы сертификатов с расширением .crt.

2. Создайте файл certificate-updater-namespace.yaml c конфигурацией пространства имен. Это пространство будет использовано для работы и изоляции DaemonSet.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: certificate-updater
     labels:
       name: certificate-updater
   

3. Создайте файл certificate-updater-daemonset.yaml с конфигурацией DaemonSet:

   Содержимое файла

   ---
   kind: NetworkPolicy
   apiVersion: networking.k8s.io/v1
   metadata:
     name: certificate-updater-deny-all
     namespace: certificate-updater
   spec:
     podSelector:
       matchLabels:
         k8s-app: certificate-updater
     policyTypes:
       - Ingress
       - Egress
     ingress: []
     egress:  []
   ---
   apiVersion: "apps/v1"
   kind: DaemonSet
   metadata:
     name: certificate-updater
     namespace: certificate-updater
     labels:
       k8s-app: certificate-updater
       version: 1v
   spec:
     selector:
       matchLabels:
         k8s-app: certificate-updater
     template:
       metadata:
         labels:
           k8s-app: certificate-updater
       spec:
         hostPID: true
         hostIPC: true
         containers:
         - name: certificate-updater
           image: cr.yandex/yc/mk8s-openssl:stable
           command: 
             - sh
             - -c
             - |
               while true; do
                 diff -x '.*' -r /mnt/user-cert-path/ /usr/local/share/ca-certificates
                 if [ $? -ne 0 ];
                   then
                       echo "Removing all old certificates"
                       rm -r /usr/local/share/ca-certificates/*
                       echo "Copying certificates from configmap"
                       cp /mnt/sbin/update-ca-certificates /usr/sbin/
                       cp /mnt/user-cert-path/* /usr/local/share/ca-certificates
         
                       echo "Updating cerfificates authorities"
                       update-ca-certificates 
   
                       echo "Restarting containerd"
                       ps -x -o pid= -o comm= | awk '$2 ~ "^(containerd|dockerd)$" { print $1 }' | xargs kill
                       #systemd will get them back less than a minute
                   else
                     echo "Doing Nothing as no certs has not been changed"
                   fi
                 sleep 60
               done
           imagePullPolicy: Never
           securityContext:
             privileged: true
           resources:
             limits:
               memory: 200Mi
             requests:
               cpu: 100m
               memory: 200Mi
           volumeMounts:
           - mountPath: /etc/
             name: etc
           - mountPath: /usr/local/share/ca-certificates
             name: docker-cert
           - name: secret
             mountPath: /mnt/user-cert-path
           - name: sbin
             mountPath: /mnt/sbin
             readOnly: true
           - name: ca-cert
             mountPath: /usr/share/ca-certificates
         volumes:
         - name: secret
           secret:
             secretName: crt
         - name: sbin
           hostPath:
             path: /usr/sbin/
             type: Directory
         - name: ca-cert
           hostPath:
             path: /usr/share/ca-certificates
             type: Directory
         - name: docker-cert
           hostPath:
             path: /usr/local/share/ca-certificates
             type: DirectoryOrCreate
         - name: etc
           hostPath:
             path: /etc/
             type: Directory
   

4. Создайте пространство имен:

   kubectl apply -f certificate-updater-namespace.yaml
   

5. Создайте секрет с содержимым сертификатов, выпущенных CA:

   kubectl create secret generic crt \
      --from-file=<путь_к_файлу_с_сертификатом>.crt \
      --namespace="certificate-updater"
   

   В команде укажите сертификат с расширением .crt. Если надо добавить несколько сертификатов, передайте каждый из них в команде с помощью флага --from-file.

   Вы можете проверить конфигурацию секрета с помощью команды ниже и убедиться, что конфигурация содержит информацию о сертификатах:

   kubectl get secret crt -o yaml
   

6. Создайте DaemonSet:

   kubectl apply -f certificate-updater-daemonset.yaml
   

Далее можно отслеживать состояние контроллера DaemonSet. Когда обновятся сертификаты, в кластере перезагрузятся процессы среды запуска контейнеров containerd.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать.

Если для ВМ использовался статический публичный IP-адрес, освободите и удалите его.