Сканирование уязвимостей при непрерывном развертывании приложений Managed Service for Kubernetes с помощью GitLab

Вы можете сканировать уязвимости Docker-образов в Yandex Container Registry при непрерывном развертывании приложений Yandex Managed Service for Kubernetes через GitLab.

Для этого с помощью непрерывной интеграции (Continuous Integration, CI) в GitLab создается специальный сценарий, который запускается после каждого коммита:

1. Сборка приложения в Docker-образ и загрузка образа в Container Registry.
2. Сканирование Docker-образа в Container Registry на наличие уязвимостей.
3. Развертывание приложения из Docker-образа в кластере Managed Service for Kubernetes с помощью инструментов Yandex Cloud.

Чтобы настроить сканер уязвимостей:

1. Создайте инстанс GitLab.
2. Настройте GitLab.
3. Создайте тестовое приложение.
4. Создайте GitLab Runner.
5. Настройте сценарий CI.
6. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Подготовьте инфраструктуруПодготовьте инфраструктуру

Установите дополнительные зависимостиУстановите дополнительные зависимости

Установите в локальном окружении:

• Утилиту потоковой обработки JSON-файлов jq.
• Инструмент командной строки kubectl и настройте его на работу с созданным кластером Managed Service for Kubernetes.

Создайте инстанс GitLabСоздайте инстанс GitLab

Создайте инстанс Managed Service for GitLab или виртуальную машину с образом GitLab в той же облачной сети, где расположен кластер Managed Service for Kubernetes.

Настройте GitLabНастройте GitLab

Чтобы настроить GitLab и подготовить процесс непрерывной интеграции (Continuous Integration, CI), создайте новый проект и введите параметры для авторизации в CI:

Создайте тестовое приложениеСоздайте тестовое приложение

Создайте тестовое приложение, которое можно будет развернуть в кластере Yandex Managed Service for Kubernetes:

1. Добавьте в проект Dockerfile:

   1. Авторизуйтесь в GitLab.

   2. Откройте проект GitLab.

   3. В строке навигации по репозиторию нажмите кнопку и в выпадающем меню выберите пункт New file.

   4. Назовите файл Dockerfile и добавьте в него код:

      FROM alpine:3.10
      CMD echo "Hello"
      

   5. Напишите комментарий к коммиту в поле Commit message: Dockerfile for test application.

   6. Нажмите кнопку Commit changes.

2. Добавьте в проект манифест создания ресурсов кластера Managed Service for Kubernetes:

   1. Откройте проект GitLab.

   2. В строке навигации по репозиторию нажмите кнопку и в выпадающем меню выберите пункт New file.

   3. Назовите файл k8s.yaml:

      k8s.yaml

      apiVersion: v1
      kind: Namespace
      metadata:
        name: hello-world
      ---
      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: hello-world-deployment
        namespace: hello-world
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: hello
        template:
          metadata:
            namespace: hello-world
            labels:
              app: hello
          spec:
            containers:
              - name: hello-world
                image: __VERSION__
                imagePullPolicy: Always
      

   4. Напишите комментарий к коммиту в поле Commit message: Docker image deployment config.

   5. Нажмите кнопку Commit changes.

Создайте GitLab RunnerСоздайте GitLab Runner

Чтобы запускать задачи сборки в кластере Yandex Managed Service for Kubernetes, создайте GitLab Runner. Для этого установите приложение GitLab Runner согласно инструкции.

После установки вы можете запускать автоматизированные сборки внутри своего кластера Managed Service for Kubernetes.

Подробнее про установку и настройку GitLab Runner читайте в документации GitLab.

Настройте аутентификацию Kubernetes в GitLabНастройте аутентификацию Kubernetes в GitLab

Настроить аутентификацию в GitLab можно с помощью токена сервисного аккаунта Kubernetes или приложения GitLab Agent:

Настройте сценарий CIНастройте сценарий CI

1. Создайте переменные окружения GitLab:

   1. На панели слева в GitLab перейдите в раздел Settings и во всплывающем списке выберите пункт CI/CD.

   2. Нажмите кнопку Expand напротив пункта Variables.

   3. Добавьте переменные окружения в зависимости от способа аутентификации Managed Service for Kubernetes в GitLab:

      Токен сервисного аккаунта

      GitLab Agent

      • KUBE_URL — адрес мастера Managed Service for Kubernetes. Узнайте его с помощью команды:

        yc managed-kubernetes cluster get <имя_или_идентификатор_кластера> --format=json \
           | jq -r .master.endpoints.external_v4_endpoint
        

      • KUBE_TOKEN — токен, который GitLab будет использовать для применения конфигурации. Используйте токен, полученный ранее.
      • CI_REGISTRY — адрес созданного ранее реестра в формате cr.yandex/<идентификатор_реестра>.
      • CI_REGISTRY_KEY — ключ, который GitLab будет использовать для доступа к реестру. Скопируйте содержимое файла статического ключа key.json для доступа к реестру, полученного ранее.

      Для добавления переменной:

      • Нажмите кнопку Add variable.
      • В появившемся окне в поле Key укажите имя переменной, в поле Value — значение переменной.
      • Нажмите кнопку Add variable.

2. Создайте файл конфигурации сценария CI:

   1. Откройте проект gitlab-test.

   2. В строке навигации по репозиторию нажмите кнопку и в выпадающем меню выберите пункт New file.

   3. Назовите файл .gitlab-ci.yml. Добавьте в него шаги сборки и загрузки Docker-образа, его сканирования на наличие уязвимостей и обновления конфигурации приложения в кластере Managed Service for Kubernetes. Структура файла зависит от способа аутентификации Kubernetes в GitLab:

      Токен сервисного аккаунта

      GitLab Agent

      .gitlab-ci.yml

      stages:
        - build
        - test
        - deploy
      
      build_docker_image:
        stage: build
        variables:
          DOCKER_CUSTOM_SUBFOLDER: "" # Specify a custom path (if any) to your folder with docker files.
        image:
          name: gcr.io/kaniko-project/executor:debug
          entrypoint: [""]
        script:
          - mkdir -p /kaniko/.docker
          - echo "{\"auths\":{\"${CI_REGISTRY}\":{\"auth\":\"$(echo -n "json_key:${CI_REGISTRY_KEY}" | base64 | tr -d '\n' )\"}}}" > /kaniko/.docker/config.json
          - >-
            /kaniko/executor
            --context "${CI_PROJECT_DIR}"/"${DOCKER_CUSTOM_SUBFOLDER}"
            --dockerfile "${CI_PROJECT_DIR}/"${DOCKER_CUSTOM_SUBFOLDER}"/Dockerfile"
            --destination "${CI_REGISTRY}/${CI_COMMIT_REF_SLUG}:${CI_COMMIT_SHA}"
      
      container_scanning_free_yc:
        image: 
          name: pindar/jq
          entrypoint: [""]
        stage: test
        artifacts:
          when: always
          paths:
            - gl-container-scanning-report-yc.json
        script:
          - export CI_COMMIT_SHA=${CI_COMMIT_SHA}
          # Install YC CLI.
          - curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash -s -- -a && cp /root/yandex-cloud/bin/yc /usr/bin/
          # Start scanning.
          - echo "Scanning image $IMAGE_NAME ${CI_REGISTRY}/${CI_COMMIT_REF_SLUG}:${CI_COMMIT_SHA}..."
          - export IMAGE_ID=$(yc container image list --registry-id (${CI_REGISTRY} | cut -d/ -f2) --format=json | jq -r --arg CI_COMMIT_SHA $CI_COMMIT_SHA '.[] | select(.tags[0]==$CI_COMMIT_SHA) | .id ')
          # Make a report.
          - export SCAN_RESULT=$(yc container image scan $IMAGE_ID --format=json)
          - export CRIT_VULN=$(echo $SCAN_RESULT | jq -r '.vulnerabilities.critical // 0')
          - export HIGH_VULN=$(echo $SCAN_RESULT | jq -r '.vulnerabilities.high // 0')
          - export SCAN_ID=$(echo $SCAN_RESULT | jq -r '.id')
          - echo "Scan results:"
          - yc container image list-vulnerabilities --scan-result-id="${SCAN_ID}" --format json | jq -r '.[] | select(.severity=="CRITICAL", .severity=="HIGH")'
          - yc container image list-vulnerabilities --scan-result-id="${SCAN_ID}" --format json | jq -r '.[] | select(.severity=="CRITICAL", .severity=="HIGH")' > gl-container-scanning-report-yc.json
          # Check the result.
          - (( SUM = $CRIT_VULN + $HIGH_VULN )) && (( RES = (SUM >= 1) )) && echo $RES && echo "image has $CRIT_VULN critical vulns and $HIGH_VULN high vulns" && exit 1 || echo "image has no high or crit vulns" exit 0
      
      deploy:
        image: gcr.io/cloud-builders/kubectl:latest
        stage: deploy
        script:
          - kubectl config set-cluster k8s --server="$KUBE_URL" --insecure-skip-tls-verify=true
          - kubectl config set-credentials admin --token="$KUBE_TOKEN"
          - kubectl config set-context default --cluster=k8s --user=admin
          - kubectl config use-context default
          - sed -i "s,__VERSION__,${CI_REGISTRY}/${CI_COMMIT_REF_SLUG}:${CI_COMMIT_SHA}," k8s.yaml
          - kubectl apply -f k8s.yaml
      

      .gitlab-ci.yml

      stages:
        - build
        - test
        - deploy
      
      build_docker_image:
        stage: build
        variables:
          DOCKER_CUSTOM_SUBFOLDER: "" # Specify a custom path (if any) to your folder with docker files.
        image:
          name: gcr.io/kaniko-project/executor:debug
          entrypoint: [""]
        script:
          - mkdir -p /kaniko/.docker
          - echo "{\"auths\":{\"${CI_REGISTRY}\":{\"auth\":\"$(echo -n "json_key:${CI_REGISTRY_KEY}" | base64 | tr -d '\n' )\"}}}" > /kaniko/.docker/config.json
          - >-
            /kaniko/executor
            --context "${CI_PROJECT_DIR}"/"${DOCKER_CUSTOM_SUBFOLDER}"
            --dockerfile "${CI_PROJECT_DIR}/"${DOCKER_CUSTOM_SUBFOLDER}"/Dockerfile"
            --destination "${CI_REGISTRY}/${CI_COMMIT_REF_SLUG}:${CI_COMMIT_SHA}"
      
      container_scanning_free_yc:
        image: 
          name: pindar/jq
          entrypoint: [""]
        stage: test
        artifacts:
          when: always
          paths:
            - gl-container-scanning-report-yc.json
        script:
          - export CI_COMMIT_SHA=${CI_COMMIT_SHA}
          # Install YC CLI.
          - curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash -s -- -a && cp /root/yandex-cloud/bin/yc /usr/bin/
          # Start scanning.
          - echo "Scanning image $IMAGE_NAME ${CI_REGISTRY}/${CI_COMMIT_REF_SLUG}:${CI_COMMIT_SHA}..."
          - export IMAGE_ID=$(yc container image list --registry-id (${CI_REGISTRY} | cut -d/ -f2) --format=json | jq -r --arg CI_COMMIT_SHA $CI_COMMIT_SHA '.[] | select(.tags[0]==$CI_COMMIT_SHA) | .id ')
          # Make a report.
          - export SCAN_RESULT=$(yc container image scan $IMAGE_ID --format=json)
          - export CRIT_VULN=$(echo $SCAN_RESULT | jq -r '.vulnerabilities.critical // 0')
          - export HIGH_VULN=$(echo $SCAN_RESULT | jq -r '.vulnerabilities.high // 0')
          - export SCAN_ID=$(echo $SCAN_RESULT | jq -r '.id')
          - echo "Scan results:"
          - yc container image list-vulnerabilities --scan-result-id="${SCAN_ID}" --format json | jq -r '.[] | select(.severity=="CRITICAL", .severity=="HIGH")'
          - yc container image list-vulnerabilities --scan-result-id="${SCAN_ID}" --format json | jq -r '.[] | select(.severity=="CRITICAL", .severity=="HIGH")' > gl-container-scanning-report-yc.json
          # Check the result.
          - (( SUM = $CRIT_VULN + $HIGH_VULN )) && (( RES = (SUM >= 1) )) && echo $RES && echo "image has $CRIT_VULN critical vulns and $HIGH_VULN high vulns" && exit 1 || echo "image has no high or crit vulns" exit 0
      
      deploy:
        image: bitnami/kubectl:latest
        stage: deploy
        script:
          - kubectl config use-context ${CI_PROJECT_PATH}:<имя_GitLab_Agent>
          - cat k8s.yaml | sed -e "s,__VERSION__,${CI_REGISTRY}/${CI_COMMIT_REF_SLUG}:${CI_COMMIT_SHA}," | kubectl apply -f -
      

      Вместо <имя_GitLab_Agent> укажите имя агента в Managed Service for GitLab.

   4. Напишите комментарий к коммиту в поле Commit message: CI scripts.

   5. Нажмите кнопку Commit changes.

   В файле .gitlab-ci.yml описаны следующие шаги сценария CI:

   • Сборка Docker-образа с использованием Dockerfile и загрузка образа в Container Registry.
   • Сканирование Docker-образа на наличие уязвимостей в Container Registry.
   • Настройка окружения для работы с Kubernetes и применение конфигурации k8s.yaml к кластеру Managed Service for Kubernetes. Таким образом приложение развертывается на созданном ранее кластере Managed Service for Kubernetes.

Проверьте результатПроверьте результат

После сохранения файла конфигурации .gitlab-ci.yml запустится сценарий сборки. Чтобы проверить результаты его выполнения, на панели слева в проекте gitlab-test выберите пункт Build, в выпадающем меню выберите пункт Pipelines. Сканирование уязвимостей происходит на втором этапе test.

Удалите созданные ресурсыУдалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

1. Удалите инстанс Managed Service for GitLab или созданную виртуальную машину с образом GitLab.
2. Удалите все Docker-образы из реестра Container Registry.

Остальные ресурсы удалите в зависимости от способа их создания: