Хранение Docker-образов из проектов Yandex Managed Service for GitLab

В GitLab интегрирован сервис Container Registry. Он позволяет хранить Docker-образы для каждого проекта в GitLab.

Вместо GitLab Container Registry вы можете использовать Yandex Container Registry. Этот сервис позволяет хранить Docker-образы в облаке и распространять их между управляемыми сервисами Yandex Cloud, например, Yandex Managed Service for Kubernetes или Yandex Managed Service for GitLab.

Использование Yandex Container Registry для хранения образов из проектов GitLab обладает несколькими преимуществами:

• GitLab Container Registry хранит образы и теги на диске инстанса GitLab. Когда место на диске заканчивается, возникает ошибка с HTTP-кодом 500, инстанс становится недоступным. Восстановить его можно только через обращение в техническую поддержку.

  Yandex Container Registry хранит образы и теги в реестрах, для которых выделяются отдельные квоты. Поэтому накопление Docker-образов и тегов не влияет на место на диске инстанса.

• Образы в Yandex Container Registry остаются доступными, даже если Managed Service for GitLab недоступен.

• Yandex Container Registry поддерживает сканер уязвимостей Docker-образов. С его помощью можно обнаружить уязвимости и устранить их до развертывания приложения. Подробнее о сканировании см. в блоге Yandex Cloud.

Чтобы настроить хранение Docker-образов из Managed Service for GitLab в Yandex Container Registry:

1. Создайте инстанс GitLab.
2. Настройте GitLab.
3. Создайте тестовое приложение.
4. Создайте GitLab Runner.
5. Создайте переменные окружения GitLab.
6. Создайте файл конфигурации сценария CI.
7. Проверьте результат.
8. Включите политику автоматического удаления Docker-образов.
9. (Опционально) Отсканируйте Docker-образы на наличие уязвимостей.

Если инстанс Yandex Managed Service for GitLab уже настроен для непрерывной интеграции (Continuous Integration, CI), убедитесь, что инфраструктура для хранения Docker-образов подготовлена. Затем начните настройку с создания переменных окружения.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входит плата за следующие ресурсы:

• Диски и постоянно запущенные виртуальные машины (см. тарифы Yandex Compute Cloud).
• Использование динамического публичного IP-адреса (см. тарифы Yandex Virtual Private Cloud).
• Хранение созданных Docker-образов и сканер уязвимостей, если вы его активируете (см. тарифы Container Registry).
• Использование мастера Managed Service for Kubernetes (см. тарифы Managed Service for Kubernetes).

Подготовьте инфраструктуруПодготовьте инфраструктуру

Создайте инстанс GitLabСоздайте инстанс GitLab

Создайте инстанс Managed Service for GitLab или виртуальную машину с образом GitLab в той же облачной сети, где расположен кластер Managed Service for Kubernetes.

Настройте GitLabНастройте GitLab

Чтобы настроить GitLab и подготовить процесс непрерывной интеграции (Continuous Integration, CI), создайте новый проект и введите параметры для авторизации в CI:

Создайте тестовое приложениеСоздайте тестовое приложение

Создайте тестовое приложение, которое можно будет развернуть в кластере Managed Service for Kubernetes. Для этого добавьте в проект Dockerfile:

1. Авторизуйтесь в GitLab.

2. Откройте проект GitLab.

3. В строке навигации по репозиторию нажмите кнопку и в выпадающем меню выберите пункт New file.

4. Назовите файл Dockerfile и добавьте в него код:

   FROM alpine:3.10
   CMD echo "Hello"
   

5. Напишите комментарий к коммиту в поле Commit message: Dockerfile for a test application.

6. Нажмите кнопку Commit changes.

Создайте GitLab RunnerСоздайте GitLab Runner

Чтобы запускать задачи сборки в кластере Yandex Managed Service for Kubernetes, создайте GitLab Runner. Для этого установите приложение GitLab Runner согласно инструкции.

После установки вы можете запускать автоматизированные сборки внутри своего кластера Managed Service for Kubernetes.

Подробнее про установку и настройку GitLab Runner читайте в документации GitLab.

Создайте переменные окружения GitLabСоздайте переменные окружения GitLab

Чтобы разрешить сервису Managed Service for GitLab сохранять Docker-образы и их теги в Yandex Container Registry, создайте переменные окружения GitLab:

1. Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

   По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

2. Создайте статический ключ для сервисного аккаунта account-for-container-registry, созданного ранее:

   yc iam key create --service-account-name account-for-container-registry -o key.json
   

   Ключ сохраняется в файле key.json в папке, где была запущена команда.

3. Откройте свой проект в GitLab.

4. На панели слева перейдите в раздел Settings и во всплывающем списке выберите пункт CI/CD.

5. Нажмите кнопку Expand напротив пункта Variables.

6. Добавьте переменные окружения с выключенной опцией защиты:

   Переменная	Ее значение
   CI_REGISTRY	cr.yandex/<идентификатор_реестра>. Укажите идентификатор созданного ранее реестра Yandex Container Registry.
   CI_REGISTRY_KEY	Содержимое файла key.json.

   Для добавления переменной:

   1. Нажмите кнопку Add variable.
   2. В появившемся окне в поле Key укажите имя переменной, в поле Value — значение переменной.
   3. Выключите опцию Protect variable.
   4. Нажмите кнопку Add variable.

Создайте файл конфигурации сценария CIСоздайте файл конфигурации сценария CI

Для сборки образов из Dockerfile без Docker используется kaniko.

Чтобы публиковать Docker-образы из проекта GitLab в Yandex Container Registry, создайте сценарий CI:

1. Откройте проект gitlab-test.

2. В строке навигации по репозиторию нажмите кнопку и в выпадающем меню выберите пункт New file.

3. Назовите файл .gitlab-ci.yml. Добавьте в него шаги сборки Docker-образа и его загрузки в Yandex Container Registry:

   .gitlab-ci.yml

   build:
      stage: build
      # Использование kaniko для создания контейнера внутри контейнера для большей безопасности.
      image:
         name: gcr.io/kaniko-project/executor:debug
         entrypoint: [""]
      script:
         - mkdir -p /kaniko/.docker
         # Отправка образа контейнера в реестр. Образ отмечен хэшем коммита.
         - echo "{\"auths\":{\"$CI_REGISTRY\":{\"auth\":\"$(echo -n "json_key:${CI_REGISTRY_KEY}" | base64 | tr -d '\n' )\"}}}" > /kaniko/.docker/config.json
         - >-
            /kaniko/executor
            --context "${CI_PROJECT_DIR}"
            --dockerfile "${CI_PROJECT_DIR}/Dockerfile"
            --destination "${CI_REGISTRY}/${CI_PROJECT_PATH}:${CI_COMMIT_SHORT_SHA}"
   

   Файл содержит переменные:

   • CI_REGISTRY и CI_REGISTRY_KEY — добавлены в GitLab на предыдущем шаге.
   • CI_PROJECT_DIR, CI_PROJECT_PATH и CI_COMMIT_SHORT_SHA — предопределены в GitLab.

4. Напишите комментарий к коммиту в поле Commit message: Create a CI pipeline.

5. Нажмите кнопку Commit changes.

Проверьте результатПроверьте результат

После каждого коммита запускается сценарий сборки. Чтобы проверить результаты его выполнения:

1. На панели слева в проекте gitlab-test выберите пункт Build, в выпадающем меню выберите пункт Pipelines.

2. Убедитесь, что этап build принимает статус passed. Это означает, что сценарий CI выполнился успешно.

3. Перейдите в консоль управления, затем откройте реестр Yandex Container Registry.

   При успешном выполнении сценария появляется новый репозиторий в реестре. Он пополняется Docker-образами из проекта GitLab при каждом коммите.

Включите политику автоматического удаления Docker-образовВключите политику автоматического удаления Docker-образов

Чтобы не хранить устаревшие Docker-образы и их теги, используйте политику автоматического удаления Docker-образов. Она применяется к образам в репозитории Container Registry и позволяет своевременно очищать место в нем. Так вы не переплачиваете за хранение устаревших образов.

Чтобы создать политику, следуйте инструкции.

Особенности работы с политикой:

• Внешние Container Registry и политика удаления образов влияют на производительность сценариев CI.

• Для политики действует лимит на максимальное количество образов, которые можно проверить за один запуск политики. Если количество образов в репозитории Container Registry превышает этот лимит, запустите политику несколько раз. Так будут проверены все образы.

Отсканируйте Docker-образы на наличие уязвимостейОтсканируйте Docker-образы на наличие уязвимостей

Чтобы отслеживать уязвимости Docker-образов, вы можете дополнительно активировать сканер уязвимостей в Yandex Container Registry. Сканер сравнивает версии пакетов, установленных в образах, с базами уязвимостей CVE.

Чтобы включить сканирование, дополните сценарий CI в своем проекте GitLab:

1. Откройте проект gitlab-test.

2. Откройте файл .gitlab-ci.yml.

3. Добавьте в него шаги сканирования Docker-образа на наличие уязвимостей:

   .gitlab-ci.yml

   stages:
      - build
      - test
   
   <блок_build_добавленный_ранее_в_файл>
   
   container_scanning_free_yc:
      stage: test
      # Использование утилиты jq для поиска идентификатора и записи логов.
      image: 
         name: pindar/jq
         entrypoint: [""]
      artifacts:
         when: always
         paths:
            - gl-container-scanning-report-yc.json
      variables:
         # Укажите идентификатор созданного ранее реестра.
         CI_REGISTRY_ID: "<идентификатор_реестра>"
      script:
         - export CI_COMMIT_SHORT_SHA=${CI_COMMIT_SHORT_SHA}
         # Установка Yandex Cloud CLI.
         - curl https://storage.yandexcloud.net/yandexcloud-yc/install.sh | bash -s -- -a && cp /root/yandex-cloud/bin/yc /usr/bin/
         # Начало сканирования.
         - echo "Scanning image ${CI_REGISTRY}/${CI_PROJECT_PATH}:${CI_COMMIT_SHORT_SHA}..."
         - export IMAGE_ID=$(yc container image list --registry-id $CI_REGISTRY_ID --format=json | jq -r --arg CI_COMMIT_SHORT_SHA $CI_COMMIT_SHORT_SHA '.[] | select(.tags[0]==$CI_COMMIT_SHORT_SHA) | .id ')
         # Запись логов.
         - export SCAN_RESULT=$(yc container image scan $IMAGE_ID --format=json)
         - export CRIT_VULN=$(echo $SCAN_RESULT | jq -r '.vulnerabilities.critical // 0')
         - export HIGH_VULN=$(echo $SCAN_RESULT | jq -r '.vulnerabilities.high // 0')
         - export SCAN_ID=$(echo $SCAN_RESULT | jq -r '.id')
         - echo "Scan results:"
         - yc container image list-vulnerabilities --scan-result-id="${SCAN_ID}" --format json | jq -r '.[] | select(.severity=="CRITICAL", .severity=="HIGH")'
         - yc container image list-vulnerabilities --scan-result-id="${SCAN_ID}" --format json | jq -r '.[] | select(.severity=="CRITICAL", .severity=="HIGH")' > gl-container-scanning-report-yc.json
         # Проверка результата.
         - (( SUM = $CRIT_VULN + $HIGH_VULN )) && (( RES = (SUM >= 1) )) && echo $RES && echo "image has $CRIT_VULN critical vulnerabilities and $HIGH_VULN high vulnerabilities" && exit 1 || echo "image has no high or critical vulnerabilities" exit 0
   

4. Напишите комментарий к коммиту в поле Commit message: Turn on a vulnerability scanner.

5. Нажмите кнопку Commit changes. После этого запустится обновленный сценарий.

Чтобы убедиться, что сканирование образов прошло успешно:

1. На панели слева в проекте gitlab-test выберите пункт Build, в выпадающем меню выберите пункт Pipelines.

2. Убедитесь, что этапы build и test принимают статус passed. Это означает, что сценарий CI выполнился успешно.

3. Перейдите в консоль управления, затем откройте реестр Yandex Container Registry.

4. Откройте репозиторий с Docker-образами из проекта GitLab.

5. Перейдите в папку с названием проекта GitLab.

6. Убедитесь, что в столбце Статус сканирования указано Готово.

7. В столбце Дата последнего сканирования нажмите ссылку со временем сканирования.

   Откроются результаты сканирования. Если в образе выявлены уязвимости, они отображаются в полученных результатах.

Удалите созданные ресурсыУдалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

1. Удалите инстанс Managed Service for GitLab или созданную виртуальную машину с образом GitLab.
2. Удалите все Docker-образы из реестра Container Registry.

Остальные ресурсы удалите в зависимости от способа их создания: