Benutzer-Werkzeuge

Webseiten-Werkzeuge


docu:gitlab-ci

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen gezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
docu:gitlab-ci [2017/08/21 14:41]
sage
docu:gitlab-ci [2018/05/14 17:43] (aktuell)
sage [Während des Build-Prozesses Zugriff auf anderes Gitlab-Repo gewähren] Namen des Scriptes synchronisiert
Zeile 1: Zeile 1:
 ====== Gitlab CI/CD ====== ====== Gitlab CI/CD ======
  
-Wenn in einem Code Repository ​eine Datei namens ''​.gitlab-ci.yml''​ existiert, so wird GitLab versuchen mit Hilfe der darin enthaltenen Anweisungen das Software ​in dem Projekt ​zu bauen, evtl. zu testen ​und bei Erfolg ​in eine Zielumgebung zu deployenIn der GitLab Instanz werden standardmäßig die Build-Processe über Kubernetes ​in der [[:​docu:​informatikcomputecloud|ICC]] ausgeführt. Für Spezialfälle können aber auch eigene Build-Runner angebunden ​werden.+Gitlab bietet ​eine automatische Continous Build/​Continous Deployment PipelineDamit wird in jedem, entsprend vorbereiteten, ​Projekt ​nach einer Änderung des Git-Repositories automatisch der Code ausgechecked,​ gebaut, evtl. Tests durchgeführt ​und in ein ausführbares Format gebrachtWenn diese Schritte erfolgreich sind, kann das fertige Programm auch in der [[:​docu:​informatikcomputecloud|ICC]] ​automatisch ​ausgeführt ​werden und Messdaten direkt in Gitlab beobachtet ​werden.
  
-Um ein Projekte für die Ausführung in der ICC vorzubereiten muss der Code als Docker-Image zur Verfügung stehen. Die folgende Vorlage illustriert dies anhand eine Golang-Projektes. Für andere Sprachen müssen die Anweisungen im Abschnitt ''​buildAndTest''​ angepasst werden.+Im Wurzelverzeichnis eines Projektes muss die Datei ''​.gitlab-ci.yml''​ existieren. Diese wird dann mit im gemeinsamen GitLab-Runner über Kubernetes innerhalb der ICC ausgeführt. Für Spezialfälle können auch eigene Runner angebunden werden. Siehe [[:​docu:​gitlab-ci#​eigene_build_runner|ensprechenden Abschnitt]] weiter unten. 
 + 
 +===== Minimales .gitlab-ci.yml ===== 
 + 
 +Um ein Projekte für die Ausführung in der ICC vorzubereiten muss der Code als Docker-Image zur Verfügung stehen. Die folgende Vorlage illustriert dies anhand eine Golang-Projektes. Für andere Sprachen müssen die Anweisungen im Abschnitt ''​job_build.script''​ angepasst werden. ​Eine vollständige Dokumentation für die Build-Spezifikation findet sich hier: [[https://​docs.gitlab.com/​ee/​ci/​yaml/​README.html|https://​docs.gitlab.com/​ee/​ci/​yaml/​README.html]]
  
 Vorlage: Vorlage:
Zeile 10: Zeile 14:
 stages: stages:
   - build   - build
-  - test 
-  - dockerize 
- 
-variables: 
-  DOCKER_REGISTRY:​ "​docker-hub.informatik.haw-hamburg.de/​$CI_PROJECT_NAMESPACE"​ 
-  IMAGE_NAME: "​k8s-job-monitor"​ 
-  DOCKER_HOST:​ "​localhost:​2375"​ 
-cache: 
-  paths: 
-    - vendor 
  
 before_script:​ before_script:​
   - git config --global http.sslVerify true   - git config --global http.sslVerify true
  
-buildAndTest:+job_build:
   stage: build   stage: build
-  only: 
-   - master 
   image: nexus.informatik.haw-hamburg.de/​golang:​1.8.3   image: nexus.informatik.haw-hamburg.de/​golang:​1.8.3
   variables:   variables:
Zeile 38: Zeile 30:
     - mkdir -p /​$CI_PROJECT_NAMESPACE/​$CI_PROJECT_NAME/​     - mkdir -p /​$CI_PROJECT_NAMESPACE/​$CI_PROJECT_NAME/​
     - mv ./​k8s-job-monitor /​$CI_PROJECT_NAMESPACE/​$CI_PROJECT_NAME/​     - mv ./​k8s-job-monitor /​$CI_PROJECT_NAMESPACE/​$CI_PROJECT_NAME/​
-  artifacts:​ +</code>
-    paths: +
-    - ./k8s-job-monitor+
  
-deploy: +===== Während des Build-Prozesses Zugriff auf anderes Gitlab-Repo gewähren ===== 
-  ​stage:​ dockerize + 
-  ​only: +In der Regel werden für das Bauen von Software noch zusätzliche Komponenten wie Bibliotheken,​ Werkzeuge oder Daten benötigt. Diese werden zusammenfassend als Abhängigkeiten bezeichnet. Wenn diese Abhängigkeiten in zugriffsbeschränkten Repositories auf dem Gitlab zu Verfügung stehen, so können für einen Build-Prozess die notwendigen Zugangsinformationen mit sog. //**Deploy Keys**// ​ ([[https://​docs.gitlab.com/​ce/​ssh/​README.html#​deploy-keys|https://​docs.gitlab.com/​ce/​ssh/​README.html#​deploy-keys]]) zur Verfügung gestellt werden. 
-   master + 
-  imagedocker:​latest +Hierzu müssen Sie 
-  ​services:​ + 
-    - docker:dind +  ​- Ein SSH Schlüsselpaar erzeugen. Dies sollte auf keinen Fall ihr persönliches Paar sein. 
-  ​before_script:​ +  Den öffentlichen Schlüssel legen Sie in dem Projekt **auf das zugegriffen werden soll** ​ als Deploy Key ab. Öffnen Sie dazu im Sidebar die Seite "''//​Settings | Repository//''​" ​und erweitern den Abschnitt "''//​Deploy Keys//''"​. Legen Sie nun einen neuen Deploy Key an. Hier finden Sie auch einen Link auf detailierte Informationen zur Erzeugung und Formatierung der benötigten Schlüssel. 
-    echo "before_script overriden+  - Den private Schlüssel legen Sie in das Projekt **aus dem heraus zugegriffen werden soll** ​ als geheime Variable ab. Öffnen Sie dazu im Sidebar die Seite "''//​Settings | CI/​CD//''"​ und erweitern den Abschnit "''//​Secret variables//''"​. Legen Sie eine Variable mit dem Namen "​SSH_PRIVATE_KEY"​ an und füllen Sie deren Wert auf den private Key. 
-  ​dependencies:​ +  In dem Projekt von dem aus zugegriffen werden soll fügen, Sie folgenden Abschnitt zur ''​.gitlab-ci.yml'' ​ hinzu (oder erweitern ihn, wenn Sie schon einen solchen Abschnitt haben
-    ​buildAndTest + 
-  script: +<​code>​ 
-    docker build -t $SERVICE_NAME:​latest ​. +before_script
-    ​docker tag $SERVICE_NAME:latest $DOCKER_REGISTRY/​$SERVICE_NAME:​$CI_PIPELINE_ID +  # setup SSH if on ubuntu 
-    - docker tag $SERVICE_NAME:​latest $DOCKER_REGISTRY/​$SERVICE_NAME:​latest +  eval $(bash ./scripts/setup-ssh.sh "$SSH_PRIVATE_KEY"​)
-    - docker tag $SERVICE_NAME:latest $DOCKER_REGISTRY/​$SERVICE_NAME:​$CI_COMMIT_SHA +
-    - docker login -u $ARTIFACTORY_USER -p $ARTIFACTORY_PW $DOCKER_REGISTRY +
-    docker push $DOCKER_REGISTRY/$SERVICE_NAME:​$CI_PIPELINE_ID +
-    - docker push $DOCKER_REGISTRY/$SERVICE_NAME:​latest +
-    ​docker push $DOCKER_REGISTRY/​$SERVICE_NAME:​$CI_COMMIT_SHA+
 </​code>​ </​code>​
 +
 +  - Folgendes Script dem zugreifenden Projekt unter ''​scripts/​setup-ssh.sh'' ​ hinzufügen:​
 +
 +<​code>​
 +#!/bin/bash
 +#
 +# set up the SSH agent to access the repositories of the dependencies of
 +# this project. Currently only works on Ubuntu or Debian machines.
 +#
 +# use: setup-ssh #
 +# set the private key as project secret
 +#
 +SSH_PRIVATE_KEY="​$1"​
 +# check if this is actually ubuntu
 +ID="​something else"
 +test -f /​etc/​os-release && source /​etc/​os-release
 +case "​$ID"​ in
 +  debian|ubuntu)
 +    # Install ssh-agent if not already installed, it is required by Docker.
 +    which ssh-agent>/​dev/​null || ( apt-get update -y && apt-get install openssh-client -y )
 +
 +    # Run ssh-agent (inside the build environment)
 +    AGENT_SETUP=$(ssh-agent -s) ; echo "​$AGENT_SETUP"​
 +
 +    # need info here too
 +    eval $AGENT_SETUP>/​dev/​null
 +
 +    # Add the SSH key stored in SSH_PRIVATE_KEY variable to the agent store
 +    echo -n "#"​
 +    ssh-add <(echo "​$SSH_PRIVATE_KEY"​)
 +    echo -n "# Key loaded: ​ "
 +    ssh-add -l
 +
 +    # For Docker builds disable host key checking. Be aware that by adding that
 +    # you are susceptible to man-in-the-middle attacks.
 +    # WARNING: Use this only with the Docker executor, if you use it with shell
 +    # you will overwrite your user's SSH config.
 +    mkdir -p ~/.ssh
 +
 +    [[ -f /.dockerenv |]] && echo -e "Host *\n\tStrictHostKeyChecking no\n\n">​ ~/​.ssh/​config
 +  ;;
 +  *)
 +    echo "echo OS is $ID, which is unknown to mee, no setup done"
 +    exit 0
 +esac
 +</​code>​
 +
 +
 +===== Docker Images in Gitlab Build bauen =====
 +
 +Es ist natürlich auch möglich Docker Images in einer Gitlab Pipeline zu bauen. Dazu ist die DOCKER_HOST Variable in der Gitlab Job Beschreibung zu setzen und das stable-dind images als "​service"​ im Job zu setzen. Beispiel für eine .gitlab-ci.yml aus [[https://​gitlab.informatik.haw-hamburg.de/​ail/​haw-world/​blob/​master/​.gitlab-ci.yml|https://​gitlab.informatik.haw-hamburg.de/​ail/​haw-world/​blob/​master/​.gitlab-ci.yml]]:​
 +
 +<​code>​
 +stages:
 +    - dockerize
 +
 +variables:
 + ​DOCKER_HOST:​ "​tcp://​localhost:​2375"​
 + ​DOCKER_REGISTRY:​ "​nexus.informatik.haw-hamburg.de"​
 + ​SERVICE_NAME:​ "​haw-world"​
 +
 +createImage:​
 + ​stage:​ dockerize
 + ​image:​ nexus.informatik.haw-hamburg.de/​docker:​stable-dind
 + ​services:​
 +   - nexus.informatik.haw-hamburg.de/​docker:​stable-dind
 + ​script:​
 +   - docker login -u $NEXUS_USER -p $NEXUS_PW $DOCKER_REGISTRY
 +   - docker build -t $DOCKER_REGISTRY/​$SERVICE_NAME:​$CI_PIPELINE_ID .
 +   - docker push $DOCKER_REGISTRY/​$SERVICE_NAME:​$CI_PIPELINE_ID
 +</​code>​
 +
 +===== Deployment einer Applikation aus Gitlab in die ICC =====
 +
 +den Artikel dazu finden Sie im entsprechenden [[:​docu:​informatikcomputecloud#​deployment_einer_applikation_aus_gitlab_in_die_icc|Abschnitt]] der Dokumentation für die Informatik Computer Cloud.
 +
 +===== Eigene Build Runner =====
 +
 +Siehe [[https://​docs.gitlab.com/​ce/​ci/​runners/​README.html|https://​docs.gitlab.com/​ce/​ci/​runners/​README.html]] für weitere Details.
 +
  
docu/gitlab-ci.1503319302.txt.gz · Zuletzt geändert: 2017/08/21 14:41 von sage