之前都在偷懶沒有寫網誌,剛好這次端午連假比較長。
所以想做測試跟實驗的部分都做完了,就來寫一篇關於 Gitlab CI 整合的經驗分享。
文章中大致上會涵蓋這些部分:
- Gitlab CI 基本使用
- Rancher建置環境
- SonarQube 基本使用
- Gitlab CI 整合環境
文章會以我在建構 CI 環境的過程中來講解,一些安裝跟配置的部分會直接跳過。
硬體環境
因為我主要是幫老爸公司建構這個環境的,所以這些配置是基於一個很小的開發團隊(不足十人)的情況去設置的,如果團隊比較大或者有其他需求,不一定會適用。
這個環境會出現兩台機器,不過實際上使用的只有一台。
- Synology DS1512+
- Server 等級 :: i7-3820 3.6GHz / 8G RAM
目前裡面只有使用這兩台 Server 下面那台是自行組的,放在一個小機櫃這樣 XD
內部網路環境用的是 1Gbps 的 Switch 這樣
伺服器因為組了也有三四年,裡面用的是單顆 SSD 原本是 96GB 的前陣子換成 256GB 的 SSD,不過為了避免容量爆炸所以透過 NAS 設定了 ISCSI 給 Server 用,容量是 1TB 這樣。
不過體驗到了 Docker Pull 的慢速,所以 ISCSI 只用在 Container 本身的資料保存。
軟體環境
伺服器上用的是 Ubuntu 14.04 版本,裡面只安裝以下三個套件。
- Nginx - 做反向代理
- Docker
- Rancher - Container 管理
所有的服務都是透過 Docker 架設,對外的 Web 介面則用 Nginx 導出。
Production 不能這樣玩,像是 Database 會有效能貧頸等等問題。
開發環境
一張圖解釋 XD

Fluentd 是拿來玩的,至於配置的話都是使用 docker-compose.yml
上傳設定來處理的。
gitlab.yml1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64
| postgresql: restart: always image: sameersbn/postgresql:9.4-18 environment: - DB_USER=gitlab - DB_PASS=[hidden] - DB_NAME=gitlabhq_production - DB_EXTENSION=pg_trgm volumes: - /srv/gitlab/postgresql:/var/lib/postgresql gitlab: restart: always image: sameersbn/gitlab:8.6.4 links: - redis:redisio - postgresql:postgresql ports: - "10080:80" - "10022:22" environment: - DEBUG=false - TZ=Asia/Taipei - GITLAB_TIMEZONE=Taipei - GITLAB_SECRETS_DB_KEY_BASE=[hidden] - GITLAB_HOST=localhost - GITLAB_PORT=10080 - GITLAB_SSH_PORT=10022 - GITLAB_RELATIVE_URL_ROOT= - GITLAB_NOTIFY_ON_BROKEN_BUILDS=true - GITLAB_NOTIFY_PUSHER=false - GITLAB_EMAIL=notifications@moho.com.tw - GITLAB_EMAIL_REPLY_TO=noreply@moho.com.tw - GITLAB_INCOMING_EMAIL_ADDRESS=gitlab@moho.com.tw - GITLAB_BACKUP_SCHEDULE=daily - GITLAB_BACKUP_TIME=01:00 - SMTP_ENABLED=true - SMTP_DOMAIN=moho.com.tw - SMTP_HOST=192.168.100.230 - SMTP_PORT=587 - SMTP_USER=gitlab - SMTP_PASS=[hidden] - SMTP_STARTTLS=true - SMTP_AUTHENTICATION=login - IMAP_ENABLED=true - IMAP_HOST=192.168.100.230 - IMAP_PORT=993 - IMAP_USER=gitlab - IMAP_PASS=[hidden] - IMAP_SSL=true - IMAP_STARTTLS=false volumes: - /srv/gitlab/gitlab:/home/git/data redis: restart: always image: sameersbn/redis:latest volumes: - /srv/gitlab/redis:/var/lib/redis
|
基本上沒什麼特別,就是照 Docker Image 的範例修改環境變數跟設定而已。
用 Rancher 的好處是之後升級可以用 Upgrade 修改 Image 的版本 Tag 就能夠升級了~
SonarQube 的部分也一樣
sonarqube.yml1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
| postgresql: restart: always image: sameersbn/postgresql:9.4-18 environment: - DB_USER=sonar - DB_PASS=[hidden] - DB_NAME=sonar - DB_EXTENSION=pg_trgm volumes: - /srv/sonarqube/postgresql:/var/lib/postgresql sonarqube: restart: always image: sonarqube links: - postgresql:postgresql ports: - "10081:9000" environment: - SONARQUBE_JDBC_URL=jdbc:postgresql://postgresql:5432/sonar - SONARQUBE_JDBC_PASSWORD=[hidden] volumes: - /srv/sonarqube/extensions:/opt/sonarqube/extensions
|
這樣一來就能跑起來了,至於像是 Nginx 的反向代理我就不另外敘述摟~~
Gitlab CI 入門
安裝部分就參考官方的文件來安裝,基本上不難。
之後就是把它 Register 到 Gitlab 上面,有趣的是他可以登記到多個 Gitlab 而不限一個,我自己是開一個 Container 去跑,然後給權限讓他能在 Host 上面開新的 Container (Runner) 這樣。
那麼,先來講幾個關鍵的點吧 XD
NAT 問題
因為路由器設定的問題,所以在 Runner 去 Clone 專案的時候會有些障礙。
假設我的 Gitlab Host 是 gitlab.xxx.com.tw
那麼網路設定大概是這樣。
LAN —-> NAT —–> WAN
不過 LAN 裡面又有不同的機器,而老爸公司用的是固定 IP (五組)所以我就透過 IP 去分要導去哪台。
59.x.x.49 —> NAS
59.x.x.50 —> Server
這是透過 Public IP 設定的,但是在 Server 裡面會變成
LAN IP —-> NAT —–> Server
結果 NAT 就不覺得 Server 裡面是走 59.x.x.50 進來的(崩潰)
所以只好對 Gitlab Runner 動手腳 XD
Gitlab CI 的 Runner 有一個全域的設定檔,我們給他改造一下
/etc/gitlab-runner/config.tmol1 2 3 4 5 6 7 8 9 10
| [[runners]] name = "ruby-2.1-docker" url = "https://CI/" token = "TOKEN" limit = 0 executor = "docker" builds_dir = "" shell = "" environment = ["ENV=value", "LC_ALL=en_US.UTF-8"] disable_verbose = false
|
上面是設定為 Docker 模式的 Runner,我們現在要讓 Host 的 gitlab.xxx.com.tw
直接用 Host IP 而不是 Public IP 讓他跳過 NAT 的解析。
/etc/gitlab-runner/config.tmol1 2 3
| [runners.docker] // 略 extra_hosts = ["gitlab.xxx.com.tw:127.10.0.1"]
|
在 runners.docker
的部分,可以直接告訴他 /etc/hosts
要新增哪幾筆資料。
設定檔
接下來就是學 .gitlab-ci.yml
怎麼寫了,如果用過 Travis CI 之類的服務應該都是可以駕輕就熟拉 XD
.gitlab-ci.yml1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
| before_script: - export GRADLE_USER_HOME=`pwd`/.gradle - mkdir -p $GRADLE_USER_HOME - echo "org.gradle.daemon=true" >> $GRADLE_USER_HOME/gradle.properties - echo "org.gradle.jvmargs=-Xmx2048m -XX:MaxPermSize=512m -XX:+HeapDumpOnOutOfMemoryError -Dfile.encoding=UTF-8" >> $GRADLE_USER_HOME/gradle.properties - echo "org.gradle.parallel=true" >> $GRADLE_USER_HOME/gradle.properties - echo "org.gradle.configureondemand=true" >> $GRADLE_USER_HOME/gradle.properties cache: paths: - .gradle/caches - .gradle/wrapper junit: image: elct9620/gitlab-android-junit script: - ./gradlew test sonar: image: elct9620/gitlab-sonar-scanner script: - "/bin/true"
|
先看一下我目前用的 Gitlab CI 設定檔。
基本上分為兩種
如果是關鍵字,就會被分類成 Config 像是 cache
before_script
這種,如果寫在 Job 外面就是 Global 的,寫在裡面就只對某個 Job 生效。
因為這是 Java 專案,所以我讓所有的 Task 都支援 Gradle 的設定(SonarQube 怎麼上 Cache 還沒找到⋯⋯)
至於該怎麼寫,大致上就是這樣的格式:
1 2 3 4 5
| job: config: - xxx - xxx
|
例如我要用 ruby-2.3 然後跑 rspec 並且快取 cache
目錄
1 2 3 4 5 6 7
| rspec: image: ruby:2.3 script: - bundle exec rspec cache: paths: - cache
|
這邊基本上不難,但是要注意幾點
- Working Directory 是在 Gitlab 設定的目錄
- Script 跟 Entrypoint 不相容,他是真實一段 Shell Script 注入你的 Script
- Cache 只在 Working Directory 中可以運作
關於 Cache 官方的 Issue 上面有人說如果是 /root
的形式,可以運作。但是 /root/gradle
就不行。
其他部分看文件就好了,最基本的使用其實就這樣 XD
然後放到專案的根目錄下就會自動被 Gitlab 偵測然後自動運行。
關於 Pipline 等等就等之後有機會再跟大家分享拉 XD
SonarQube
前面已經裝好了,其實不需要再多做設定。
這邊簡單分享一下自製 Docker Image 的心得這樣。
因為只是單純的需要 Docker 環境,所以只要使用官方的 java:8-jre-alpine
版本就可以了!
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
| FROM java:8-jre-alpine MAINTAINER 蒼時弦也 docker@frost.tw ENV SONAR_SCANNER_VERSION 2.6.1 ENV SONAR_SCANNER_HOME /opt/sonar-scanner-${SONAR_SCANNER_VERSION} ENV SONAR_SCANNER_PACKAGE sonar-scanner-${SONAR_SCANNER_VERSION}.zip ENV HOME ${SONAR_SCANNER_HOME} WORKDIR /opt RUN apk update \ && apk add bash wget ca-certificates unzip \ && wget https://sonarsource.bintray.com/Distribution/sonar-scanner-cli/${SONAR_SCANNER_PACKAGE} \ && unzip ${SONAR_SCANNER_PACKAGE} \ && rm ${SONAR_SCANNER_PACKAGE} RUN addgroup sonar \ && adduser -D -s /usr/sbin/nologin -h ${SONAR_SCANNER_HOME} -G sonar sonar \ && chown -R sonar:sonar ${SONAR_SCANNER_HOME} \ && mkdir -p /data \ && chown -R sonar:sonar /data USER sonar WORKDIR /data VOLUME /data ADD entrypoint.sh /entrypoint.sh ENTRYPOINT ["/entrypoint.sh"]
|
基本上就只是把 Sonar Scanner 抓下來,然後放到指定的目錄。
不過真正困難的點就在額外的設定 entrypoint.sh
了!
如果是一般使用,直接將 ENTRYPOINT
設定成 Sonar Scanner 就可以。
但是會暴露在外部網路的環境,一定需要使用者驗證。
Sonar Qube 如果開啟 Force Authentication
就一定要用帳號密碼或者 Token 才能透過 API 上傳需要分析的程式碼。
所以我弄了一個 Shell Script 當 Entrypoint 來解決這個問題
entrypoint.sh1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
| #!/bin/bash set -e VERSION=${CI_BUILD_TAG:-"${CI_BUILD_REF_NAME}"} OPTS="-Dsonar.projectVersion=${VERSION} -Dsonar.gitlab.project_id=${CI_PROJECT_ID} -Dsonar.gitlab.commit_sha=${CI_BUILD_REF} -Dsonar.gitlab.ref_name=${CI_BUILD_REF_NAME} -Dsonar.issuesReport.console.enable=true"
# TODO: Improve entrypoint to support gitlab-runner cd ${CI_PROJECT_DIR} if [[ ! -z $SONAR_TOKEN ]]; then ${SONAR_SCANNER_HOME}/bin/sonar-scanner -Dsonar.login=${SONAR_TOKEN} ${OPTS} else ${SONAR_SCANNER_HOME}/bin/sonar-scanner ${OPTS} fi
|
基本上很簡單,利用 Scanner 的 -D
補足缺少的參數,跟自動填入。
1
| VERSION=${CI_BUILD_TAG:-"${CI_BUILD_REF_NAME}"}
|
因為會需要給版本,但是照我的習慣會忘記是哪個版本,不如就自動用 Tag / Branch Name 來當版本 XD
但是似乎會被蓋掉拉,所以有實用性有待商榷(但是這是必填項目)
剩下的 OPTS
則是跟 Gitlab 整合的部分,目前還沒有成功。
正常運作的話會自動到 Gitlab 當次 Commit 留言說有 Bad Semll 之類的 XD
最後是 Token 了,因為不可能直接把 Token 寫在 .gitlab-ci.yml
當環境變數放進去,所以我是在 Gitlab 的專案設定中寫進去。
也許你會想說這樣做:
.gitlab-ci.yml1 2 3
| sonar: script: - -Dsonar.logn=${SONAR_TOKEN}
|
但是前面有提到,因為是 Gitlab 自己的 Shell Script 所以不太可能這樣做。
所以就只好給個 Shell Script 來自己處理這個問題摟~ XD
寫這篇文章時想到我好像可以設定 $PATH 然後直接跑 sonar-scanner -Dsonar.login
就好了!?
最後,在專案目錄設定一下 Sonar 的設定檔,扣掉 Token 不適合放到 VCS 之外,其他都可以安心寫在裡面。
sonar-project.properties 1 2 3 4 5 6 7 8 9 10 11 12 13 14
| sonar.host.url=http://sonarqube.xxx.com.tw # must be unique in a given SonarQube instance sonar.projectKey=storemap:Android # this is the name displayed in the SonarQube UI sonar.projectName=StoreMap Android # Path is relative to the sonar-project.properties file. Replace "\" by "/" on Windows. # Since SonarQube 4.2, this property is optional if sonar.modules is set. # If not set, SonarQube starts looking for source code from the directory containing # the sonar-project.properties file. sonar.sources=app/src # Encoding of the source code. Default is default system encoding #sonar.sourceEncoding=UTF-8
|
預設的 sonar.host.url
是 http://localhost:9000
為了要正確上傳,記得加上這行設定到對應的網址上。
Android SDK & JUnit
網路上 Google 了一下,都沒有滿意的 SDK (誤)所以只好自己包一份 XD
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
| FROM java:8-jdk MAINTAINER 蒼時弦也 docker@frost.tw ENV ANDROID_SDK_VERSION r24.4.1 ENV ANDROID_SDK_SOURCE https://dl.google.com/android/android-sdk_${ANDROID_SDK_VERSION}-linux.tgz RUN apt-get update \ && apt-get install -y ca-certificates lib32stdc++6 lib32z1 lib32z1-dev \ && mkdir -p /opt RUN curl -L ${ANDROID_SDK_SOURCE} | tar zxv -C /opt ENV ANDROID_HOME /opt/android-sdk-linux ENV PATH $PATH:$ANDROID_HOME/tools ENV PATH $PATH:$ANDROID_HOME/platform-tools RUN echo "y" | android update sdk -u -a --filter tools \ && echo "y" | android update sdk -u -a --filter platform-tools \ && echo "y" | android update sdk -u -a --filter extra-android-support \ && echo "y" | android update sdk -u -a --filter extra-android-m2repository \ && echo "y" | android update sdk -u -a --filter extra-google-google_play_services \ && echo "y" | android update sdk -u -a --filter extra-google-m2repository RUN echo "y" | android update sdk -u -a --filter android-23 \ && echo "y" | android update sdk -u -a --filter build-tools-23.0.2 \ && echo "y" | android update sdk -u -a --filter build-tools-23.0.1 \ && echo "y" | android update sdk -u -a --filter build-tools-23.0.0 RUN mkdir ~/.gradle \ true&& echo "org.gradle.daemon=true" >> ~/.gradle/gradle.properties \ true&& echo "org.gradle.jvmargs=-Xmx2048m -XX:MaxPermSize=512m -XX:+HeapDumpOnOutOfMemoryError -Dfile.encoding=UTF-8" >> ~/.gradle/gradle.properties \ true&& echo "org.gradle.parallel=true" >> ~/.gradle/gradle.properties \ true&& echo "org.gradle.configureondemand=true" >> ~/.gradle/gradle.properties
|
原本是想用 alpine
的版本,不過在跑的時候會碰到因為缺少 lib32stdc++
跟 lib32z1
這兩個套件而無法正常運作。
但是 Alpine 似乎沒有 lib32z1
只有 zlib-dev
可以用,總之因為出問題就只好放棄了 XD
目前用 API v23 開發,沒有要向下相容的需求就只先把 23 版的部分放進去。
至於上面一對 Support 部分裡面還包含了 Android Uint Test 的部分,所以都是得乖乖放進去(也包含了 Firebase 套件⋯⋯)
最後針對 Gradle 做一些額外設定,像是開啟 Parallel 之類的可以讓 Gradle 跑得比較快些。
剩下的 Cache 就參考前面我的 Gitlab 設定檔摟
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
| before_script: - export GRADLE_USER_HOME=`pwd`/.gradle - mkdir -p $GRADLE_USER_HOME - echo "org.gradle.daemon=true" >> $GRADLE_USER_HOME/gradle.properties - echo "org.gradle.jvmargs=-Xmx2048m -XX:MaxPermSize=512m -XX:+HeapDumpOnOutOfMemoryError -Dfile.encoding=UTF-8" >> $GRADLE_USER_HOME/gradle.properties - echo "org.gradle.parallel=true" >> $GRADLE_USER_HOME/gradle.properties - echo "org.gradle.configureondemand=true" >> $GRADLE_USER_HOME/gradle.properties cache: paths: - .gradle/caches - .gradle/wrapper junit: image: elct9620/gitlab-android-junit script: - ./gradlew test
|
這邊比較特別的是我將 Gradle 的目錄改到目前 Gitlab 運行的目錄。
前面有提到因為 Cache 只對當前目錄(專案目錄)有效果,所以必須這樣設定才能正確的快取到。
不過原本做的設定也會一併消失,所以要在寫入一次設定。
Image 會叫 gitlab-android-junit
是因為我沒想到 Gradle 會裝好 JUnit 的關係,之後應該是會改名拉 XD
開始寫文章的時候離準備收假只剩下一個多小時,可能不是很詳細,請大家見諒。
留言