新一代更強大的鏡像構(gòu)建工具Earthly

開局一張圖，功能全靠吹。

Earthly 是一個更加高級的 Docker 鏡像構(gòu)建工具，Earthly 通過自己定義的 Earthfile 來代替?zhèn)鹘y(tǒng)的 Dockerfile 完成鏡像構(gòu)建；Earthfile 就如同 Earthly 官方所描述:

Makefile + Dockerfile = Earthfile

在使用 Earthly 進行構(gòu)建鏡像時目前強依賴于 buildkit，Earthly 通過 buildkit 支持了一些 Dockerfile 的擴展語法，同時將 Dockerfile 與 Makefile 整合，使得多平臺構(gòu)建和代碼化 Dockerfile 變得更加簡單；使用 Earthly 可以更加方便的完成 Dockerfile 的代碼復(fù)用以及更加友好的 CI 自動集成。

二、快速開始

2.1、安裝依賴

Earthly 目前依賴于 Docker 和 Git，所以安裝 Earthly 前請確保機器已經(jīng)安裝了 Docker 和 Git。

2.2、安裝 Earthly

Earthly 采用 Go 編寫，所以主要就一個二進制文件，Linux 下安裝可以直接參考官方的安裝腳本:

$ sudo /bin/sh -c 'wget https://github.com/earthly/earthly/releases/latest/download/earthly-linux-amd64 -O /usr/local/bin/earthly && chmod +x /usr/local/bin/earthly && /usr/local/bin/earthly bootstrap --with-autocomplete'

安裝完成后 Earthly 將會啟動一個 buildkitd 容器: earthly-buildkitd。

2.3、語法高亮

目前 Earthly 官方支持 VS Code、VIM 以及 Sublime Text 三種編輯器的語法高亮，具體如何安裝請參考 官方文檔[1]。

2.4、基本使用

本示例源于官方 Basic 教程，以下示例以編譯 Go 項目為樣例:

首先創(chuàng)建一個任意名稱的目錄，目錄中存在項目源碼文件以及一個 Earthfile 文件；

main.go

packagemain

import"fmt"

funcmain(){
fmt.Println("helloworld")
}

Earthfile

FROMgolang:1.17-alpine
WORKDIR/go-example

build:
COPYmain.go.
RUNgobuild-obuild/go-examplemain.go
SAVEARTIFACTbuild/go-example/go-exampleASLOCALbuild/go-example

docker:
COPY+build/go-example.
ENTRYPOINT["/go-example/go-example"]
SAVEIMAGEgo-example:latest

有了 Earthfile 以后我們就可以使用 Earthly 將其打包為鏡像；

#目錄結(jié)構(gòu)
~/t/earthlytest???tree
.
├──Earthfile
└──main.go

0directories,2files

#通過earthly進行構(gòu)建
~/t/earthlytest???earthly+docker

構(gòu)建完成后我們就可以直接從 docker 的 images 列表中查看剛剛構(gòu)建的鏡像，并運行:

三、進階使用

3.1、多階段構(gòu)建

Earthfile 中包含類似 Makefile 一樣的 target，不同的 target 之間還可以通過特定語法進行引用，每個 target 都可以被單獨執(zhí)行，執(zhí)行過程中 earthly 會自動解析這些依賴關(guān)系。

這種多階段構(gòu)建時語法很彈性，我們可以在每個階段運行獨立的命令以及使用不同的基礎(chǔ)鏡像；從快速開始中可以看到，我們始終使用了一個基礎(chǔ)鏡像(golang:1.17-alpine)，對于 Go 這種編譯后自帶運行時不依賴其語言 SDK 的應(yīng)用，我們事實上可以將 “發(fā)布物” 僅放在簡單的運行時系統(tǒng)鏡像內(nèi)，從而減少最終鏡像體積:

由于使用了多個 target，所以我們可以單獨的運行 build 這個 target 來驗證我們的編譯流程，這種多 target 的設(shè)計方便我們構(gòu)建應(yīng)用時對編譯、打包步驟的細化拆分，同時也方便我們進行單獨的驗證。例如我們單獨執(zhí)行 build 這個 target 來驗證我們的編譯流程是否正確:

在其他階段驗證完成后，我們可以直接運行最終的 target，earthly 會自動識別到這種依賴關(guān)系從而自動運行其依賴的 target:

3.2、擴展指令

3.2.1、SAVE

SAVE 指令是 Earthly 自己的一個擴展指令，實際上分為 SAVE ARTIFACT 和 SAVE IMAGE；其中 SAVE ARTIFACT 指令格式如下:

SAVEARTIFACT[--keep-ts][--keep-own][--if-exists][--force][][ASLOCAL<local-path>]

SAVE ARTIFACT 指令用于將文件或目錄從 build 運行時環(huán)境保存到 target 的 artifact 環(huán)境；當保存到 artifact 環(huán)境后，可以通過 COPY 等命令在其他位置進行引用，類似于 Dockerfile 的 COPY --from... 語法；不同的是 SAVE ARTIFACT 支持 AS LOCAL附加參數(shù)，一但指定此參數(shù)后，earthly 會同時將文件或目錄在宿主機復(fù)制一份，一般用于調(diào)試等目的。SAVE ARTIFACT 命令在上面的樣例中已經(jīng)展示了，在運行完 earthly +build 命令后實際上會在本地看到被 SAVE 出來的 ARTIFACT:

而另一個 SAVE IMAGE 指令則主要用于將當前的 build 環(huán)境 SAVE 為一個 IMAGE，如果指定了 --push 選項，同時在執(zhí)行 earthly +target 命令時也加入 --push 選項，該鏡像將會自動被推送到目標 Registry 上。SAVE IMAGE 指令格式如下:

SAVEIMAGE[--cache-from=][--push]...

3.2.2、GIT CLONE

GIT CLONE 指令用于將指定 git 倉庫 clone 到 build 環(huán)境中；與 RUN git clone... 命令不同的是，GIT CLONE 通過宿主機的 git 命令運行，它不依賴于容器內(nèi)的 git 命令，同時還可以直接為 earthly 配置 git 認證，從而避免將這些安全信息泄漏到 build 環(huán)境中；關(guān)于如何配置 earthly 的 git 認證請參考 官方文檔[2]；下面是 GIT CLONE 指令的樣例:

3.2.3、COPY

COPY 指令與標準的 Dockerfile COPY 指令類似，除了支持 Dockerfile 標準的 COPY 功能以外，earthly 中的 COPY 指令可以引用其他 target 環(huán)節(jié)產(chǎn)生的 artifact，在引用時會自動聲明依賴關(guān)系；即當在 B target 中存在 COPY +A/xxxxx /path/to/copy 類似的指令時，如果只單純的執(zhí)行 earthly +B，那么 earthly 根據(jù)依賴分析會得出在 COPY 之前需要執(zhí)行 target A。COPY 指令的語法格式如下:

#與Dockerfile相同的使用方式，從上下文復(fù)制
COPY[options...]...

#擴展支持的從target復(fù)制方式
COPY[options...]...

3.2.4、RUN

RUN 指令在標準使用上與 Dockerfile 里保持一致，除此之外增加了更多的擴展選項，其指令格式如下:

#shell方式運行(/bin/sh-c)
RUN[--push][--entrypoint][--privileged][--secret=][--ssh][--mount][--]<command>

#exec方式運行
RUN[[...],"","","",...]

其中 --privileged 選項允許運行的命令使用 privileged capabilities，但是需要 earthly 在運行 target 時增加 --allow-privileged 選項；--interactive / --interactive-keep 選項用于交互式執(zhí)行一些命令，在完成交互后 build 繼續(xù)進行，在交互過程中進行的操作都會被持久化到 鏡像中:

限于篇幅原因，其他的具體指令請查閱官方文檔 Earthfile reference[3]。

3.3、UDCS

UDCs 全稱 “User-defined commands”，即用戶定義指令；通過 UDCs 我們可以將 Earthfile 中特定的命令剝離出來，從而實現(xiàn)更加通用和統(tǒng)一的代碼復(fù)用；下面是一個定義 UDCs 指令的樣例:

#定義一個Command
#注意:語法必須滿足以下規(guī)則
#1、名稱全大寫
#2、名稱下劃線分割
#3、首個命令必須為COMMAND(后面沒有冒號)
MY_COPY:
COMMAND
ARGsrc
ARGdest=./
ARGrecursive=false
RUNcp$(if$recursive="true";thenprintf---r;fi)"$src""$dest"

#target中引用
build:
FROMalpine:3.13
WORKDIR/udc-example
RUNecho"hello">./foo
#通過DO關(guān)鍵字引用UDCs
DO+MY_COPY--src=./foo--dest=./bar
RUNcat./bar#prints"hello"

UDCs 不光可以定義在一個 Earthfile 中，UDCs 可以跨文件、跨目錄引用:

有了 UDCs 以后，我們可以通過這種方式將對基礎(chǔ)鏡像的版本統(tǒng)一控制、對特殊鏡像的通用處理等操作全部抽象出來，然后每個 Earthfile 根據(jù)需要進行引用；關(guān)于 UDCs 的使用樣例可以參考我的 autobuild[4] 項目，其中的 udcs[5] 目錄定義了大量的通用 UDCs，這些 UDCs 被其他目標鏡的 Earthfile 批量引用。

3.4、多平臺構(gòu)建

在以前使用 Dockerfile 的時候，我們需要自己配置然后開啟 buildkit 來實現(xiàn)多平臺構(gòu)建；在配置過程中可能會很繁瑣，現(xiàn)在使用 earthly 可以默認幫我們實現(xiàn)多平臺的交叉編譯，我們需要做的僅僅是在 Earthfile 中聲明需要支持哪些平臺而已:

以上 Earthfile 在執(zhí)行 earthly --push +all 構(gòu)建時，將會自動構(gòu)建四個平臺的鏡像，并保持單個 tag，同時由于使用了 --push 選項還會自動推送到 Docker Hub 上:

四、總結(jié)

Earthly 彌補了 Dockerfile 的很多不足，解決了很多痛點問題；但同樣可能需要一些學習成本，但是如果已經(jīng)熟悉了 Dockerfile 其實學習成本不高；所以目前還是比較推薦將 Dockerfile 切換為 Earthfile 進行統(tǒng)一和版本化管理的。本文由于篇幅所限(懶)很多地方?jīng)]有講，比如共享緩存等，所以關(guān)于 Earthly 更多的詳細使用等最好還是仔細閱讀一下官方文檔[6]。

審核編輯 ：李倩