Docker 日志的概念解釋和方案提供

Docker 日志分為兩類：

Docker 引擎日志(也就是 dockerd 運行時的日志)，

容器的日志，容器內(nèi)的服務產(chǎn)生的日志。

一 、Docker 引擎日志

Docker 引擎日志一般是交給了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/docker.log 下，后者我們一般 通過 journalctl -u docker來進行查看。

以上內(nèi)容來自：https://blog.lab99.org/post/docker-2016-07-14-faq.html

二、容器日志

2.1、常用查看日志命令——docker logs

docker logs CONTAINER顯示當前運行的容器的日志信息， UNIX 和 Linux 的命令有三種 輸入輸出，分別是 STDIN(標準輸入)、STDOUT(標準輸出)、STDERR(標準錯誤輸出)，docker logs 顯示的內(nèi)容包含 STOUT 和 STDERR。在生產(chǎn)環(huán)境，如果我們的應用輸出到我們的日志文件里，所以我們在使用 docker logs 一般收集不到太多重要的日志信息。

nginx 官方鏡像，使用了一種方式，讓日志輸出到 STDOUT，也就是 創(chuàng)建一個符號鏈接/var/log/nginx/access.log到/dev/stdout。

httpd 使用的是 讓其輸出到指定文件 ，正常日志輸出到/proc/self/fd/1(STDOUT) ，錯誤日志輸出到/proc/self/fd/2(STDERR)。

當日志量比較大的時候，我們使用 docker logs 來查看日志，會對 docker daemon 造成比較大的壓力，容器導致容器創(chuàng)建慢等一系列問題。

只有使用了 `local 、json-file、journald` 的日志驅(qū)動的容器才可以使用 docker logs 捕獲日志，使用其他日志驅(qū)動無法使用 `docker logs`

2.2 、Docker 日志 驅(qū)動

Docker 提供了兩種模式用于將消息從容器到日志驅(qū)動。

(默認)拒絕，阻塞從容器到容器驅(qū)動

非阻塞傳遞,日志將儲存在容器的緩沖區(qū)。

當緩沖區(qū)滿，舊的日志將被丟棄。

在 mode 日志選項控制使用blocking(默認)或者non-blocking, 當設(shè)置為non-blocking需要設(shè)置max-buffer-size參數(shù)(默認為 1MB)。

支持的驅(qū)動

使用 Docker-CE 版本，docker logs命令 僅僅適用于以下驅(qū)動程序(前面 docker logs 詳解也提及到了)

local

json-file

journald

1558055133186

Docker 日志驅(qū)動常用命令

查看系統(tǒng)當前設(shè)置的日志驅(qū)動

dockerinfo|grep"LoggingDriver"/dockerinfo--format'{{.LoggingDriver}}'

查看單個容器的設(shè)置的日志驅(qū)動

dockerinspect-f'{{.HostConfig.LogConfig.Type}}'容器id

Docker 日志驅(qū)動全局配置更改

修改日志驅(qū)動，在配置文件/etc/docker/daemon.json（注意該文件內(nèi)容是 JSON 格式的）進行配置即可。

示例：

{"log-driver":"syslog"}

以上更改是針對所有的容器的日志驅(qū)動的。我們也可以單獨為單一容器設(shè)置日志驅(qū)動。

Docker 單一容器日志驅(qū)動配置

在 運行容器的時候指定 日志驅(qū)動--log-driver。

dockerrun-itd--log-drivernonealpineash#這里指定的日志驅(qū)動為none

日志驅(qū)動 一 、local

local日志驅(qū)動 記錄從容器的STOUT/STDERR的輸出，并寫到宿主機的磁盤。

默認情況下，local 日志驅(qū)動為每個容器保留 100MB 的日志信息，并啟用自動壓縮來保存。(經(jīng)過測試，保留100MB 的日志是指沒有經(jīng)過壓縮的日志)

local 日志驅(qū)動的儲存位置/var/lib/docker/containers/容器id/local-logs/以container.log命名。

local 驅(qū)動支持的選項

全局日志驅(qū)動設(shè)置為—local

在配置文件/etc/docker/daemon.json（注意該文件內(nèi)容是 JSON 格式的）進行配置即可。

{"log-driver":"local","log-opts":{"max-size":"10m"}}

重啟 docker 即可生效。

單個容器日志驅(qū)動設(shè)置為—local

運行容器并設(shè)定為local驅(qū)動。

#運行一個容器，并設(shè)定日志驅(qū)動為local，并運行命令pingwww.baidu.com[root@localhostdocker]#dockerrun-itd--log-driverlocalalpinepingwww.baidu.com3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156#查看運行的容器的日志驅(qū)動是否是local[root@localhostdocker]#dockerinspect-f'{{.HostConfig.LogConfig.Type}}'3795b6483534961clocal#查看日志[root@localhostlocal-logs]#tail-f/var/lib/docker/containers/3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156/local-logs/container.logNNdout????:64bytesfrom14.215.177.38:seq=816ttl=55time=5.320msNNdout?μ???:64bytesfrom14.215.177.38:seq=817ttl=55time=4.950ms

注意事項： 經(jīng)過測試，當我們產(chǎn)生了100 MB 大小的日志時 會有 四個壓縮文件和一個container.log：

[root@localhostlocal-logs]#ls-ltotal32544-rw-r-----.1rootroot18339944May1609:41container.log-rw-r-----.1rootroot3698660May1609:41container.log.1.gz-rw-r-----.1rootroot3726315May1609:41container.log.2.gz-rw-r-----.1rootroot3805668May1609:41container.log.3.gz-rw-r-----.1rootroot3744104May1609:41container.log.4.gz

那么當超過了 100MB 的日志文件，日志文件會繼續(xù)寫入到 container.log，但是會將 container.log日志中老的日志刪除，追加新的，也就是 當寫滿 100MB 日志后 ，再產(chǎn)生一條新日志，會刪除 container.log中的一條老日志，保存 100MB 的大小。這個 對我們是會有一些影響的，

當我運行系統(tǒng)時第一天由于bug產(chǎn)生了100MB日志，那么之前的日志就已經(jīng)有80MB日志變成的壓縮包，所以我在后續(xù)的運行中，只能獲取最近的20MB日志。

日志驅(qū)動 二、 默認的日志驅(qū)動—JSON

所有容器默認的日志驅(qū)動json-file。

json-file日志驅(qū)動 記錄從容器的STOUT/STDERR的輸出 ，用 JSON 的格式寫到文件中，日志中不僅包含著 輸出日志，還有時間戳和 輸出格式。下面是一個ping www.baidu.com對應的 JSON 日志

{"log":"64bytesfrom14.215.177.39:seq=34ttl=55time=7.067ms\r\n","stream":"stdout","time":"2019-05-16T14:14:15.030612567Z"}

json-file 日志的路徑位于/var/lib/docker/containers/container_id/container_id-json.log。

json-file的 日志驅(qū)動支持以下選項：

json-file的日志驅(qū)動示例

#設(shè)置日志驅(qū)動為json-file，我們也可以不設(shè)置，因為默認就是json-filedockerrun-itd--nametest-log-json--log-driverjson-filealpinepingwww.baidu.com199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e#查看日志,日志名稱就是容器名稱-json.logtail-f/var/lib/docker/containers/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e-json.log{"log":"64bytesfrom14.215.177.39:seq=13ttl=55time=15.023ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.003118877Z"}{"log":"64bytesfrom14.215.177.39:seq=14ttl=55time=9.640ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.999011017Z"}{"log":"64bytesfrom14.215.177.39:seq=15ttl=55time=8.938ms\r\n","stream":"stdout","time":"2019-05-16T14:13:55.998612636Z"}{"log":"64bytesfrom14.215.177.39:seq=16ttl=55time=18.086ms\r\n","stream":"stdout","time":"2019-05-16T14:13:57.011235913Z"}{"log":"64bytesfrom14.215.177.39:seq=17ttl=55time=12.615ms\r\n","stream":"stdout","time":"2019-05-16T14:13:58.007104112Z"}{"log":"64bytesfrom14.215.177.39:seq=18ttl=55time=11.001ms\r\n","stream":"stdout","time":"2019-05-16T14:13:59.007559413Z"}

日志驅(qū)動 三、syslog

syslog 日志驅(qū)動將日志路由到 syslog 服務器，syslog 以原始的字符串作為 日志消息元數(shù)據(jù)，接收方可以提取以下的消息：

level 日志等級 ，如debug，warning，error，info。

timestamp 時間戳

hostname 事件發(fā)生的主機

facillty 系統(tǒng)模塊

進程名稱和進程 ID

syslog日志驅(qū)動全局配置

編輯/etc/docker/daemon.json文件

{"log-driver":"syslog","log-opts":{"syslog-address":"udp://1.2.3.4:1111"}}

重啟 docker 即可生效。

**單個容器日志驅(qū)動設(shè)置為—syslog **

Linux系統(tǒng)中 我們用的系統(tǒng)日志模塊時 rsyslog，它是基于syslog的標準實現(xiàn)。我們要使用 syslog 驅(qū)動需要使用 系統(tǒng)自帶的rsyslog服務。

#查看當前rsyslog版本和基本信息[root@localhostharbor]#rsyslogd-vrsyslogd8.24.0,compiledwith:PLATFORM:x86_64-redhat-linux-gnuPLATFORM(lsb_release-d):FEATURE_REGEXP:YesGSSAPIKerberos5support:YesFEATURE_DEBUG(debugbuild,slowcode):No32bitAtomicoperationssupported:Yes64bitAtomicoperationssupported:Yesmemoryallocator:systemdefaultRuntimeInstrumentation(slowcode):Nouuidsupport:YesNumberofBitsinRainerScriptintegers:64Seehttp://www.rsyslog.comformoreinformation.

配置 syslog , 在配置文件/etc/rsyslog.conf大約14-20行，我們可以看到兩個配置，一個udp，一個tcp ，都是監(jiān)聽 514 端口，提供 syslog 的接收。選擇 tcp 就將 tcp 的兩個配置的前面 # 號注釋即可。

#ProvidesUDPsyslogreception#$ModLoadimudp#$UDPServerRun514#ProvidesTCPsyslogreception#$ModLoadimtcp#$InputTCPServerRun514

然后重啟 rsyslog，我們可以看到514端口在監(jiān)聽。

systemctlrestartrsyslog[root@localhostharbor]#netstat-ntul|grep514tcp000.0.0.0:5140.0.0.0:*LISTENtcp600:::514:::*LISTEN

啟動一個以 syslog為驅(qū)動的容器。

dockerrun-d-it-p87:80--log-driversyslog--log-optsyslog-address=tcp://127.0.0.1:514--namenginx-syslognginx

訪問并查看日志

#訪問nginxcurl127.0.0.1:87#查看訪問日志tail-f/var/log/messagesMay1715:56:48localhostfe18924aefde[6141]:172.17.0.1--[17/May/2019:07:56:48+0000]"GET/HTTP/1.1"200612"-""curl/7.29.0""-"#015May1715:58:16localhostfe18924aefde[6141]:172.17.0.1--[17/May/2019:07:58:16+0000]"GET/HTTP/1.1"200612"-""curl/7.29.0""-"#015

日志驅(qū)動 四、Journald

journald日志驅(qū)動程序?qū)⑷萜鞯娜罩景l(fā)送到systemd journal, 可以使用journal API或者使用docker logs來查日志。

除了日志本身以外，journald日志驅(qū)動還會在日志加上下面的數(shù)據(jù)與消息一起儲存。

選項

journald日志驅(qū)動全局配置

編輯/etc/docker/daemon.json文件

{"log-driver":"journald"}

單個容器日志驅(qū)動設(shè)置為—journald

dockerrun-d-it--log-driver=journald\--log-optlabels=location\--log-optenv=TEST\--env"TEST=false"\--labellocation=china\--namenginx-journald\-p80:80\nginx

查看日志journalctl

#只查詢指定容器的相關(guān)消息journalctlCONTAINER_NAME=webserver#-b指定從上次啟動以來的所有消息journalctl-bCONTAINER_NAME=webserver#-o指定日志消息格式，-ojson表示以json格式返回日志消息journalctl-ojsonCONTAINER_NAME=webserver#-f一直捕獲日志輸出journalctl-fCONTAINER_NAME=webserver

如果我們的容器在啟動的時候加了 -t 參數(shù)，啟用了 TTY 的話，那么我查看日志是會像下面一樣

May1717:19:26localhost.localdomain2a338e4631fe[6141]:[104Bblobdata]May1717:19:32localhost.localdomain2a338e4631fe[6141]:[104Bblobdata]

顯示[104B blob data]而不是完整日志原因是因為有\(zhòng)r的存在，如果我們要完整顯示，需要加上參數(shù)--all。

三、 生產(chǎn)環(huán)境中該如何儲存容器中的日志

我們在上面看到了 Docker 官方提供了 很多日志驅(qū)動，但是上面的這些驅(qū)動都是針對的 標準輸出的日志驅(qū)動。

容器日志分類

容器的日志實際是有兩大類的：

標準輸出的，也就是 STDOUT 、STDERR ,這類日志我們可以通過 Docker 官方的日志驅(qū)動進行收集。

示例：Nginx 日志，Nginx 日志有access.log和error.log，我們在 Docker Hub 上可以看到 Nginx 的 dockerfile 對于這兩個日志的處理是：

RUNln-sf/dev/stdout/var/log/nginx/access.log\&&ln-sf/dev/stderr/var/log/nginx/error.log

都軟連接到/dev/stdout和/dev/stderr，也就是標準輸出，所以這類 容器是可以使用 Docker 官方的日志驅(qū)動。

文本日志，存在在于容器內(nèi)部，并沒有重定向到 容器的標準輸出的日志。

示例： Tomcat 日志，Tomcat 有 catalina、localhost、manager、admin、host-manager，我們可以在 Docker Hub 看到 Tomcat 的 dockerfile 只有對于 catalina 進行處理，其它日志將儲存在容器里。

CMD["catalina.sh","run"]

我們運行了一個 Tomcat 容器 ，然后進行訪問后，并登陸到容器內(nèi)部，我們可以看到產(chǎn)生了文本日志：

root@25ba00fdab97:/usr/local/tomcat/logs#ls-ltotal16-rw-r-----.1rootroot6822May1714:36catalina.2019-05-17.log-rw-r-----.1rootroot0May1714:36host-manager.2019-05-17.log-rw-r-----.1rootroot459May1714:36localhost.2019-05-17.log-rw-r-----.1rootroot1017May1714:37localhost_access_log.2019-05-17.txt-rw-r-----.1rootroot0May1714:36manager.2019-05-17.log

這類容器我們下面有專門的方案來應對。

一、當是完全是標準輸出的類型的容器

我們可以選擇 json-file 、syslog、local 等 Docker 支持的日志驅(qū)動。

二、當有文件文本日志的類型容器

方案一 掛載目錄 bind

創(chuàng)建一個目錄，將目錄掛載到 容器中產(chǎn)生日志的目錄。

--mounttype=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/

示例：

#創(chuàng)建掛載目錄/opt/logs[root@fy-local-2/]#mkdir/opt/logs#創(chuàng)建容器tomcat-bind并將/opt/logs掛載至/usr/local/tomcat/logs/[root@fy-local-2/]#dockerrun-d--nametomcat-bind-P--mounttype=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/tomcat[root@fy-local-2/]#ls-l/opt/logs/total12-rw-r-----1rootroot6820May2217:31catalina.2019-05-22.log-rw-r-----1rootroot0May2217:31host-manager.2019-05-22.log-rw-r-----1rootroot459May2217:31localhost.2019-05-22.log-rw-r-----1rootroot0May2217:31localhost_access_log.2019-05-22.txt-rw-r-----1rootroot0May2217:31manager.2019-05-22.log

方案二 使用數(shù)據(jù)卷 volume

創(chuàng)建數(shù)據(jù)卷，創(chuàng)建容器時綁定數(shù)據(jù)卷，

--mounttype=volumesrc=volume_namedst=/usr/local/tomcat/logs/

示例：

#創(chuàng)建tomcat應用數(shù)據(jù)卷名稱為tomcat[root@fy-local-2/]#dockervolumecreatetomcat#創(chuàng)建容器tomcat-volume并指定數(shù)據(jù)卷為tomcat，綁定至/usr/local/tomcat/logs/[root@fy-local-2/]#dockerrun-d--nametomcat-volume-P--mounttype=volume,src=tomcat,dst=/usr/local/tomcat/logs/tomcat#查看數(shù)據(jù)卷里面的內(nèi)容[root@fy-local-2/]#ls-l/var/lib/docker/volumes/tomcat/_data/total12-rw-r-----1rootroot6820May2217:33catalina.2019-05-22.log-rw-r-----1rootroot0May2217:33host-manager.2019-05-22.log-rw-r-----1rootroot459May2217:33localhost.2019-05-22.log-rw-r-----1rootroot0May2217:33localhost_access_log.2019-05-22.txt-rw-r-----1rootroot0May2217:33manager.2019-05-22.log

方案三 計算容器 rootfs 掛載點

此方案的文字內(nèi)容摘抄于 https://yq.aliyun.com/articles/672054

使用掛載宿主機目錄的方式采集日志對應用會有一定的侵入性，因為它要求容器啟動的時候包含掛載命令。如果采集過程能對用戶透明那就太棒了。事實上，可以通過計算容器 rootfs 掛載點來達到這種目的。

和容器 rootfs 掛載點密不可分的一個概念是 storage driver。實際使用過程中，用戶往往會根據(jù) linux 版本、文件系統(tǒng)類型、容器讀寫情況等因素選擇合適的 storage driver。不同 storage driver 下，容器的 rootfs 掛載點遵循一定規(guī)律，因此我們可以根據(jù) storage driver 的類型推斷出容器的 rootfs 掛載點，進而采集容器內(nèi)部日志。下表展示了部分 storage dirver 的 rootfs 掛載點及其計算方法。

示例：

#創(chuàng)建容器tomcat-test[root@fy-local-2/]#dockerrun-d--nametomcat-test-Ptomcat36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff#查看tomcat-test容器的掛載點位置[root@fy-local-2/]#dockerinspect-f'{{.GraphDriver.Data.MergedDir}}'36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged#查看掛載點的目錄結(jié)構(gòu)[root@fy-local-2/]#ls-l/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/mergedtotal4drwxr-xr-x1rootroot179May813:05bindrwxr-xr-x2rootroot6Mar2817:12bootdrwxr-xr-x1rootroot43May2217:27devlrwxrwxrwx1rootroot33May813:08docker-java-home->/usr/lib/jvm/java-8-openjdk-amd64drwxr-xr-x1rootroot66May2217:27etcdrwxr-xr-x2rootroot6Mar2817:12homedrwxr-xr-x1rootroot6May1608:50libdrwxr-xr-x2rootroot34May608:00lib64drwxr-xr-x2rootroot6May608:00mediadrwxr-xr-x2rootroot6May608:00mntdrwxr-xr-x2rootroot6May608:00optdrwxr-xr-x2rootroot6Mar2817:12procdrwx------1rootroot27May2217:29rootdrwxr-xr-x3rootroot30May608:00rundrwxr-xr-x2rootroot4096May608:00sbindrwxr-xr-x2rootroot6May608:00srvdrwxr-xr-x2rootroot6Mar2817:12sysdrwxrwxrwt1rootroot29May1608:50tmpdrwxr-xr-x1rootroot19May608:00usrdrwxr-xr-x1rootroot41May608:00var#查看日志[root@fy-local-2/]#ls-l/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged/usr/local/tomcat/logs/total20-rw-r-----1rootroot14514May2217:40catalina.2019-05-22.log-rw-r-----1rootroot0May2217:27host-manager.2019-05-22.log-rw-r-----1rootroot1194May2217:40localhost.2019-05-22.log-rw-r-----1rootroot0May2217:27localhost_access_log.2019-05-22.txt-rw-r-----1rootroot0May2217:27manager.2019-05-22.log

方案四 在代碼層中實現(xiàn)直接將日志寫入redis

docker ——》redis ——》Logstash——》Elasticsearch

通過代碼層面，直接將日志寫入redis,最后寫入Elasticsearch。

以上就是對 Docker 日志的所有的概念解釋和方案提供，具體采用什么方案，根據(jù)公司的具體的業(yè)務來選擇。合適的才是最好的。