為什么要寫配置文件
在開發(fā)過程中,我們常常會(huì)用到一些固定參數(shù)或者是常量。對(duì)于這些較為固定且常用到的部分,往往會(huì)將其寫到一個(gè)固定文件中,避免在不同的模塊代碼中重復(fù)出現(xiàn)從而保持核心代碼整潔。這個(gè)固定文件我們可以直接寫成一個(gè).py
文件,例如settings.py
或config.py
,這樣的好處就是能夠在同一工程下直接通過import
來導(dǎo)入當(dāng)中的部分;但如果我們需要在其他非 Python 的平臺(tái)進(jìn)行配置文件共享時(shí),寫成單個(gè).py
就不是一個(gè)很好的選擇。這時(shí)我們就應(yīng)該選擇通用的配置文件類型來作為存儲(chǔ)這些固定的部分。目前常用且流行的配置文件格式類型主要有ini
、json
、toml
、yaml
、xml
等,這些類型的配置文件我們都可以通過標(biāo)準(zhǔn)庫或第三方庫來進(jìn)行解析。ini
ini
即 Initialize 初始化之意,早期是在 Windows 上配置文件的存儲(chǔ)格式。ini
文件的寫法通俗易懂,往往比較簡單,通常由節(jié)(Section)、鍵(key)和值(value)組成,就像以下形式:
[localdb]
host = 127.0.0.1
user = root
password = 123456
port = 3306
database = mysql
Python 本身內(nèi)置的configparser
標(biāo)準(zhǔn)庫,我們直接就可以用來對(duì)ini
文件進(jìn)行解析。如我們將上述內(nèi)容保存在一個(gè)名為db.ini
的文件中,然后使用read()
方法來進(jìn)行解析和讀取,最后通過items()
方法來獲取指定節(jié)點(diǎn)下的所有鍵值對(duì)。
>>>fromconfigparserimportConfigParser
>>>cfg=ConfigParser()
>>>cfg.read("/Users/Bobot/db.ini")
['/Users/Bobot/db.ini']
>>>cfg.items("localdb")
[('host','127.0.0.1'),('user','root'),('password','123456'),('port','3306'),('database','mysql')]
需要注意的是,configparser
默認(rèn)將值以字符串的形式呈現(xiàn),所以這也就是為什么我們?cè)?/span>db.ini
文件中沒有加引號(hào)而是直接將字面量寫在上面的原因。獲取到鍵值對(duì)后,我其實(shí)直接就將其轉(zhuǎn)換成字典,然后通過解包的方式進(jìn)行穿參,保持代碼簡潔:
#!pipinstallpymysql
importpymysql
fromconfigparserimportConfigParser
cfg=ConfigParser()
cfg.read("/Users/Bobot/db.ini")
db_cfg=dict(cfg.items("localdb"))
con=pymysql.connect(**db_cfg)
json
json
格式可以說是我們常見的一種文件形式了,也是目前在互聯(lián)網(wǎng)較為流行的一種數(shù)據(jù)交換格式。除此之外,json
有時(shí)也是配置文件的一種。比如npm
(JavaScript 包管理工具類似 Python 的pip
)、以及微軟出品的目前被廣泛使用的 VSCode 編輯器,都使用json
編寫配置參數(shù)。和configparser
一樣,Python 也內(nèi)置了json
標(biāo)準(zhǔn)庫,可以通過load()
和loads()
方法來導(dǎo)入文件式和字符串的json
內(nèi)容。
{
"localdb":{
"host":"127.0.0.1",
"user":"root",
"password":"123456",
"port":3306,
"database":"mysql"
}
}
我們將上述內(nèi)容保存為db.json
后進(jìn)行讀取和解析,json
庫讀取 json 文件相對(duì)簡單容易,而且很容易解析成 Python 的字典對(duì)象。
>>>importjson
>>>frompprintimportpprint
>>>
>>>withopen('/Users/Bobot/db.json')asj:
...cfg=json.load(j)['localdb']
...
>>>pprint(cfg)
{'database':'mysql',
'host':'127.0.0.1',
'password':'123456',
'port':3306,
'user':'root'}
使用json
文件配置的缺點(diǎn)就是語法標(biāo)準(zhǔn)嚴(yán)格限制,為人所詬病之一的就是無法在當(dāng)中寫注釋,除非采取json
類型的其他超集作為替代方案(VSCode 中能寫注釋的json
參數(shù)配置文件便是代替方案的一種);同時(shí)存在嵌套過深的問題,容易導(dǎo)致出錯(cuò),不宜用來寫過長或復(fù)雜的參數(shù)配置信息。toml
toml
格式(或tml
格式)是 Github 聯(lián)合創(chuàng)始人 Tom Preston-Werner 所提出的一種配置文件格式。根據(jù)維基百科的資料,toml
最開始提出時(shí)是在 2013年7月份,距今已有七年時(shí)間;它在某些方面也與后面要談到的yaml
文件有些類似,但如果當(dāng)你知道 yaml 的規(guī)范有幾十頁(沒有錯(cuò),真的就是幾十頁……)的時(shí)候,可能你真的就不太愿意去寫那么復(fù)雜的配置文件,toml
格式則倒是個(gè)不錯(cuò)的選擇。toml
格式大致如下:01-toml樣式從這里可以看出
toml
有點(diǎn)類似于前面所講的ini
文件。但是它比ini
擴(kuò)展了更多的內(nèi)容。在樣例圖片中我們可以看到,除了基本的字符串以外,例如時(shí)間戳、布爾值、數(shù)組等都進(jìn)一步支持,而且樣式和 Python 的原生寫法十分類似。當(dāng)然這里不會(huì)過多介紹toml
格式的一些規(guī)范說明,有人已經(jīng)對(duì)官方的規(guī)范文檔進(jìn)行了翻譯,有興趣的朋友可以直接查閱。這么契合 Python 方式的配置文件類型已經(jīng)有開發(fā)者造出了相應(yīng)的「輪子」,目前在 Github 上 Stars 數(shù)最多的是則是uiri/toml
的版本,不過該版本僅通過了 v0.5 版本toml
規(guī)范,但在使用上還是蠻簡潔的,我們可以通過pip
命令進(jìn)行安裝
pipinstalltoml
該庫的解析方式很簡單,也有點(diǎn)類似于json
庫的解析用法,即通過load()
或loads()
來進(jìn)行解析;同理轉(zhuǎn)換并導(dǎo)出也是同樣類似的用法。比如我們現(xiàn)在將以下內(nèi)容寫入到config.toml
中:
[mysql]
host = "127.0.0.1"
user = "root"
port = 3306
database = "test"
[mysql.parameters]
pool_size = 5
charset = "utf8"
[mysql.fields]
pandas_cols = [ "id", "name", "age", "date"]
緊接著我們就可以通過toml
庫中的load()
方法來進(jìn)行讀取:
>>>importtoml
>>>importos
>>>frompprintimportpprint
>>>cfg=toml.load(os.path.expanduser("~/Desktop/config.toml"))
>>>pprint(cfg)
{'mysql':{'database':'test',
'fields':{'pandas_cols':['id','name','age','date']},
'host':'127.0.0.1',
'parameters':{'charset':'utf8','pool_size':5},
'port':3306,
'user':'root'}}
可以看到toml
文件被間接地轉(zhuǎn)化成了字典類型,當(dāng)然這也就是json
版的寫法(將單引號(hào)替換成雙引號(hào)即可),方便我們后續(xù)調(diào)用或者傳參。
yaml
yaml
格式(或yml
格式)是目前較為流行的一種配置文件,它早在 2001 由一個(gè)名為 Clark Evans 的人提出;同時(shí)它也是目前被廣泛使用的配置文件類型,典型的就是 Docker 容器里的docker-compose.yml
配置文件,如果經(jīng)常使用 Docker 進(jìn)行部署的人對(duì)此不會(huì)陌生。yaml
文件的設(shè)計(jì)從 Python、XML 等地方獲取靈感,所以在使用時(shí)能很清楚地看到這些部分的影子。在上一節(jié)toml
內(nèi)容里我曾提到,yaml
的規(guī)范內(nèi)容可以說是冗長和復(fù)雜,足足有80頁之多(斗尊強(qiáng)者,恐怖如斯……)。02-yaml規(guī)范頁數(shù)所以感興趣的朋友可以再自行了解相關(guān)用法。YAML 官方早已經(jīng)提供了相應(yīng)的 Python 庫進(jìn)行支持,即
PyYAML
;當(dāng)然也同樣需要我們事先進(jìn)行安裝:
pipinstallpyyaml
同json
庫和toml
庫一樣,通過load()
方法來進(jìn)行加載。
需要注意的是,使用load()
方法會(huì)存在一定的安全隱患,從思科 Talos 的這份報(bào)告中我們可以看到,如果加載了未知或不信任的yaml
文件,那么有可能會(huì)存在被攻擊的風(fēng)險(xiǎn)和網(wǎng)絡(luò)安全隱患,因?yàn)樗軌蛑苯诱{(diào)用相應(yīng)的 Python 函數(shù)來執(zhí)行為攻擊者所需要的命令,比如說在yaml
文件中寫入這么一段:
#使用Linux和macOS的朋友不要輕易嘗試
!!python/object/apply:os.system["rm-rf/"]
因此最好是使用safe_load()
來代替load()
方法。
這和 Python 內(nèi)置的string
標(biāo)準(zhǔn)庫中Template
類的substitute()
模板方法一樣存在著同樣的安全隱患,所以使用safe_substitute()
來替代是一樣的道理。
如我們現(xiàn)在將之前的一些配置信息寫入config.yaml
文件中:
mysql:
host:"127.0.0.1"
port:3306
user:"root"
password:"123456"
database:"test"
parameter:
pool_size:5
charset:"utf8"
fields:
pandas_cols:
-id
-name
-age
-date
然后我們通過safe_load()
方法進(jìn)行解析:
>>>importos
>>>frompprintimportpprint
>>>
>>>withopen(os.path.expanduser("~/config.yaml"),"r")asconfig:
...cfg=yaml.safe_load(config)
...
>>>pprint(cfg)
{'mysql':{'database':'test',
'fields':{'pandas_cols':['id','name','age','date']},
'host':'127.0.0.1',
'parameter':{'charset':'utf8','pool_size':5},
'password':'123456',
'port':3306,
'user':'root'}}
可以看到最后結(jié)果和前面的toml
庫的解析結(jié)果基本一致。
結(jié)尾
本文列舉了一些主流且常見的配置文件類型及其 Python 的讀取方法,可能有的讀者會(huì)發(fā)現(xiàn)當(dāng)中沒有xml
格式類型的內(nèi)容。對(duì)于xml
配置文件可能與 Java 系語言打交道的朋友遇見得會(huì)多一些,但xml
文件的可讀性實(shí)在是讓人望而生畏;對(duì)xml
文件不了解的朋友可以使用 Chrome 瀏覽器隨便進(jìn)入一個(gè)網(wǎng)站然后按下 F12 進(jìn)入開發(fā)者后查看那密密麻麻的 html 元素便是.xml
的縮影。除了這些主流的配置文件類型之外,像一些.cfg
、.properties
等都可以作為配置文件,甚至和開頭提到的那樣,你單獨(dú)用一個(gè).py
文件來書寫各類配置信息作為配置文件進(jìn)行導(dǎo)入都是沒問題,只是在跨語言共享時(shí)可能會(huì)有些障礙。因此本文就不過多介紹,感興趣的朋友可以進(jìn)一步自行了解。在本文里列舉的配置文件類型其復(fù)雜性由上到下依次增加:ini < json ≈ toml < yaml
,它們之間各有優(yōu)劣,可以根據(jù)自己實(shí)際的需求和團(tuán)隊(duì)協(xié)作要求來具體選擇。-
XML
+關(guān)注
關(guān)注
0文章
188瀏覽量
33102 -
python
+關(guān)注
關(guān)注
56文章
4797瀏覽量
84786 -
Docker
+關(guān)注
關(guān)注
0文章
474瀏覽量
11867
原文標(biāo)題:Python 中常見的配置文件寫法
文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論