解決Python解釋器讀取的字符集識別問題

Python初學(xué)者編碼實(shí)踐中經(jīng)常遇到encode error，decode error，如下：

例1：
UnicodeEncodeError: 'ascii' codec can't encode character u'/u5728' in position 1

例2:
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-1: invalid continuation byte

1、百度的時(shí)候，大家都建議在代碼文件頭加上字符集定義：
# -*- coding: utf-8 -*-

這種方法大部分情況下可以解決大部分的問題。那么它解決的是什么問題呢？

我們需要理解兩個(gè)概念：

1）、# -*- coding: utf-8 -*- 的作用是聲明 python源代碼文件的編碼格式。 誰會讀取Python的源代碼呢？ 一個(gè)是IDE編輯工具，比如pycharm，nodpad++，editpluss等，我們在寫代碼的時(shí)候使用。

2）、另一個(gè)是Python解釋器，是執(zhí)行Python程序的時(shí)候使用。

當(dāng)我們使用IDE編輯器打開Python代碼的時(shí)候，如果出現(xiàn)亂碼，我們都知道是編輯器的解碼方式和代碼文件的編碼方式不一致導(dǎo)致的。需要修改編輯器的解碼方式。

那么Python解釋執(zhí)行Python程序的時(shí)候使用的是設(shè)么解碼方式呢？可以用下面的方式查看：
sys.getdefaultencoding()

可以用下面的方式修改：
reload(sys)
sys.setdefaultencoding('utf-8')
sys.getdefaultencoding()

所以，代碼文件第一行加 字符集定義，解決Python解釋器讀取Python代碼文件時(shí)的字符集識別問題

2、在print的時(shí)候出現(xiàn)異常，或者寫文件，或者解析網(wǎng)絡(luò)報(bào)文，或者做str對象處理的時(shí)候出現(xiàn)亂碼。

這個(gè)時(shí)候我們需要理解：

1）、文件讀寫、網(wǎng)絡(luò)報(bào)文讀寫都可以理解為IO讀寫。是byte處理，所以讀寫前后需要使用同樣的字符編碼方式。

2）、print、str對象的處理涉及到終端的編碼格式。print之后，在pycharm的輸出窗口，或者windows的CMD命令行窗口，或者Linux的shell窗口，需要適配終端的編碼方式

3）、字符編碼基本可分為三大類：起源于美國的ASCII，支持英文字符、數(shù)字、標(biāo)點(diǎn)符號、鍵盤上的特殊字符；國際編碼unicode，支持ascII的字符集外，又支持中文，韓語，日語等。因?yàn)閡nicode占用空間大，所以又出現(xiàn)了utf-8。需要強(qiáng)調(diào)的一點(diǎn)是：

unicode：簡單粗暴，所有字符都是2Bytes，優(yōu)點(diǎn)是字符->數(shù)字的轉(zhuǎn)換速度快，缺點(diǎn)是占用空間大

utf-8：精準(zhǔn)，對不同的字符用不同的長度表示，優(yōu)點(diǎn)是節(jié)省空間，缺點(diǎn)是：字符->數(shù)字的轉(zhuǎn)換速度慢，因?yàn)槊看味夹枰?jì)算出字符需要多長的Bytes才能夠準(zhǔn)確表示

1.內(nèi)存中使用的編碼是unicode，用空間換時(shí)間（程序都需要加載到內(nèi)存才能運(yùn)行，因而內(nèi)存應(yīng)該是盡可能的保證快）

2.硬盤中或者網(wǎng)絡(luò)傳輸用utf-8，網(wǎng)絡(luò)I/O延遲或磁盤I/O延遲要遠(yuǎn)大與utf-8的轉(zhuǎn)換延遲，而且I/O應(yīng)該是盡可能地節(jié)省帶寬，保證數(shù)據(jù)傳輸?shù)姆€(wěn)定性。

下面詳細(xì)介紹了unicode和utf-8的使用場景：

在程序執(zhí)行之前，內(nèi)存中確實(shí)都是unicode編碼的二進(jìn)制,比如從文件中讀取了一行x="egon",其中的x，等號，引號，地位都一樣，都是普通字符而已，都是以unicode編碼的二進(jìn)制形式存放與內(nèi)存中的

但是程序在執(zhí)行過程中，會申請內(nèi)存（與程序代碼所存在的內(nèi)存是倆個(gè)空間），可以存放任意編碼格式的數(shù)據(jù)，比如x="egon",會被python解釋器識別為字符串，會申請內(nèi)存空間來存放"egon"，然后讓x指向該內(nèi)存地址，此時(shí)新申請的該內(nèi)存地址保存也是unicode編碼的egon,如果代碼換成x="egon".encode('utf-8'),那么新申請的內(nèi)存空間里存放的就是utf-8編碼的字符串egon了

針對python3如下圖

瀏覽網(wǎng)頁的時(shí)候，服務(wù)器會把動態(tài)生成的Unicode內(nèi)容轉(zhuǎn)換為UTF-8再傳輸?shù)綖g覽器

如果服務(wù)端encode的編碼格式是utf-8， 客戶端內(nèi)存中收到的也是utf-8編碼的二進(jìn)制。

從上面的說明，我們知道了unicode和utf-8的應(yīng)用場景，就需要用下面的方式進(jìn)行轉(zhuǎn)換：

字符串通過編碼轉(zhuǎn)換為字節(jié)碼，字節(jié)碼通過解碼轉(zhuǎn)換為字符串

str--->(encode)--->bytes，bytes--->(decode)--->str

編輯：hfy