電子發(fā)燒友App
Unicode是什么？
Unicode源于一個很簡單的想法：將全世界所有的字符包含在一個集合里，計算機(jī)只要支持這一個字符集，就能顯示所有的字符，再也不會有亂碼了。
它從0開始，為每個符號指定一個編號，這叫做“碼點(diǎn)”（code point）。比如，碼點(diǎn)0的符號就是null（表示所有二進(jìn)制位都是0）。
U+0000 = null
上式中，U+表示緊跟在后面的十六進(jìn)制數(shù)是Unicode的碼點(diǎn)。
目前，Unicode的最新版本是7.0版，一共收入了109449個符號，其中的中日韓文字為74500個。可以近似認(rèn)為，全世界現(xiàn)有的符號當(dāng)中，三分之二以上來自東亞文字。比如，中文“好”的碼點(diǎn)是十六進(jìn)制的597D。
U+597D = 好
這么多符號，Unicode不是一次性定義的，而是分區(qū)定義。每個區(qū)可以存放65536個（216）字符，稱為一個平面（plane）。目前，一共有17個（25）平面，也就是說，整個Unicode字符集的大小現(xiàn)在是221。
最前面的65536個字符位，稱為基本平面（縮寫B(tài)MP），它的碼點(diǎn)范圍是從0一直到216-1，寫成16進(jìn)制就是從U+0000到U+FFFF。所有最常見的字符都放在這個平面，這是Unicode最先定義和公布的一個平面。
剩下的字符都放在輔助平面（縮寫SMP），碼點(diǎn)范圍從U+010000一直到U+10FFFF。
javascript是什么？
JavaScript一種直譯式腳本語言，是一種動態(tài)類型、弱類型、基于原型的語言，內(nèi)置支持類型。它的解釋器被稱為JavaScript引擎，為瀏覽器的一部分，廣泛用于客戶端的腳本語言，最早是在HTML（標(biāo)準(zhǔn)通用標(biāo)記語言下的一個應(yīng)用）網(wǎng)頁上使用，用來給HTML網(wǎng)頁增加動態(tài)功能。
在1995年時，由Netscape公司的Brendan Eich，在網(wǎng)景導(dǎo)航者瀏覽器上首次設(shè)計實(shí)現(xiàn)而成。因?yàn)镹etscape與Sun合作，Netscape管理層希望它外觀看起來像Java，因此取名為JavaScript。但實(shí)際上它的語法風(fēng)格與Self及Scheme較為接近。
為了取得技術(shù)優(yōu)勢，微軟推出了JScript，CEnvi推出ScriptEase，與JavaScript同樣可在瀏覽器上運(yùn)行。為了統(tǒng)一規(guī)格，因?yàn)镴avaScript兼容于ECMA標(biāo)準(zhǔn)，因此也稱為ECMAScript。
UTF-32與UTF-8
Unicode只規(guī)定了每個字符的碼點(diǎn)，到底用什么樣的字節(jié)序表示這個碼點(diǎn)，就涉及到編碼方法。
最直觀的編碼方法是，每個碼點(diǎn)使用四個字節(jié)表示，字節(jié)內(nèi)容一一對應(yīng)碼點(diǎn)。這種編碼方法就叫做UTF-32。比如，碼點(diǎn)0就用四個字節(jié)的0表示，碼點(diǎn)597D就在前面加兩個字節(jié)的0。
U+0000 = 0x0000 0000
U+597D = 0x0000 597D
UTF-32的優(yōu)點(diǎn)在于，轉(zhuǎn)換規(guī)則簡單直觀，查找效率高。缺點(diǎn)在于浪費(fèi)空間，同樣內(nèi)容的英語文本，它會比ASCII編碼大四倍。這個缺點(diǎn)很致命，導(dǎo)致實(shí)際上沒有人使用這種編碼方法，HTML 5標(biāo)準(zhǔn)就明文規(guī)定，網(wǎng)頁不得編碼成UTF-32。
我們需要一種節(jié)省空間的表示法。
人們真正需要的是一種節(jié)省空間的編碼方法，這導(dǎo)致了UTF-8的誕生。UTF-8是一種變長的編碼方法，字符長度從1個字節(jié)到4個字節(jié)不等。越是常用的字符，字節(jié)越短，最前面的128個字符，只使用1個字節(jié)表示，與ASCII碼完全相同。
由于UTF-8這種節(jié)省空間的特性，導(dǎo)致它成為互聯(lián)網(wǎng)上最常見的網(wǎng)頁編碼。
JavaScript使用哪一種編碼？
JavaScript語言采用Unicode字符集，但是只支持一種編碼方法。
這種編碼既不是UTF-16，也不是UTF-8，更不是UTF-32。上面那些編碼方法，JavaScript都不用。
JavaScript用的是UCS-2！
? ?UCS-2編碼
互聯(lián)網(wǎng)還沒出現(xiàn)的年代，曾經(jīng)有兩個團(tuán)隊(duì)，不約而同想搞統(tǒng)一字符集。一個是1988年成立的Unicode團(tuán)隊(duì)，另一個是1989年成立的UCS團(tuán)隊(duì)。等到他們發(fā)現(xiàn)了對方的存在，很快就達(dá)成一致：世界上不需要兩套統(tǒng)一字符集。
1991年10月，兩個團(tuán)隊(duì)決定合并字符集。也就是說，從今以后只發(fā)布一套字符集，就是Unicode，并且修訂此前發(fā)布的字符集，UCS的碼點(diǎn)將與Unicode完全一致。
UCS的開發(fā)進(jìn)度快于Unicode，1990年就公布了第一套編碼方法UCS-2，使用2個字節(jié)表示已經(jīng)有碼點(diǎn)的字符。（那個時候只有一個平面，就是基本平面，所以2個字節(jié)就夠用了。）UTF-16編碼遲至1996年7月才公布，明確宣布是UCS-2的超集，即基本平面字符沿用UCS-2編碼，輔助平面字符定義了4個字節(jié)的表示方法。
?
兩者的關(guān)系簡單說，就是UTF-16取代了UCS-2，或者說UCS-2整合進(jìn)了UTF-16。所以，現(xiàn)在只有UTF-16，沒有UCS-2。
? JavaScript的誕生背景
那么，為什么JavaScript不選擇更高級的UTF-16，而用了已經(jīng)被淘汰的UCS-2呢？
答案很簡單：非不想也，是不能也。因?yàn)樵贘avaScript語言出現(xiàn)的時候，還沒有UTF-16編碼。
1995年5月，Brendan Eich用了10天設(shè)計了JavaScript語言；10月，第一個解釋引擎問世；次年11月，Netscape正式向ECMA提交語言標(biāo)準(zhǔn)（整個過程詳見《JavaScript誕生記》）。對比UTF-16的發(fā)布時間（1996年7月），就會明白Netscape公司那時沒有其他選擇，只有UCS-2一種編碼方法可用！
JavaScript字符函數(shù)的局限
由于JavaScript只能處理UCS-2編碼，造成所有字符在這門語言中都是2個字節(jié)，如果是4個字節(jié)的字符，會當(dāng)作兩個雙字節(jié)的字符處理。JavaScript的字符函數(shù)都受到這一點(diǎn)的影響，無法返回正確結(jié)果。
還是以字符為例，它的UTF-16編碼是4個字節(jié)的0xD834 DF06。問題就來了，4個字節(jié)的編碼不屬于UCS-2，JavaScript不認(rèn)識，只會把它看作單獨(dú)的兩個字符U+D834和U+DF06。前面說過，這兩個碼點(diǎn)是空的，所以JavaScript會認(rèn)為是兩個空字符組成的字符串！
上面代碼表示，JavaScript認(rèn)為字符的長度是2，取到的第一個字符是空字符，取到的第一個字符的碼點(diǎn)是0xDB34。這些結(jié)果都不正確！
解決這個問題，必須對碼點(diǎn)做一個判斷，然后手動調(diào)整。下面是正確的遍歷字符串的寫法。
while （++index 《 length） {
// 。。。
if （charCode 》= 0xD800 && charCode 《= 0xDBFF） {
output.push（character + string.charAt（++index））;
} else {
output.push（character）;
}
}
上面代碼表示，遍歷字符串的時候，必須對碼點(diǎn)做一個判斷，只要落在0xD800到0xDBFF的區(qū)間，就要連同后面2個字節(jié)一起讀取。
類似的問題存在于所有的JavaScript字符操作函數(shù)。
String.prototype.replace（）
String.prototype.substring（）
String.prototype.slice（）
。。。
上面的函數(shù)都只對2字節(jié)的碼點(diǎn)有效。要正確處理4字節(jié)的碼點(diǎn)，就必須逐一部署自己的版本，判斷一下當(dāng)前字符的碼點(diǎn)范圍。
ECMAScript 6
JavaScript的下一個版本ECMAScript 6（簡稱ES6），大幅增強(qiáng)了Unicode支持，基本上解決了這個問題。
?。?）正確識別字符
ES6可以自動識別4字節(jié)的碼點(diǎn)。因此，遍歷字符串就簡單多了。
for （let s of string ） {
// 。。。
}
但是，為了保持兼容，length屬性還是原來的行為方式。為了得到字符串的正確長度，可以用下面的方式。
Array.from（string）.length
（2）碼點(diǎn)表示法
JavaScript允許直接用碼點(diǎn)表示Unicode字符，寫法是“反斜杠+u+碼點(diǎn)”。
‘好’ === ‘u597D’ // true
但是，這種表示法對4字節(jié)的碼點(diǎn)無效。ES6修正了這個問題，只要將碼點(diǎn)放在大括號內(nèi)，就能正確識別。
?。?）字符串處理函數(shù)
ES6新增了幾個專門處理4字節(jié)碼點(diǎn)的函數(shù)。
String.fromCodePoint（）：從Unicode碼點(diǎn)返回對應(yīng)字符
String.prototype.codePointAt（）：從字符返回對應(yīng)的碼點(diǎn)
String.prototype.at（）：返回字符串給定位置的字符
（4）正則表達(dá)式
ES6提供了u修飾符，對正則表達(dá)式添加4字節(jié)碼點(diǎn)的支持。
（5）Unicode正規(guī)化
有些字符除了字母以外，還有附加符號。比如，漢語拼音的ǒ，字母上面的聲調(diào)就是附加符號。對于許多歐洲語言來說，聲調(diào)符號是非常重要的。
Unicode提供了兩種表示方法。一種是帶附加符號的單個字符，即一個碼點(diǎn)表示一個字符，比如ǒ的碼點(diǎn)是U+01D1；另一種是將附加符號單獨(dú)作為一個碼點(diǎn)，與主體字符復(fù)合顯示，即兩個碼點(diǎn)表示一個字符，比如ǒ可以寫成O（U+004F） + ˇ（U+030C）。
// 方法一
‘u01D1’
// ‘ǒ’
// 方法二
‘u004Fu030C’
// ‘ǒ’
這兩種表示方法，視覺和語義都完全一樣，理應(yīng)作為等同情況處理。但是，JavaScript無法辨別。
‘u01D1’===‘u004Fu030C’
//false
ES6提供了normalize方法，允許“Unicode正規(guī)化”，即將兩種方法轉(zhuǎn)為同樣的序列。
‘u01D1’.normalize（） === ‘u004Fu030C’.normalize（）
// true
工商網(wǎng)監(jiān)
評論