IO的底層原理介紹

最近在看 JAVA NIO 的相關(guān)知識(shí)，了解一下IO的底層實(shí)現(xiàn)原理。

IO涉及到的底層的概念大致如下：

1） 緩沖區(qū)操作。2） 內(nèi)核空間與用戶(hù)空間。3） 虛擬內(nèi)存。4） 分頁(yè)技術(shù)。

一，虛擬存儲(chǔ)器

虛擬存儲(chǔ)器是硬件異常（缺頁(yè)異常）、硬件地址翻譯、主存、磁盤(pán)文件和內(nèi)核軟件的完美交互，它為每個(gè)進(jìn)程提供了一個(gè)大的、一致的和私有的地址空間。

虛擬存儲(chǔ)器的三大能力：①將主存看成是一個(gè)存儲(chǔ)在磁盤(pán)上的地址空間的高速緩存。②為每個(gè)進(jìn)程提供了一個(gè)一致的地址空間。③保護(hù)每個(gè)進(jìn)程的地址空間不被其他進(jìn)程破壞。

虛擬內(nèi)存的兩大好處：① 一個(gè)以上的虛擬地址可指向同一個(gè)物理內(nèi)存地址。② 虛擬內(nèi)存空間可大于實(shí)際可用的硬件內(nèi)存。

二，用戶(hù)空間與內(nèi)核空間

設(shè)虛擬地址為32位，那么虛擬地址空間的范圍為0~4G。操作系統(tǒng)將這4G分為二部分，將最高的1G字節(jié)（虛擬地址范圍為：0xC0000000-0xFFFFFFFF）供內(nèi)核使用，稱(chēng)為內(nèi)核空間。而將較低的3G字節(jié)供各個(gè)進(jìn)程使用，稱(chēng)為用戶(hù)空間。

每個(gè)進(jìn)程可以通過(guò)系統(tǒng)調(diào)用進(jìn)入內(nèi)核，因?yàn)閮?nèi)核是由所有的進(jìn)程共享的。對(duì)于每一個(gè)具體的進(jìn)程，它看到的都是4G大小的虛擬地址空間，即相當(dāng)于每個(gè)進(jìn)程都擁有一個(gè)4G大小的虛擬地址空間。

三，IO操作

一般IO緩沖區(qū)操作：

1） 用戶(hù)進(jìn)程使用read（）系統(tǒng)調(diào)用，要求其用戶(hù)空間的緩沖區(qū)被填滿(mǎn)。

2） 內(nèi)核向磁盤(pán)控制器硬件發(fā)命令，要求從磁盤(pán)讀入數(shù)據(jù)。

3） 磁盤(pán)控制器以DMA方式（數(shù)據(jù)不經(jīng)過(guò)CPU）把數(shù)據(jù)復(fù)制到內(nèi)核緩沖區(qū)。

4） 內(nèi)核將數(shù)據(jù)從內(nèi)核緩沖區(qū)復(fù)制到用戶(hù)進(jìn)程發(fā)起read（）調(diào)用時(shí)指定的用戶(hù)緩沖區(qū)。

從上圖可以看出：磁盤(pán)中的數(shù)據(jù)是先讀取到內(nèi)核的緩沖區(qū)中。然后再?gòu)膬?nèi)核的緩沖區(qū)復(fù)制到用戶(hù)的緩沖區(qū)。為什么會(huì)這樣呢？

因?yàn)橛脩?hù)空間的進(jìn)程是不能直接硬件的（操作磁盤(pán)控制器）。磁盤(pán)是基于塊存儲(chǔ)的硬件設(shè)備，它一次操作固定大小的塊，而用戶(hù)請(qǐng)求請(qǐng)求的可能是任意大小的數(shù)據(jù)塊。因此，將數(shù)據(jù)從磁盤(pán)傳遞到用戶(hù)空間，由內(nèi)核負(fù)責(zé)數(shù)據(jù)的分解、再組合。

內(nèi)存映射IO：就是復(fù)用一個(gè)以上的虛擬地址可以指向同一個(gè)物理內(nèi)存地址。將內(nèi)核空間的緩沖區(qū)地址（內(nèi)核地址空間）映射到物理內(nèi)存地址區(qū)域，將用戶(hù)空間的緩沖區(qū)地址（用戶(hù)地址空間）也映射到相同的物理內(nèi)存地址區(qū)域。從而數(shù)據(jù)不需要從內(nèi)核緩沖區(qū)映射的物理內(nèi)存地址移動(dòng)到用戶(hù)緩沖區(qū)映射的物理內(nèi)存地址了。

要求：①用戶(hù)緩沖區(qū)與內(nèi)核緩沖區(qū)必須使用相同的頁(yè)大小對(duì)齊。②緩沖區(qū)的大小必須是磁盤(pán)控制器塊大?。?12字節(jié)磁盤(pán)扇區(qū)）的倍數(shù)---因?yàn)榇疟P(pán)是基于塊存儲(chǔ)的硬件設(shè)備，一次只能操作固定大小的數(shù)據(jù)塊。

用戶(hù)緩沖區(qū)按頁(yè)對(duì)齊，會(huì)提高IO的效率---這也是為什么在JAVA中new 一個(gè)字節(jié)數(shù)組時(shí)，指定的大小為2的倍數(shù)（4096）的原因吧。

四，JAVA中的IO，本質(zhì)上是把數(shù)據(jù)移進(jìn)或者移出緩沖區(qū)。

read（）和write（）系統(tǒng)調(diào)用完成的作用是：把內(nèi)核緩沖區(qū)映射的物理內(nèi)存空間中的數(shù)據(jù) 拷貝到 用戶(hù)緩沖區(qū)映射的物理內(nèi)存空間中。

因此，當(dāng)使用內(nèi)存映射IO時(shí)，可視為：用戶(hù)進(jìn)程直接把文件數(shù)據(jù)當(dāng)作內(nèi)存，也就不需要使用read（）或write（）系統(tǒng)調(diào)用了。

當(dāng)發(fā)起一個(gè)read（）系統(tǒng)調(diào)用時(shí)，根據(jù)待讀取的數(shù)據(jù)的位置生成一個(gè)虛擬地址（用戶(hù)進(jìn)程使用的是虛擬地址），由MMU轉(zhuǎn)換成物理地址，若內(nèi)核中沒(méi)有相應(yīng)的數(shù)據(jù)，產(chǎn)生一個(gè)缺頁(yè)請(qǐng)求，內(nèi)核負(fù)責(zé)頁(yè)面調(diào)入從而將數(shù)據(jù)從磁盤(pán)讀取到內(nèi)核緩沖區(qū)映射的物理內(nèi)存中。對(duì)用戶(hù)程序而言，這一切都是在不知不覺(jué)中進(jìn)行。

總之，從根本上講數(shù)據(jù)從磁盤(pán)裝入內(nèi)存是以頁(yè)為單位通過(guò)分頁(yè)技術(shù)裝入內(nèi)存的。

五，JAVA NIO中的直接緩存和非直接緩存

直接緩存：不是分配于堆上的存儲(chǔ)，位于JVM之外，它不受JAVA的GC管理，相當(dāng)于內(nèi)核緩沖區(qū)。非直接緩存：建立在JAVA堆上的緩存，受JVM管理，相當(dāng)于用戶(hù)緩沖區(qū)。

根據(jù)上面第三點(diǎn)，將直接緩存中的數(shù)據(jù)寫(xiě)入通道的速度要快于非直接緩存。因?yàn)?，連接到通道的另一端是文件（磁盤(pán)，F(xiàn)ileChannel）或者網(wǎng)絡(luò)（Socket通道），這些都是某種形式上的硬件。那么，對(duì)于非直接緩存而言，數(shù)據(jù)從緩沖區(qū)傳遞到硬件，要經(jīng)過(guò)內(nèi)核緩沖區(qū)中轉(zhuǎn)。而對(duì)于直接緩存而言，就不需要了，因?yàn)橹苯泳彺嬉呀?jīng)直接映射到內(nèi)核緩沖區(qū)了。