Linux TCP底層的收發(fā)過程講解

我們繼續(xù)探索高性能網(wǎng)絡(luò)編程，但是我覺得在談系統(tǒng)API之前可以先講一些Linux底層的收發(fā)包過程，如下這是一個(gè)簡單的socket編程代碼：

int main() {
    ... 

    fd = socket(AF_INET, SOCKET_STREAM, 0);
    bind(fd, ...);
    listen(fd, ...);

    // 如何建立連接
    ...
    afd = accept(fd, ...);

    // 如何接收數(shù)據(jù)
    ...
    read(afd, ...);

    // 如何發(fā)送數(shù)據(jù)
    ...
    send(afd, ...);

    // 如何關(guān)閉連接
    ...
    close(fd);
    ...
}

第一部分：如何建立連接

從上一篇文章我們介紹了網(wǎng)絡(luò)協(xié)議，我們知道TCP/IP協(xié)議族劃分了應(yīng)用層、TCP傳輸層、IP網(wǎng)絡(luò)層、鏈路層（以太層驅(qū)動(dòng)）。

如上圖看應(yīng)用層，通常在網(wǎng)絡(luò)編程中我們需要調(diào)用accept的API建立TCP連接，那TCP如何做的呢？

從上圖的流程可以看到：
（1）client端發(fā)起TCP握手，發(fā)送syn包；
（2）內(nèi)核收到包以后先將當(dāng)前連接的信息插入到網(wǎng)絡(luò)的SYN隊(duì)列；
（3）插入成功后會(huì)返回握手確認(rèn)（SYN+ACK）；
（4）client端如果繼續(xù)完成TCP握手，回復(fù)ACK確認(rèn)；
（5）內(nèi)核會(huì)將TCP握手完成的包，先將對(duì)應(yīng)的連接信息從SYN隊(duì)列取出；
（6）將連接信息丟入到ACCEPT隊(duì)列；
（7）應(yīng)用層sever通過系統(tǒng)調(diào)用accept就能拿到這個(gè)連接，整個(gè)網(wǎng)絡(luò)套接字連接完成；

那基于這個(gè)圖，我想問問讀者這里會(huì)有什么問題么？
細(xì)心的讀者應(yīng)該可以看出：
1、這里有兩個(gè)隊(duì)列，必然會(huì)有滿的情況，那如果遇到這種情況內(nèi)核是怎么處理的呢？

（1）如果SYN隊(duì)列滿了，內(nèi)核就會(huì)丟棄連接；
（2）如果ACCEPT隊(duì)列滿了，那內(nèi)核不會(huì)繼續(xù)將SYN隊(duì)列的連接丟到ACCEPT隊(duì)列，如果SYN隊(duì)列足夠大，client端后續(xù)收發(fā)包就會(huì)超時(shí)；
（3）如果SYN隊(duì)列滿了，就會(huì)和（1）一樣丟棄連接；

2、如何控制SYN隊(duì)列和ACCEPT隊(duì)列的大?。?/strong>

（1）內(nèi)核2.2版本之前通過listen的backlog可以設(shè)置SYN隊(duì)列（半連接狀態(tài)SYN_REVD）和ACCEPT隊(duì)列（完全連接狀態(tài)ESTABLISHED）的上限；
（2）內(nèi)核2.2版本以后backlog只是表示ACCEPT隊(duì)列上限，SYN隊(duì)列的上限可以通過/proc/sys/net/ipv4/tcp_max_syn_backlog設(shè)置；

3、server端通過accept一直等，豈不是會(huì)卡住收包的線程？

在linux網(wǎng)絡(luò)編程中我們都會(huì)追求高性能，accept如果卡住接收線程，性能會(huì)上不去，所以socket編程中就會(huì)有阻塞和非阻塞模式。
（1）阻塞模式下的accept就會(huì)卡住，當(dāng)前線程什么事情都干不了；
（2）非阻塞模式下，可以通過輪詢accept去處理其他的事情，如果返回EAGAIN，就是ACCEPT隊(duì)列為空，如果返回連接信息，就是可以處理當(dāng)前連接；

第二部分：接收數(shù)據(jù)

（1）當(dāng)網(wǎng)卡接收到報(bào)文并判斷為TCP協(xié)議后，將會(huì)調(diào)用到內(nèi)核的tcp_v4_rcv方法，如果數(shù)據(jù)按順序收到S1數(shù)據(jù)包，則直接插入receive隊(duì)列中；
（2）當(dāng)收到了S3數(shù)據(jù)包，在第1步結(jié)束后，應(yīng)該收到S2序號(hào)，但是報(bào)文是亂序進(jìn)來的，則將S3插入out_of_order隊(duì)列（這個(gè)隊(duì)列存儲(chǔ)亂序報(bào)文）；
（3）接下來收到S2數(shù)據(jù)包，如第1步直接進(jìn)入receive隊(duì)列，由于此時(shí)out_of_order隊(duì)列不像第1步是空的，所以引發(fā)了接來的第4步；
（4）每次向receive隊(duì)列插入報(bào)文時(shí)都會(huì)檢查out_of_order隊(duì)列，如果遇到期待的序號(hào)S3，則從out_of_order隊(duì)列摘除，寫入到receive隊(duì)列；
（5）現(xiàn)在應(yīng)用程序開始調(diào)用recv方法；
（6）經(jīng)過層層封裝調(diào)用，接收TCP消息最終會(huì)走到tcp_recvmsg方法；
（7）現(xiàn)在需要拷貝數(shù)據(jù)從內(nèi)核態(tài)到用戶態(tài)，如果receive隊(duì)列為空，會(huì)先檢查SO_RCVLOWAT這個(gè)閥值（0表示收到指定的數(shù)據(jù)返回，1表示只要讀取到數(shù)據(jù)就返回，系統(tǒng)默認(rèn)是1），如果已經(jīng)拷貝的字節(jié)數(shù)到現(xiàn)在還小于它，那么可能導(dǎo)致進(jìn)程會(huì)休眠，等待拷貝更多的數(shù)據(jù)；
（8）將數(shù)據(jù)從內(nèi)核態(tài)拷貝到用戶態(tài)，recv返回拷貝數(shù)據(jù)的大小；
（9）為了選擇降低網(wǎng)絡(luò)包延時(shí)或者提升吞吐量，系統(tǒng)提供了tcp_low_latency參數(shù)，如果為0值，用戶暫時(shí)沒有讀數(shù)據(jù)則數(shù)據(jù)包進(jìn)入prequeue隊(duì)列，提升吞吐量，否則不使用prequeue隊(duì)列，進(jìn)入tcp_v4_do_rcv，降低延時(shí)；

第三部分：發(fā)送數(shù)據(jù)

（1）假設(shè)調(diào)用send方法來發(fā)送大于一個(gè)MSS（比如2K）的數(shù)據(jù)；
（2）內(nèi)核調(diào)用tcp_sendmsg，實(shí)現(xiàn)復(fù)制數(shù)據(jù)，寫入隊(duì)列和組裝tcp協(xié)議頭；
（3）在調(diào)用tcp_sendmsg先需要在內(nèi)核獲取skb，將用戶態(tài)數(shù)據(jù)拷貝到內(nèi)核態(tài)，內(nèi)核真正執(zhí)行報(bào)文的發(fā)送，與send方法的調(diào)用并不是同步的，即send方法返回成功，也不一定把IP報(bào)文都發(fā)送到網(wǎng)絡(luò)中了。因此，需要把用戶需要發(fā)送的用戶態(tài)內(nèi)存中的數(shù)據(jù)，拷貝到內(nèi)核態(tài)內(nèi)存中，不依賴于用戶態(tài)內(nèi)存，也使得進(jìn)程可以快速釋放發(fā)送數(shù)據(jù)占用的用戶態(tài)內(nèi)存。但這個(gè)拷貝操作并不是簡單的復(fù)制，而是把待發(fā)送數(shù)據(jù)，按照MSS來劃分成多個(gè)盡量達(dá)到MSS大小的分片報(bào)文段，復(fù)制到內(nèi)核中的sk_buff結(jié)構(gòu)來存放；
（4）將數(shù)據(jù)拷貝到發(fā)送隊(duì)列中tcp_write_queue；
（5）調(diào)用tcp_push發(fā)送數(shù)據(jù)到IP層，這里主要滑動(dòng)窗口，慢啟動(dòng)，擁塞窗口的控制和判斷是否使用Nagle算法合并小報(bào)文（上一篇已經(jīng)有介紹）；
（6）組裝IP報(bào)文頭，通過經(jīng)過iptables或者tcpdump等netfilter模塊過濾，將數(shù)據(jù)交給鄰居子系統(tǒng)（主要功能是查找需要發(fā)送的MAC地址，發(fā)送arp請求，封裝MAC頭等）；
（7）調(diào)用網(wǎng)卡驅(qū)動(dòng)程序?qū)?shù)據(jù)發(fā)送出去；

第四部分：關(guān)閉連接

關(guān)閉連接就是TCP揮手過程，我們都知道TCP連接是一種可靠的連接，那如何才能完整可靠的完成關(guān)閉連接呢？linux系統(tǒng)提供了兩個(gè)函數(shù)：

• close對(duì)應(yīng)tcp_close> 方法，通過減少socket的引用次數(shù)實(shí)現(xiàn)關(guān)閉，僅當(dāng)引用計(jì)數(shù)為0時(shí)才會(huì)觸發(fā)tcp_close；
  
• shutdown對(duì)應(yīng)tcp_shutdown方法，不關(guān)心socket被引用次數(shù)，直接關(guān)閉對(duì)應(yīng)的連接；
  

（1）shutdown可攜帶一個(gè)參數(shù)，取值有3個(gè)，分別意味著：只關(guān)閉讀、只關(guān)閉寫、同時(shí)關(guān)閉讀寫；

（2）若shutdown的是半打開的連接，則發(fā)出RST來關(guān)閉連接；
（3）若shutdown的是正常連接，那么關(guān)閉讀其實(shí)與對(duì)端是沒有關(guān)系的；
（4）若參數(shù)中有標(biāo)志位為關(guān)閉寫，那么下面做的事與close是一致的，發(fā)出FIN包，告訴對(duì)方本機(jī)不會(huì)再發(fā)消息了；

第五部分：思考題

基于本文留幾個(gè)思考題，下一篇文章解答。

（1）發(fā)送方法返回成功后，數(shù)據(jù)一定發(fā)送到了TCP的對(duì)端么？
（調(diào)用了IP層的方法返回后，也未必就保證此時(shí)數(shù)據(jù)一定發(fā)送成功）
（2）1個(gè)socket套接字可能被多個(gè)進(jìn)程在使用，出現(xiàn)并發(fā)訪問時(shí)，內(nèi)核是怎么處理這種狀況的？
（3）若socket為默認(rèn)的阻塞套接字，調(diào)用recv方法傳入的len參數(shù)，如果網(wǎng)絡(luò)包的數(shù)據(jù)小于len，recv會(huì)返回么？
（4）當(dāng)socket被多進(jìn)程或者多線程共享時(shí)，關(guān)閉連接時(shí)有何區(qū)別？