epoll LT和ET方式下的讀寫(xiě)差別

導(dǎo)語(yǔ)

epoll接口是為解決Linux內(nèi)核處理大量文件描述符而提出的方案。該接口屬于Linux下多路I/O復(fù)用接口中select/poll的增強(qiáng)。其經(jīng)常應(yīng)用于Linux下高并發(fā)服務(wù)型程序，特別是在大量并發(fā)連接中只有少部分連接處于活躍下的情況 (通常是這種情況)，在該情況下能顯著的提高程序的CPU利用率。本篇詳細(xì)解讀了epoll的用法，希望大家能有所收獲！

正文

設(shè)想一個(gè)場(chǎng)景：有100萬(wàn)用戶同時(shí)與一個(gè)進(jìn)程保持著TCP連接，而每一時(shí)刻只有幾十個(gè)或幾百個(gè)TCP連接是活躍的(接收TCP包)，也就是說(shuō)在每一時(shí)刻進(jìn)程只需要處理這100萬(wàn)連接中的一小部分連接。那么，如何才能高效的處理這種場(chǎng)景呢？進(jìn)程是否在每次詢(xún)問(wèn)操作系統(tǒng)收集有事件發(fā)生的TCP連接時(shí)，把這100萬(wàn)個(gè)連接告訴操作系統(tǒng)，然后由操作系統(tǒng)找出其中有事件發(fā)生的幾百個(gè)連接呢？實(shí)際上，在 Linux2.4 版本以前，那時(shí)的select 或者 poll 事件驅(qū)動(dòng)方式是這樣做的。

這里有個(gè)非常明顯的問(wèn)題，即在某一時(shí)刻，進(jìn)程收集有事件的連接時(shí)，其實(shí)這100萬(wàn)連接中的大部分都是沒(méi)有事件發(fā)生的。因此如果每次收集事件時(shí)，都把100萬(wàn)連接的套接字傳給操作系統(tǒng)（這首先是用戶態(tài)內(nèi)存到內(nèi)核態(tài)內(nèi)存的大量復(fù)制），而由操作系統(tǒng)內(nèi)核尋找這些連接上有沒(méi)有未處理的事件，將會(huì)是巨大的資源浪費(fèi)，然后select和poll就是這樣做的，因此它們最多只能處理幾千個(gè)并發(fā)連接。而epoll不這樣做，它在Linux內(nèi)核中申請(qǐng)了一個(gè)簡(jiǎn)易的文件系統(tǒng)，把原先的一個(gè)select或poll調(diào)用分成了3部分：

intepoll_create(intsize);
intepoll_ctl(intepfd,intop,intfd,structepoll_event*event);
intepoll_wait(intepfd,structepoll_event*events,intmaxevents,inttimeout);

調(diào)用 epoll_create 建立一個(gè) epoll 對(duì)象（在epoll文件系統(tǒng)中給這個(gè)句柄分配資源）；

調(diào)用 epoll_ctl 向 epoll 對(duì)象中添加這100萬(wàn)個(gè)連接的套接字；

調(diào)用 epoll_wait 收集發(fā)生事件的連接。

這樣只需要在進(jìn)程啟動(dòng)時(shí)建立 1 個(gè) epoll 對(duì)象，并在需要的時(shí)候向它添加或刪除連接就可以了，因此，在實(shí)際收集事件時(shí)，epoll_wait 的效率就會(huì)非常高，因?yàn)檎{(diào)用 epoll_wait 時(shí)并沒(méi)有向它傳遞這100萬(wàn)個(gè)連接，內(nèi)核也不需要去遍歷全部的連接。

一、epoll原理詳解

當(dāng)某一進(jìn)程調(diào)用 epoll_create 方法時(shí)，Linux 內(nèi)核會(huì)創(chuàng)建一個(gè) eventpoll 結(jié)構(gòu)體，這個(gè)結(jié)構(gòu)體中有兩個(gè)成員與epoll的使用方式密切相關(guān)，如下所示：

structeventpoll{
...
/*紅黑樹(shù)的根節(jié)點(diǎn)，這棵樹(shù)中存儲(chǔ)著所有添加到epoll中的事件，
也就是這個(gè)epoll監(jiān)控的事件*/
structrb_rootrbr;
/*雙向鏈表rdllist保存著將要通過(guò)epoll_wait返回給用戶的、滿足條件的事件*/
structlist_headrdllist;
...
};

我們?cè)谡{(diào)用 epoll_create 時(shí)，內(nèi)核除了幫我們?cè)?epoll 文件系統(tǒng)里建了個(gè) file 結(jié)點(diǎn)，在內(nèi)核 cache 里建了個(gè)紅黑樹(shù)用于存儲(chǔ)以后 epoll_ctl 傳來(lái)的 socket 外，還會(huì)再建立一個(gè) rdllist 雙向鏈表，用于存儲(chǔ)準(zhǔn)備就緒的事件，當(dāng) epoll_wait 調(diào)用時(shí)，僅僅觀察這個(gè) rdllist 雙向鏈表里有沒(méi)有數(shù)據(jù)即可。有數(shù)據(jù)就返回，沒(méi)有數(shù)據(jù)就sleep，等到 timeout 時(shí)間到后即使鏈表沒(méi)數(shù)據(jù)也返回。所以epoll_wait 非常高效。

所有添加到epoll中的事件都會(huì)與設(shè)備(如網(wǎng)卡)驅(qū)動(dòng)程序建立回調(diào)關(guān)系，也就是說(shuō)相應(yīng)事件的發(fā)生時(shí)會(huì)調(diào)用這里的回調(diào)方法。這個(gè)回調(diào)方法在內(nèi)核中叫做ep_poll_callback，它會(huì)把這樣的事件放到上面的rdllist雙向鏈表中。

在epoll中對(duì)于每一個(gè)事件都會(huì)建立一個(gè)epitem結(jié)構(gòu)體，如下所示：

structepitem{
...
//紅黑樹(shù)節(jié)點(diǎn)
structrb_noderbn;
//雙向鏈表節(jié)點(diǎn)
structlist_headrdllink;
//事件句柄等信息
structepoll_filefdffd;
//指向其所屬的eventepoll對(duì)象
structeventpoll*ep;
//期待的事件類(lèi)型
structepoll_eventevent;
...
};//這里包含每一個(gè)事件對(duì)應(yīng)著的信息。

當(dāng)調(diào)用 epoll_wait 檢查是否有發(fā)生事件的連接時(shí)，只是檢查eventpoll對(duì)象中的rdllist雙向鏈表是否有epitem元素而已，如果rdllist鏈表不為空，則這里的事件復(fù)制到用戶態(tài)內(nèi)存（使用共享內(nèi)存提高效率）中，同時(shí)將事件數(shù)量返回給用戶。因此epoll_waitx效率非常高。epoll_ctl在向epoll對(duì)象中添加、修改、刪除事件時(shí)，從rbr紅黑樹(shù)中查找事件也非常快，也就是說(shuō)epoll是非常高效的，它可以輕易地處理百萬(wàn)級(jí)別的并發(fā)連接。

【總結(jié)】：

一顆紅黑樹(shù)，一張準(zhǔn)備就緒句柄鏈表，少量的內(nèi)核cache，就幫我們解決了大并發(fā)下的socket處理問(wèn)題.

執(zhí)行epoll_create() 時(shí)，創(chuàng)建了紅黑樹(shù)和就緒鏈表;

執(zhí)行 epoll_ctl() 時(shí)，如果增加 socket 句柄，則檢查在紅黑樹(shù)中是否存在，存在立即返回，不存在則添加到樹(shù)干上，然后向內(nèi)核注冊(cè)回調(diào)函數(shù)，用于當(dāng)中斷事件來(lái)臨時(shí)向準(zhǔn)備就緒鏈表中插入數(shù)據(jù);

執(zhí)行 epoll_wait() 時(shí)立刻返回準(zhǔn)備就緒鏈表里的數(shù)據(jù)即可。

二、epoll 的兩種觸發(fā)模式

epoll有EPOLLLT和EPOLLET兩種觸發(fā)模式，LT是默認(rèn)的模式，ET是“高速”模式。

LT（水平觸發(fā)）模式下，只要這個(gè)文件描述符還有數(shù)據(jù)可讀，每次 epoll_wait都會(huì)返回它的事件，提醒用戶程序去操作；

ET（邊緣觸發(fā)）模式下，在它檢測(cè)到有 I/O 事件時(shí)，通過(guò) epoll_wait 調(diào)用會(huì)得到有事件通知的文件描述符，對(duì)于每一個(gè)被通知的文件描述符，如可讀，則必須將該文件描述符一直讀到空，讓 errno 返回 EAGAIN 為止，否則下次的 epoll_wait 不會(huì)返回余下的數(shù)據(jù)，會(huì)丟掉事件。

如果ET模式不是非阻塞的，那這個(gè)一直讀或一直寫(xiě)勢(shì)必會(huì)在最后一次阻塞。

還有一個(gè)特點(diǎn)是，epoll使用“事件”的就緒通知方式，通過(guò)epoll_ctl注冊(cè)fd，一旦該fd就緒，內(nèi)核就會(huì)采用類(lèi)似callback的回調(diào)機(jī)制來(lái)激活該fd，epoll_wait便可以收到通知。

【epoll為什么要有ET觸發(fā)模式？】：

如果采用 EPOLLLT 模式的話，系統(tǒng)中一旦有大量你不需要讀寫(xiě)的就緒文件描述符，它們每次調(diào)用epoll_wait都會(huì)返回，這樣會(huì)大大降低處理程序檢索自己關(guān)心的就緒文件描述符的效率.。而采用EPOLLET這種邊緣觸發(fā)模式的話，當(dāng)被監(jiān)控的文件描述符上有可讀寫(xiě)事件發(fā)生時(shí)，epoll_wait()會(huì)通知處理程序去讀寫(xiě)。如果這次沒(méi)有把數(shù)據(jù)全部讀寫(xiě)完(如讀寫(xiě)緩沖區(qū)太小)，那么下次調(diào)用epoll_wait()時(shí)，它不會(huì)通知你，也就是它只會(huì)通知你一次，直到該文件描述符上出現(xiàn)第二次可讀寫(xiě)事件才會(huì)通知你?。?！這種模式比水平觸發(fā)效率高，系統(tǒng)不會(huì)充斥大量你不關(guān)心的就緒文件描述符。

【總結(jié)】：

ET模式（邊緣觸發(fā)）

只有數(shù)據(jù)到來(lái)才觸發(fā)，不管緩存區(qū)中是否還有數(shù)據(jù)，緩沖區(qū)剩余未讀盡的數(shù)據(jù)不會(huì)導(dǎo)致epoll_wait返回；

邊沿觸發(fā)模式很大程度上降低了同一個(gè)epoll事件被重復(fù)觸發(fā)的次數(shù)，所以效率更高；

對(duì)于讀寫(xiě)的connfd，邊緣觸發(fā)模式下，必須使用非阻塞IO，并要一次性全部讀寫(xiě)完數(shù)據(jù)。

ET的編程可以做到更加簡(jiǎn)潔，某些場(chǎng)景下更加高效，但另一方面容易遺漏事件，容易產(chǎn)生bug；

LT 模式（水平觸發(fā)，默認(rèn)）

只要有數(shù)據(jù)都會(huì)觸發(fā)，緩沖區(qū)剩余未讀盡的數(shù)據(jù)會(huì)導(dǎo)致epoll_wait返回；

LT比ET多了一個(gè)開(kāi)關(guān)EPOLLOUT事件(系統(tǒng)調(diào)用消耗，上下文切換）的步驟；

對(duì)于監(jiān)聽(tīng)的sockfd，最好使用水平觸發(fā)模式（參考nginx），邊緣觸發(fā)模式會(huì)導(dǎo)致高并發(fā)情況下，有的客戶端會(huì)連接不上，LT適合處理緊急事件；

對(duì)于讀寫(xiě)的connfd，水平觸發(fā)模式下，阻塞和非阻塞效果都一樣，不過(guò)為了防止特殊情況，還是建議設(shè)置非阻塞；

LT的編程與poll/select接近，符合一直以來(lái)的習(xí)慣，不易出錯(cuò)；

總之，各有優(yōu)缺點(diǎn)，需要根據(jù)業(yè)務(wù)場(chǎng)景選擇最合適的模式。

三、epoll反應(yīng)堆模型

【epoll模型原來(lái)的流程】：

epoll_create();//創(chuàng)建監(jiān)聽(tīng)紅黑樹(shù)
epoll_ctl();//向書(shū)上添加監(jiān)聽(tīng)fd
epoll_wait();//監(jiān)聽(tīng)
有監(jiān)聽(tīng)fd事件發(fā)送--->返回監(jiān)聽(tīng)滿足數(shù)組--->判斷返回?cái)?shù)組元素--->
lfd滿足accept--->返回cfd---->read()讀數(shù)據(jù)--->write()給客戶端回應(yīng)。

【epoll反應(yīng)堆模型的流程】：

epoll_create();//創(chuàng)建監(jiān)聽(tīng)紅黑樹(shù)
epoll_ctl();//向書(shū)上添加監(jiān)聽(tīng)fd
epoll_wait();//監(jiān)聽(tīng)
有客戶端連接上來(lái)--->lfd調(diào)用acceptconn()--->將cfd掛載到紅黑樹(shù)上監(jiān)聽(tīng)其讀事件--->
epoll_wait()返回cfd--->cfd回調(diào)recvdata()--->將cfd摘下來(lái)監(jiān)聽(tīng)寫(xiě)事件--->
epoll_wait()返回cfd--->cfd回調(diào)senddata()--->將cfd摘下來(lái)監(jiān)聽(tīng)讀事件--->...--->

【Demo】：

#include#include
#include
#include
#include#include#include#include#include#include#defineMAX_EVENTS1024/*監(jiān)聽(tīng)上限*/
#defineBUFLEN4096/*緩存區(qū)大小*/
#defineSERV_PORT6666/*端口號(hào)*/

voidrecvdata(intfd,intevents,void*arg);
voidsenddata(intfd,intevents,void*arg);

/*描述就緒文件描述符的相關(guān)信息*/
structmyevent_s
{
intfd;//要監(jiān)聽(tīng)的文件描述符
intevents;//對(duì)應(yīng)的監(jiān)聽(tīng)事件，EPOLLIN和EPLLOUT
void*arg;//指向自己結(jié)構(gòu)體指針
void(*call_back)(intfd,intevents,void*arg);//回調(diào)函數(shù)
intstatus;//是否在監(jiān)聽(tīng):1->在紅黑樹(shù)上(監(jiān)聽(tīng)),0->不在(不監(jiān)聽(tīng))
charbuf[BUFLEN];
intlen;
longlast_active;//記錄每次加入紅黑樹(shù)g_efd的時(shí)間值
};

intg_efd;//全局變量，作為紅黑樹(shù)根
structmyevent_sg_events[MAX_EVENTS+1];//自定義結(jié)構(gòu)體類(lèi)型數(shù)組.+1-->listenfd

/*
*封裝一個(gè)自定義事件，包括fd，這個(gè)fd的回調(diào)函數(shù)，還有一個(gè)額外的參數(shù)項(xiàng)
*注意：在封裝這個(gè)事件的時(shí)候，為這個(gè)事件指明了回調(diào)函數(shù)，一般來(lái)說(shuō)，一個(gè)fd只對(duì)一個(gè)特定的事件
*感興趣，當(dāng)這個(gè)事件發(fā)生的時(shí)候，就調(diào)用這個(gè)回調(diào)函數(shù)
*/
voideventset(structmyevent_s*ev,intfd,void(*call_back)(intfd,intevents,void*arg),void*arg)
{
ev->fd=fd;
ev->call_back=call_back;
ev->events=0;
ev->arg=arg;
ev->status=0;
if(ev->len<=?0)
????{
????????memset(ev->buf,0,sizeof(ev->buf));
ev->len=0;
}
ev->last_active=time(NULL);//調(diào)用eventset函數(shù)的時(shí)間
return;
}

/*向epoll監(jiān)聽(tīng)的紅黑樹(shù)添加一個(gè)文件描述符*/
voideventadd(intefd,intevents,structmyevent_s*ev)
{
structepoll_eventepv={0,{0}};
intop=0;
epv.data.ptr=ev;//ptr指向一個(gè)結(jié)構(gòu)體（之前的epoll模型紅黑樹(shù)上掛載的是文件描述符cfd和lfd，現(xiàn)在是ptr指針）
epv.events=ev->events=events;//EPOLLIN或EPOLLOUT
if(ev->status==0)//status說(shuō)明文件描述符是否在紅黑樹(shù)上0不在，1在
{
op=EPOLL_CTL_ADD;//將其加入紅黑樹(shù)g_efd,并將status置1
ev->status=1;
}
if(epoll_ctl(efd,op,ev->fd,&epv)fd,events);
else
printf("eventaddOK[fd=%d],events[%0X]
",ev->fd,events);
return;
}

/*從epoll監(jiān)聽(tīng)的紅黑樹(shù)中刪除一個(gè)文件描述符*/
voideventdel(intefd,structmyevent_s*ev)
{
structepoll_eventepv={0,{0}};
if(ev->status!=1)//如果fd沒(méi)有添加到監(jiān)聽(tīng)樹(shù)上，就不用刪除，直接返回
return;
epv.data.ptr=NULL;
ev->status=0;
epoll_ctl(efd,EPOLL_CTL_DEL,ev->fd,&epv);
return;
}

/*當(dāng)有文件描述符就緒,epoll返回,調(diào)用該函數(shù)與客戶端建立鏈接*/
voidacceptconn(intlfd,intevents,void*arg)
{
structsockaddr_incin;
socklen_tlen=sizeof(cin);
intcfd,i;
if((cfd=accept(lfd,(structsockaddr*)&cin,&len))==-1)
{
if(errno!=EAGAIN&&errno!=EINTR)
{
sleep(1);
}
printf("%s:accept,%s
",__func__,strerror(errno));
return;
}
do
{
for(i=0;ibuf,sizeof(ev->buf),0);//讀取客戶端發(fā)過(guò)來(lái)的數(shù)據(jù)

eventdel(g_efd,ev);//將該節(jié)點(diǎn)從紅黑樹(shù)上摘除

if(len>0)
{
ev->len=len;
ev->buf[len]='?';//手動(dòng)添加字符串結(jié)束標(biāo)記
printf("C[%d]:%s
",fd,ev->buf);

eventset(ev,fd,senddata,ev);//設(shè)置該fd對(duì)應(yīng)的回調(diào)函數(shù)為senddata
eventadd(g_efd,EPOLLOUT,ev);//將fd加入紅黑樹(shù)g_efd中,監(jiān)聽(tīng)其寫(xiě)事件

}
elseif(len==0)
{
close(ev->fd);
/*ev-g_events地址相減得到偏移元素位置*/
printf("[fd=%d]pos[%ld],closed
",fd,ev-g_events);
}
else
{
close(ev->fd);
printf("recv[fd=%d]error[%d]:%s
",fd,errno,strerror(errno));
}
return;
}

/*發(fā)送給客戶端數(shù)據(jù)*/
voidsenddata(intfd,intevents,void*arg)
{
structmyevent_s*ev=(structmyevent_s*)arg;
intlen;

len=send(fd,ev->buf,ev->len,0);//直接將數(shù)據(jù)回射給客戶端

eventdel(g_efd,ev);//從紅黑樹(shù)g_efd中移除

if(len>0)
{
printf("send[fd=%d],[%d]%s
",fd,len,ev->buf);
eventset(ev,fd,recvdata,ev);//將該fd的回調(diào)函數(shù)改為recvdata
eventadd(g_efd,EPOLLIN,ev);//重新添加到紅黑樹(shù)上，設(shè)為監(jiān)聽(tīng)讀事件
}
else
{
close(ev->fd);//關(guān)閉鏈接
printf("send[fd=%d]error%s
",fd,strerror(errno));
}
return;
}

/*創(chuàng)建socket,初始化lfd*/

voidinitlistensocket(intefd,shortport)
{
structsockaddr_insin;

intlfd=socket(AF_INET,SOCK_STREAM,0);
fcntl(lfd,F_SETFL,O_NONBLOCK);//將socket設(shè)為非阻塞

memset(&sin,0,sizeof(sin));//bzero(&sin,sizeof(sin))
sin.sin_family=AF_INET;
sin.sin_addr.s_addr=INADDR_ANY;
sin.sin_port=htons(port);

bind(lfd,(structsockaddr*)&sin,sizeof(sin));

listen(lfd,20);

/*voideventset(structmyevent_s*ev,intfd,void(*call_back)(int,int,void*),void*arg);*/
eventset(&g_events[MAX_EVENTS],lfd,acceptconn,&g_events[MAX_EVENTS]);

/*voideventadd(intefd,intevents,structmyevent_s*ev)*/
eventadd(efd,EPOLLIN,&g_events[MAX_EVENTS]);//將lfd添加到監(jiān)聽(tīng)樹(shù)上，監(jiān)聽(tīng)讀事件

return;
}

intmain()
{
intport=SERV_PORT;

g_efd=epoll_create(MAX_EVENTS+1);//創(chuàng)建紅黑樹(shù),返回給全局g_efd
if(g_efd<=?0)
????????????printf("create?efd?in?%s?err?%s
",?__func__,?strerror(errno));

????initlistensocket(g_efd,?port);?//初始化監(jiān)聽(tīng)socket

????struct?epoll_event?events[MAX_EVENTS?+?1];??//定義這個(gè)結(jié)構(gòu)體數(shù)組，用來(lái)接收epoll_wait傳出的滿足監(jiān)聽(tīng)事件的fd結(jié)構(gòu)體
????printf("server?running:port[%d]
",?port);

????int?checkpos?=?0;
????int?i;
????while(1)
????{
????/*????long?now?=?time(NULL);
????????for(i=0;?i?=60)
{
close(g_events[checkpos].fd);
printf("[fd=%d]timeout
",g_events[checkpos].fd);
eventdel(g_efd,&g_events[checkpos]);
}
}*/
//調(diào)用eppoll_wait等待接入的客戶端事件,epoll_wait傳出的是滿足監(jiān)聽(tīng)條件的那些fd的structepoll_event類(lèi)型
intnfd=epoll_wait(g_efd,events,MAX_EVENTS+1,1000);
if(nfdevents&EPOLLIN))
{
ev->call_back(ev->fd,events[i].events,ev->arg);
}
//如果監(jiān)聽(tīng)的是寫(xiě)事件，并返回的是寫(xiě)事件
if((events[i].events&EPOLLOUT)&&(ev->events&EPOLLOUT))
{
ev->call_back(ev->fd,events[i].events,ev->arg);
}
}
}
return0;
}

最后學(xué)習(xí)epoll一些建議

需要深入理解epoll LT和ET方式下的讀寫(xiě)差別，怎么優(yōu)雅地處理各種錯(cuò)誤；

需要關(guān)注多線程負(fù)載均衡，驚群效應(yīng)等問(wèn)題，要用 epoll 實(shí)現(xiàn)負(fù)載均衡并且避免數(shù)據(jù)競(jìng)爭(zhēng)，必須掌握好 EPOLLONESHOT 和 EPOLLEXCLUSIVE 這兩個(gè)標(biāo)志；

理解epoll不足之處：

定時(shí)的精度不夠，只到5ms級(jí)別，select可以到0.1ms；

當(dāng)連接數(shù)少并且連接都十分活躍的情況下，select和poll的性能可能比epoll好；

epoll_ctrl每次只能夠修改一個(gè)fd（kevent可以一次改多個(gè)，每次修改，epoll需要一個(gè)系統(tǒng)調(diào)用，不能 batch 操作，可能會(huì)影響性能）。

可能會(huì)在定時(shí)到期之前返回，導(dǎo)致還需要下一個(gè)epoll_wait調(diào)用。

原文標(biāo)題：揭秘Linux高性能服務(wù)epoll 的本質(zhì)

文章出處：【微信公眾號(hào)：馬哥Linux運(yùn)維】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。