服務(wù)器
在linux 沒有實(shí)現(xiàn)epoll事件驅(qū)動機(jī)制之前,我們一般選擇用select或者poll等IO多路復(fù)用的方法來實(shí)現(xiàn)并發(fā)服務(wù)程序。在linux新的內(nèi)核中,有了一種替換它的機(jī)制,就是epoll。
創(chuàng)新互聯(lián)專注于黃梅網(wǎng)站建設(shè)服務(wù)及定制,我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供黃梅營銷型網(wǎng)站建設(shè),黃梅網(wǎng)站制作、黃梅網(wǎng)頁設(shè)計(jì)、黃梅網(wǎng)站官網(wǎng)定制、小程序制作服務(wù),打造黃梅網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供黃梅網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。select()和poll() IO多路復(fù)用模型select的缺點(diǎn):
1.單個(gè)進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在限制,通常是1024,當(dāng)然可以更改數(shù)量,但由于select采用輪詢的方式掃描文件描述符,文件描述符數(shù)量越多,性能越差;(在linux內(nèi)核頭文件中,有這樣的定義:#define __FD_SETSIZE 1024)
2.內(nèi)核 / 用戶空間內(nèi)存拷貝問題,select需要復(fù)制大量的句柄數(shù)據(jù)結(jié)構(gòu),產(chǎn)生巨大的開銷;
3.select返回的是含有整個(gè)句柄的數(shù)組,應(yīng)用程序需要遍歷整個(gè)數(shù)組才能發(fā)現(xiàn)哪些句柄發(fā)生了事件;
4.select的觸發(fā)方式是水平觸發(fā),應(yīng)用程序如果沒有完成對一個(gè)已經(jīng)就緒的文件描述符進(jìn)行IO操作,那么之后每次select調(diào)用還是會將這些文件描述符通知進(jìn)程。
相比select模型,poll使用鏈表保存文件描述符,因此沒有了監(jiān)視文件數(shù)量的限制,但其他三個(gè)缺點(diǎn)依然存在。
假設(shè)我們的服務(wù)器需要支持100萬的并發(fā)連接,則在__FD_SETSIZE 為1024的情況下,則我們至少需要開辟1k個(gè)進(jìn)程才能實(shí)現(xiàn)100萬的并發(fā)連接。除了進(jìn)程間上下文切換的時(shí)間消耗外,從內(nèi)核/用戶空間大量的無腦內(nèi)存拷貝、數(shù)組輪詢等,是系統(tǒng)難以承受的。因此,基于select模型的服務(wù)器程序,要達(dá)到10萬級別的并發(fā)訪問,是一個(gè)很難完成的任務(wù)。
epoll IO多路復(fù)用模型實(shí)現(xiàn)機(jī)制由于epoll的實(shí)現(xiàn)機(jī)制與select/poll機(jī)制完全不同,上面所說的 select的缺點(diǎn)在epoll上不復(fù)存在。
設(shè)想一下如下場景:有100萬個(gè)客戶端同時(shí)與一個(gè)服務(wù)器進(jìn)程保持著TCP連接。而每一時(shí)刻,通常只有幾百上千個(gè)TCP連接是活躍的(事實(shí)上大部分場景都是這種情況)。如何實(shí)現(xiàn)這樣的高并發(fā)?
在select/poll時(shí)代,服務(wù)器進(jìn)程每次都把這100萬個(gè)連接告訴操作系統(tǒng)(從用戶態(tài)復(fù)制句柄數(shù)據(jù)結(jié)構(gòu)到內(nèi)核態(tài)),讓操作系統(tǒng)內(nèi)核去查詢這些套接字上是否有事件發(fā)生,輪詢完后,再將句柄數(shù)據(jù)復(fù)制到用戶態(tài),讓服務(wù)器應(yīng)用程序輪詢處理已發(fā)生的網(wǎng)絡(luò)事件,這一過程資源消耗較大,因此,select/poll一般只能處理幾千的并發(fā)連接。
epoll的設(shè)計(jì)和實(shí)現(xiàn)與select完全不同。epoll通過在Linux內(nèi)核中申請一個(gè)簡易的文件系統(tǒng)(文件系統(tǒng)一般用什么數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)?B+樹)。把原先的select/poll調(diào)用分成了3個(gè)部分:
1)調(diào)用epoll_create()建立一個(gè)epoll對象(在epoll文件系統(tǒng)中為這個(gè)句柄對象分配資源)
2)調(diào)用epoll_ctl向epoll對象中添加這100萬個(gè)連接的套接字
3)調(diào)用epoll_wait收集發(fā)生的事件的連接
如此一來,要實(shí)現(xiàn)上面說是的場景,只需要在進(jìn)程啟動時(shí)建立一個(gè)epoll對象,然后在需要的時(shí)候向這個(gè)epoll對象中添加或者刪除連接。同時(shí),epoll_wait的效率也非常高,因?yàn)檎{(diào)用epoll_wait時(shí),并沒有一股腦的向操作系統(tǒng)復(fù)制這100萬個(gè)連接的句柄數(shù)據(jù),內(nèi)核也不需要去遍歷全部的連接。
epoll實(shí)現(xiàn)機(jī)制當(dāng)某一進(jìn)程調(diào)用epoll_create方法時(shí),Linux內(nèi)核會創(chuàng)建一個(gè)eventpoll結(jié)構(gòu)體,這個(gè)結(jié)構(gòu)體中有兩個(gè)成員與epoll的使用方式密切相關(guān)。eventpoll結(jié)構(gòu)體如下所示:
struct eventpoll{ .... /*紅黑樹的根節(jié)點(diǎn),這顆樹中存儲著所有添加到epoll中的需要監(jiān)控的事件*/ struct rb_root rbr; /*雙鏈表中則存放著將要通過epoll_wait返回給用戶的滿足條件的事件*/ struct list_head rdlist; .... };
每一個(gè)epoll對象都有一個(gè)獨(dú)立的eventpoll結(jié)構(gòu)體,用于存放通過epoll_ctl方法向epoll對象中添加進(jìn)來的事件。這些事件都會掛載在紅黑樹中,如此,重復(fù)添加的事件就可以通過紅黑樹而高效的識別出來(紅黑樹的插入時(shí)間效率是lgn,其中n為樹的高度)。
而所有添加到epoll中的事件都會與設(shè)備(網(wǎng)卡)驅(qū)動程序建立回調(diào)關(guān)系,也就是說,當(dāng)相應(yīng)的事件發(fā)生時(shí)會調(diào)用這個(gè)回調(diào)方法。這個(gè)回調(diào)方法在內(nèi)核中叫ep_poll_callback,它會將發(fā)生的事件添加到rdlist雙鏈表中。
在epoll中,對于每一個(gè)事件,都會建立一個(gè)epitem結(jié)構(gòu)體,如下所示:
struct epitem{ struct rb_node rbn;//紅黑樹節(jié)點(diǎn) struct list_head rdllink;//雙向鏈表節(jié)點(diǎn) struct epoll_filefd ffd; //事件句柄信息 struct eventpoll *ep; //指向其所屬的eventpoll對象 struct epoll_event event; //期待發(fā)生的事件類型 }
當(dāng)調(diào)用epoll_wait檢查是否有事件發(fā)生時(shí),只需要檢查eventpoll對象中的rdlist雙鏈表中是否有epitem元素即可。如果rdlist不為空,則把發(fā)生的事件復(fù)制到用戶態(tài),同時(shí)將事件數(shù)量返回給用戶。
通過紅黑樹和雙鏈表數(shù)據(jù)結(jié)構(gòu),并結(jié)合回調(diào)機(jī)制,造就了epoll的高效。
epoll的接口1.epoll_create
創(chuàng)建epoll句柄
函數(shù)聲明:int epoll_create(int size)
參數(shù):size用來告訴內(nèi)核這個(gè)監(jiān)聽的數(shù)目一共有多大。
返回值:返回創(chuàng)建了的epoll句柄。
當(dāng)創(chuàng)建好epoll句柄后,它就是會占用一個(gè)fd值,在linux下如果查看/proc/進(jìn)程id/fd/,是能夠看到這個(gè)fd的,所以在使用完epoll后,必須調(diào)用close()關(guān)閉,否則可能導(dǎo)致fd被耗盡。
2.epoll_ctl
將被監(jiān)聽的描述符添加到epoll句柄或從epool句柄中刪除或者對監(jiān)聽事件進(jìn)行修改。
函數(shù)申明:int epoll_ctl(int epfd, int op, int fd, struct epoll_event*event);
參數(shù):
epfd: epoll_create()的返回值
op:表示要進(jìn)行的操作,其值分別為:
EPOLL_CTL_ADD: 注冊新的fd到epfd中;
EPOLL_CTL_MOD: 修改已經(jīng)注冊的fd的監(jiān)聽事件;
EPOLL_CTL_DEL: 從epfd中刪除一個(gè)fd;
fd:需要操作/監(jiān)聽的文件句柄
event:是告訴內(nèi)核需要監(jiān)聽什么事件,struct epoll_event如下:
typedef union epoll_data { void *ptr; int fd; __uint32_t u32; __uint64_t u64; } epoll_data_t; struct epoll_event { __uint32_t events; /* Epoll events */ epoll_data_t data; /* User data variable */ };
events可以是以下幾個(gè)宏的集合:
EPOLLIN:觸發(fā)該事件,表示對應(yīng)的文件描述符上有可讀數(shù)據(jù)。(包括對端SOCKET正常關(guān)閉);
EPOLLOUT:觸發(fā)該事件,表示對應(yīng)的文件描述符上可以寫數(shù)據(jù);
EPOLLPRI:表示對應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀(這里應(yīng)該表示有帶外數(shù)據(jù)到來);
EPOLLERR:表示對應(yīng)的文件描述符發(fā)生錯(cuò)誤;
EPOLLHUP: 表示對應(yīng)的文件描述符被掛斷;
EPOLLET:將EPOLL設(shè)為邊緣觸發(fā)(EdgeTriggered)模式,這是相對于水平觸發(fā)(Level Triggered)來說的。
EPOLLONESHOT: 只監(jiān)聽一次事件,當(dāng)監(jiān)聽完這次事件之后,如果還需要繼續(xù)監(jiān)聽這個(gè)socket的話,需要再次把這個(gè)socket加入到EPOLL隊(duì)列里。
示例:
struct epoll_event ev; //設(shè)置與要處理的事件相關(guān)的文件描述符 ev.data.fd=listenfd; //設(shè)置要處理的事件類型 ev.events=EPOLLIN|EPOLLET; //注冊epoll事件 epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);
1.epoll_wait
等侍注冊在epfd上的socket fd的事件的發(fā)生,如果發(fā)生則將發(fā)生的sokct fd和事件類型放入到events數(shù)組中。
函數(shù)原型:int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
參數(shù):
epfd:由epoll_create 生成的epoll文件描述符
events:用于回傳代處理事件的數(shù)組
maxevents:每次能處理的事件數(shù)
timeout:等待I/O事件發(fā)生的超時(shí)毫秒數(shù),-1相當(dāng)于阻塞,0相當(dāng)于非阻塞。一般用-1即可
ET(EdgeTriggered):高速工作模式,只支持no_block(非阻塞模式)。在此模式下,當(dāng)描述符從未就緒變?yōu)榫途w時(shí),內(nèi)核通過epoll告知。然后它會假設(shè)用戶知道文件描述符已經(jīng)就緒,并且不會再為那個(gè)文件描述符發(fā)送更多的就緒通知,直到某些操作導(dǎo)致那個(gè)文件描述符不再為就緒狀態(tài)了。(觸發(fā)模式只在數(shù)據(jù)就緒時(shí)通知一次,若數(shù)據(jù)沒有讀完,下一次不會通知,直到有新的就緒數(shù)據(jù))
LT(LevelTriggered):缺省工作方式,支持blocksocket和no_blocksocket。在LT模式下內(nèi)核會告知一個(gè)文件描述符是否就緒了,然后可以對這個(gè)就緒的fd進(jìn)行IO操作。如果不作任何操作,內(nèi)核還是會繼續(xù)通知!若數(shù)據(jù)沒有讀完,內(nèi)核也會繼續(xù)通知,直至設(shè)備數(shù)據(jù)為空為止!
示例說明:1.我們已經(jīng)把一個(gè)用來從管道中讀取數(shù)據(jù)的文件句柄(RFD)添加到epoll描述符
2. 這個(gè)時(shí)候從管道的另一端被寫入了2KB的數(shù)據(jù)
3. 調(diào)用epoll_wait(2),并且它會返回RFD,說明它已經(jīng)準(zhǔn)備好讀取操作
4. 然后我們讀取了1KB的數(shù)據(jù)
5. 調(diào)用epoll_wait(2)……
ET工作模式:
如果我們在第1步將RFD添加到epoll描述符的時(shí)候使用了EPOLLET標(biāo)志,在第2步執(zhí)行了一個(gè)寫操作,第三步epoll_wait會返回同時(shí)通知的事件會銷毀。因?yàn)榈?步的讀取操作沒有讀空文件輸入緩沖區(qū)內(nèi)的數(shù)據(jù),因此我們在第5步調(diào)用epoll_wait(2)完成后,是否掛起是不確定的。epoll工作在ET模式的時(shí)候,必須使用非阻塞套接口,以避免由于一個(gè)文件句柄的阻塞讀/阻塞寫操作把處理多個(gè)文件描述符的任務(wù)餓死。
只有當(dāng)read(2)或者write(2)返回EAGAIN時(shí)(認(rèn)為讀完)才需要掛起,等待。但這并不是說每次read()時(shí)都需要循環(huán)讀,直到讀到產(chǎn)生一個(gè)EAGAIN才認(rèn)為此次事件處理完成,當(dāng)read()返回的讀到的數(shù)據(jù)長度小于請求的數(shù)據(jù)長度時(shí)(即小于sizeof(buf)),就可以確定此時(shí)緩沖中已沒有數(shù)據(jù)了,也就可以認(rèn)為此事讀事件已處理完成。
LT工作模式:
LT方式調(diào)用epoll接口的時(shí)候,它就相當(dāng)于一個(gè)速度比較快的poll(2),并且無論后面的數(shù)據(jù)是否被使用,因此他們具有同樣的職能。
示例/* * file epollTest.c */ #include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <errno.h> #include <sys/socket.h> #include <netdb.h> #include <fcntl.h> #include <sys/epoll.h> #include <string.h> #define MAXEVENTS 64 //函數(shù): //功能:創(chuàng)建和綁定一個(gè)TCP socket //參數(shù):端口 //返回值:創(chuàng)建的socket static int create_and_bind (char *port) { struct addrinfo hints; struct addrinfo *result, *rp; int s, sfd; memset (&hints, 0, sizeof (struct addrinfo)); hints.ai_family = AF_UNSPEC; /* Return IPv4 and IPv6 choices */ hints.ai_socktype = SOCK_STREAM; /* We want a TCP socket */ hints.ai_flags = AI_PASSIVE; /* All interfaces */ s = getaddrinfo (NULL, port, &hints, &result); if (s != 0) { fprintf (stderr, getaddrinfo: %s\\n, gai_strerror (s)); return -1; } for (rp = result; rp != NULL; rp = rp->ai_next) { sfd = socket (rp->ai_family, rp->ai_socktype, rp->ai_protocol); if (sfd == -1) continue; s = bind (sfd, rp->ai_addr, rp->ai_addrlen); if (s == 0) { /* We managed to bind successfully! */ break; } close (sfd); } if (rp == NULL) { fprintf (stderr, Could not bind\\n); return -1; } freeaddrinfo (result); return sfd; } //函數(shù) //功能:設(shè)置socket為非阻塞的 static int make_socket_non_blocking (int sfd) { int flags, s; //得到文件狀態(tài)標(biāo)志 flags = fcntl (sfd, F_GETFL, 0); if (flags == -1) { perror (fcntl); return -1; } //設(shè)置文件狀態(tài)標(biāo)志 flags |= O_NONBLOCK; s = fcntl (sfd, F_SETFL, flags); if (s == -1) { perror (fcntl); return -1; } return 0; } //端口由參數(shù)argv[1]指定 int main (int argc, char *argv[]) { int sfd, s; int efd; struct epoll_event event; struct epoll_event *events; if (argc != 2) { fprintf (stderr, Usage: %s [port]\\n, argv[0]); exit (EXIT_FAILURE); } sfd = create_and_bind (argv[1]); if (sfd == -1) abort (); s = make_socket_non_blocking (sfd); if (s == -1) abort (); s = listen (sfd, SOMAXCONN); if (s == -1) { perror (listen); abort (); } //除了參數(shù)size被忽略外,此函數(shù)和epoll_create完全相同 efd = epoll_create1 (0); if (efd == -1) { perror (epoll_create); abort (); } event.data.fd = sfd; event.events = EPOLLIN | EPOLLET;//讀入,邊緣觸發(fā)方式 s = epoll_ctl (efd, EPOLL_CTL_ADD, sfd, &event); if (s == -1) { perror (epoll_ctl); abort (); } /* Buffer where events are returned */ events = calloc (MAXEVENTS, sizeof event); /* The event loop */ while (1) { int n, i; n = epoll_wait (efd, events, MAXEVENTS, -1); for (i = 0; i < n; i++) { if ((events[i].events & EPOLLERR) || (events[i].events & EPOLLHUP) || (!(events[i].events & EPOLLIN))) { /* An error has occured on this fd, or the socket is not ready for reading (why were we notified then?) */ fprintf (stderr, epoll error\\n); close (events[i].data.fd); continue; } else if (sfd == events[i].data.fd) { /* We have a notification on the listening socket, which means one or more incoming connections. */ while (1) { struct sockaddr in_addr; socklen_t in_len; int infd; char hbuf[NI_MAXHOST], sbuf[NI_MAXSERV]; in_len = sizeof in_addr; infd = accept (sfd, &in_addr, &in_len); if (infd == -1) { if ((errno == EAGAIN) || (errno == EWOULDBLOCK)) { /* We have processed all incoming connections. */ break; } else { perror (accept); break; } } //將地址轉(zhuǎn)化為主機(jī)名或者服務(wù)名 s = getnameinfo (&in_addr, in_len, hbuf, sizeof hbuf, sbuf, sizeof sbuf, NI_NUMERICHOST | NI_NUMERICSERV);//flag參數(shù):以數(shù)字名返回 //主機(jī)地址和服務(wù)地址 if (s == 0) { printf(Accepted connection on descriptor %d (host=%s, port=%s)\\n, infd, hbuf, sbuf); } /* Make the incoming socket non-blocking and add it to the list of fds to monitor. */ s = make_socket_non_blocking (infd); if (s == -1) abort (); event.data.fd = infd; event.events = EPOLLIN | EPOLLET; s = epoll_ctl (efd, EPOLL_CTL_ADD, infd, &event); if (s == -1) { perror (epoll_ctl); abort (); } } continue; } else { /* We have data on the fd waiting to be read. Read and display it. We must read whatever data is available completely, as we are running in edge-triggered mode and won\'t get a notification again for the same data. */ int done = 0; while (1) { ssize_t count; char buf[512]; count = read (events[i].data.fd, buf, sizeof(buf)); if (count == -1) { /* If errno == EAGAIN, that means we have read all data. So go back to the main loop. */ if (errno != EAGAIN) { perror (read); done = 1; } break; } else if (count == 0) { /* End of file. The remote has closed the connection. */ done = 1; break; } /* Write the buffer to standard output */ s = write (1, buf, count); if (s == -1) { perror (write); abort (); } } if (done) { printf (Closed connection on descriptor %d\\n, events[i].data.fd); /* Closing the descriptor will make epoll remove it from the set of descriptors which are monitored. */ close (events[i].data.fd); } } } } free (events); close (sfd); return EXIT_SUCCESS; }
代碼編譯后,./epollTest 8888 ,在另外一個(gè)終端中執(zhí)行 telnet 192.168.1.161 8888 ,192.168.1.161
為執(zhí)行測試程序的ip。在telnet終端敲入任何字符敲入Enter后,會在測試終端顯示敲入的字符。
以上就是本文關(guān)于linux epoll機(jī)制詳解的全部內(nèi)容,希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題,如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!
網(wǎng)頁題目:linuxepoll機(jī)制詳解
網(wǎng)頁地址:http://muchs.cn/article8/cjphip.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供動態(tài)網(wǎng)站、網(wǎng)站策劃、網(wǎng)站收錄、App開發(fā)、App設(shè)計(jì)、網(wǎng)站導(dǎo)航
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)