Tomcat的連接數(shù)與線程池詳解

前言

在使用tomcat時，經(jīng)常會遇到連接數(shù)、線程數(shù)之類的配置問題，要真正理解這些概念，必須先了解Tomcat的連接器（Connector）。

在前面的文章 詳解Tomcat配置文件server.xml 中寫到過：Connector的主要功能，是接收連接請求，創(chuàng)建Request和Response對象用于和請求端交換數(shù)據(jù)；然后分配線程讓Engine（也就是Servlet容器）來處理這個請求，并把產(chǎn)生的Request和Response對象傳給Engine。當Engine處理完請求后，也會通過Connector將響應(yīng)返回給客戶端。

可以說，Servlet容器處理請求，是需要Connector進行調(diào)度和控制的，Connector是Tomcat處理請求的主干，因此Connector的配置和使用對Tomcat的性能有著重要的影響。這篇文章將從Connector入手，討論一些與Connector有關(guān)的重要問題，包括NIO/BIO模式、線程池、連接數(shù)等。

根據(jù)協(xié)議的不同，Connector可以分為HTTP Connector、AJP Connector等，本文只討論HTTP Connector。

一、Nio、Bio、APR

1、Connector的protocol

Connector在處理HTTP請求時，會使用不同的protocol。不同的Tomcat版本支持的protocol不同，其中最典型的protocol包括BIO、NIO和APR（Tomcat7中支持這3種，Tomcat8增加了對NIO2的支持，而到了Tomcat8.5和Tomcat9.0，則去掉了對BIO的支持）。

BIO是Blocking IO，顧名思義是阻塞的IO；NIO是Non-blocking IO，則是非阻塞的IO。而APR是Apache Portable Runtime，是Apache可移植運行庫，利用本地庫可以實現(xiàn)高可擴展性、高性能；Apr是在Tomcat上運行高并發(fā)應(yīng)用的選模式，但是需要安裝apr、apr-utils、tomcat-native等包。

2、如何指定protocol

Connector使用哪種protocol，可以通過元素中的protocol屬性進行指定，也可以使用默認值。

指定的protocol取值及對應(yīng)的協(xié)議如下：

• HTTP/1.1：默認值，使用的協(xié)議與Tomcat版本有關(guān)
• org.apache.coyote.http11.Http11Protocol：BIO
• org.apache.coyote.http11.Http11NioProtocol：NIO
• org.apache.coyote.http11.Http11Nio2Protocol：NIO2
• org.apache.coyote.http11.Http11AprProtocol：APR

如果沒有指定protocol，則使用默認值HTTP/1.1，其含義如下：在Tomcat7中，自動選取使用BIO或APR（如果找到APR需要的本地庫，則使用APR，否則使用BIO）；在Tomcat8中，自動選取使用NIO或APR（如果找到APR需要的本地庫，則使用APR，否則使用NIO）。

3、BIO/NIO有何不同

無論是BIO，還是NIO，Connector處理請求的大致流程是一樣的：

在accept隊列中接收連接（當客戶端向服務(wù)器發(fā)送請求時，如果客戶端與OS完成三次握手建立了連接，則OS將該連接放入accept隊列）；在連接中獲取請求的數(shù)據(jù)，生成request；調(diào)用servlet容器處理請求；返回response。為了便于后面的說明，首先明確一下連接與請求的關(guān)系：連接是TCP層面的（傳輸層），對應(yīng)socket；請求是HTTP層面的（應(yīng)用層），必須依賴于TCP的連接實現(xiàn)；一個TCP連接中可能傳輸多個HTTP請求。

在BIO實現(xiàn)的Connector中，處理請求的主要實體是JIoEndpoint對象。JIoEndpoint維護了Acceptor和Worker：Acceptor接收socket，然后從Worker線程池中找出空閑的線程處理socket，如果worker線程池沒有空閑線程，則Acceptor將阻塞。其中Worker是Tomcat自帶的線程池，如果通過配置了其他線程池，原理與Worker類似。

在NIO實現(xiàn)的Connector中，處理請求的主要實體是NIoEndpoint對象。NIoEndpoint中除了包含Acceptor和Worker外，還是用了Poller，處理流程如下圖所示。

Acceptor接收socket后，不是直接使用Worker中的線程處理請求，而是先將請求發(fā)送給了Poller，而Poller是實現(xiàn)NIO的關(guān)鍵。Acceptor向Poller發(fā)送請求通過隊列實現(xiàn)，使用了典型的生產(chǎn)者-消費者模式。在Poller中，維護了一個Selector對象；當Poller從隊列中取出socket后，注冊到該Selector中；然后通過遍歷Selector，找出其中可讀的socket，并使用Worker中的線程處理相應(yīng)請求。與BIO類似，Worker也可以被自定義的線程池代替。

通過上述過程可以看出，在NIoEndpoint處理請求的過程中，無論是Acceptor接收socket，還是線程處理請求，使用的仍然是阻塞方式；但在“讀取socket并交給Worker中的線程”的這個過程中，使用非阻塞的NIO實現(xiàn)，這是NIO模式與BIO模式的最主要區(qū)別（其他區(qū)別對性能影響較小，暫時略去不提）。而這個區(qū)別，在并發(fā)量較大的情形下可以帶來Tomcat效率的顯著提升：

目前大多數(shù)HTTP請求使用的是長連接（HTTP/1.1默認keep-alive為true），而長連接意味著，一個TCP的socket在當前請求結(jié)束后，如果沒有新的請求到來，socket不會立馬釋放，而是等timeout后再釋放。如果使用BIO，“讀取socket并交給Worker中的線程”這個過程是阻塞的，也就意味著在socket等待下一個請求或等待釋放的過程中，處理這個socket的工作線程會一直被占用，無法釋放；因此Tomcat可以同時處理的socket數(shù)目不能超過大線程數(shù)，性能受到了極大限制。而使用NIO，“讀取socket并交給Worker中的線程”這個過程是非阻塞的，當socket在等待下一個請求或等待釋放時，并不會占用工作線程，因此Tomcat可以同時處理的socket數(shù)目遠大于大線程數(shù)，并發(fā)性能大大提高。

二、3個參數(shù)：acceptCount、maxConnections、maxThreads

再回顧一下Tomcat處理請求的過程：在accept隊列中接收連接（當客戶端向服務(wù)器發(fā)送請求時，如果客戶端與OS完成三次握手建立了連接，則OS將該連接放入accept隊列）；在連接中獲取請求的數(shù)據(jù)，生成request；調(diào)用servlet容器處理請求；返回response。

相對應(yīng)的，Connector中的幾個參數(shù)功能如下：

1、acceptCount

accept隊列的長度；當accept隊列中連接的個數(shù)達到acceptCount時，隊列滿，進來的請求一律被拒絕。默認值是100。

2、maxConnections

Tomcat在任意時刻接收和處理的大連接數(shù)。當Tomcat接收的連接數(shù)達到maxConnections時，Acceptor線程不會讀取accept隊列中的連接；這時accept隊列中的線程會一直阻塞著，直到Tomcat接收的連接數(shù)小于maxConnections。如果設(shè)置為-1，則連接數(shù)不受限制。

默認值與連接器使用的協(xié)議有關(guān)：NIO的默認值是10000，APR/native的默認值是8192，而BIO的默認值為maxThreads（如果配置了Executor，則默認值是Executor的maxThreads）。

在windows下，APR/native的maxConnections值會自動調(diào)整為設(shè)置值以下大的1024的整數(shù)倍；如設(shè)置為2000，則大值實際是1024。

3、maxThreads

請求處理線程的大數(shù)量。默認值是200（Tomcat7和8都是的）。如果該Connector綁定了Executor，這個值會被忽略，因為該Connector將使用綁定的Executor，而不是內(nèi)置的線程池來執(zhí)行任務(wù)。

maxThreads規(guī)定的是大的線程數(shù)目，并不是實際running的CPU數(shù)量；實際上，maxThreads的大小比CPU核心數(shù)量要大得多。這是因為，處理請求的線程真正用于計算的時間可能很少，大多數(shù)時間可能在阻塞，如等待數(shù)據(jù)庫返回數(shù)據(jù)、等待硬盤讀寫數(shù)據(jù)等。因此，在某一時刻，只有少數(shù)的線程真正的在使用物理CPU，大多數(shù)線程都在等待；因此線程數(shù)遠大于物理核心數(shù)才是合理的。

換句話說，Tomcat通過使用比CPU核心數(shù)量多得多的線程數(shù)，可以使CPU忙碌起來，大大提高CPU的利用率。

4、參數(shù)設(shè)置

（1）maxThreads的設(shè)置既與應(yīng)用的特點有關(guān)，也與服務(wù)器的CPU核心數(shù)量有關(guān)。通過前面介紹可以知道，maxThreads數(shù)量應(yīng)該遠大于CPU核心數(shù)量；而且CPU核心數(shù)越大，maxThreads應(yīng)該越大；應(yīng)用中CPU越不密集（IO越密集），maxThreads應(yīng)該越大，以便能夠充分利用CPU。當然，maxThreads的值并不是越大越好，如果maxThreads過大，那么CPU會花費大量的時間用于線程的切換，整體效率會降低。

（2）maxConnections的設(shè)置與Tomcat的運行模式有關(guān)。如果tomcat使用的是BIO，那么maxConnections的值應(yīng)該與maxThreads一致；如果tomcat使用的是NIO，那么類似于Tomcat的默認值，maxConnections值應(yīng)該遠大于maxThreads。

（3）通過前面的介紹可以知道，雖然tomcat同時可以處理的連接數(shù)目是maxConnections，但服務(wù)器中可以同時接收的連接數(shù)為maxConnections+acceptCount 。acceptCount的設(shè)置，與應(yīng)用在連接過高情況下希望做出什么反應(yīng)有關(guān)系。如果設(shè)置過大，后面進入的請求等待時間會很長；如果設(shè)置過小，后面進入的請求立馬返回connection refused。

三、線程池Executor

Executor元素代表Tomcat中的線程池，可以由其他組件共享使用；要使用該線程池，組件需要通過executor屬性指定該線程池。

Executor是Service元素的內(nèi)嵌元素。一般來說，使用線程池的是Connector組件；為了使Connector能使用線程池，Executor元素應(yīng)該放在Connector前面。Executor與Connector的配置舉例如下：

Executor的主要屬性包括：

• name：該線程池的標記
• maxThreads：線程池中大活躍線程數(shù)，默認值200（Tomcat7和8都是）
• minSpareThreads：線程池中保持的最小線程數(shù)，最小值是25
• maxIdleTime：線程空閑的大時間，當空閑超過該值時關(guān)閉線程（除非線程數(shù)小于minSpareThreads），單位是ms，默認值60000（1分鐘）
• daemon：是否后臺線程，默認值true
• threadPriority：線程優(yōu)先級，默認值5
• namePrefix：線程名字的前綴，線程池中線程名字為：namePrefix+線程編號

四、查看當前狀態(tài)

上面介紹了Tomcat連接數(shù)、線程數(shù)的概念以及如何設(shè)置，下面說明如何查看服務(wù)器中的連接數(shù)和線程數(shù)。

查看服務(wù)器的狀態(tài)，大致分為兩種方案：（1）使用現(xiàn)成的工具，（2）直接使用Linux的命令查看。

現(xiàn)成的工具，如JDK自帶的jconsole工具可以方便的查看線程信息（此外還可以查看CPU、內(nèi)存、類、JVM基本信息等），Tomcat自帶的manager，收費工具New Relic等。下圖是jconsole查看線程信息的界面：

下面說一下如何通過Linux命令行，查看服務(wù)器中的連接數(shù)和線程數(shù)。

1、連接數(shù)

假設(shè)Tomcat接收http請求的端口是8083，則可以使用如下語句查看連接情況：

netstat –nat | grep 8083

結(jié)果如下所示：

可以看出，有一個連接處于listen狀態(tài)，監(jiān)聽請求；除此之外，還有4個已經(jīng)建立的連接（ESTABLISHED）和2個等待關(guān)閉的連接（CLOSE_WAIT）。

2、線程

ps命令可以查看進程狀態(tài)，如執(zhí)行如下命令：

ps –e | grep java

結(jié)果如下圖：

可以看到，只打印了一個進程的信息；27989是線程id，java是指執(zhí)行的java命令。這是因為啟動一個tomcat，內(nèi)部所有的工作都在這一個進程里完成，包括主線程、垃圾回收線程、Acceptor線程、請求處理線程等等。

通過如下命令，可以看到該進程內(nèi)有多少個線程；其中，nlwp含義是number of light-weight process。

ps –o nlwp 27989

可以看到，該進程內(nèi)部有73個線程；但是73并沒有排除處于idle狀態(tài)的線程。要想獲得真正在running的線程數(shù)量，可以通過以下語句完成：

ps -eLo pid ,stat | grep 27989 | grep running | wc -l

其中ps -eLo pid ,stat可以找出所有線程，并打印其所在的進程號和線程當前的狀態(tài)；兩個grep命令分別篩選進程號和線程狀態(tài)；wc統(tǒng)計個數(shù)。其中，ps -eLo pid ,stat | grep 27989輸出的結(jié)果如下：

圖中只截圖了部分結(jié)果；Sl表示大多數(shù)線程都處于空閑狀態(tài)。

新聞標題：Tomcat的連接數(shù)與線程池詳解
文章地址：http://www.muchs.cn/news/100874.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、網(wǎng)站制作、商城網(wǎng)站、企業(yè)網(wǎng)站制作、品牌網(wǎng)站制作、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)