php并發(fā)操作數(shù)據(jù)庫 php并發(fā)操作數(shù)據(jù)庫命令

php如何處理高并發(fā)情況下的db插入

1、 我們需要接收一個(gè)外部的訂單,而這個(gè)訂單號(hào)是不允許重復(fù)的

憑借整站使用HTML5的創(chuàng)新體驗(yàn)、定制設(shè)計(jì)、設(shè)計(jì)團(tuán)隊(duì)積累與透明式的服務(wù)過程,符合行業(yè)特點(diǎn),專屬顧問根據(jù)企業(yè)產(chǎn)品,消費(fèi)群體屬性,準(zhǔn)確定位;設(shè)計(jì)師以目標(biāo)客戶為中心,以突出品牌官網(wǎng)特性為宗旨,定制專屬網(wǎng)站建設(shè)設(shè)計(jì)方案。

2、 數(shù)據(jù)庫對(duì)外部訂單號(hào)沒有做唯一性約束

3、 外部經(jīng)常插入相同的訂單,對(duì)于已經(jīng)存在的訂單則拒絕處理

對(duì)于這個(gè)需求,很簡(jiǎn)單我們會(huì)用下面的代碼進(jìn)行處理(思路:先查找數(shù)據(jù)庫,如果數(shù)據(jù)庫存在則直接退出,否則插入)

package com.yhj.test;

import com.yhj.dao.OrderDao;

import com.yhj.pojo.Order;

/**

* @Description:并發(fā)測(cè)試用例

* @Author YHJ create at 2011-7-7 上午08:41:44

* @FileName com.yhj.test.TestCase.java

*/

public class TestCase {

/**

* data access object class for deal order

*/

private OrderDao orderDao;

/**

* @Description:插入測(cè)試

* @param object 要插入的object實(shí)例

* @author YHJ create at 2011-7-7 上午08:43:15

* @throws Exception

*/

public void doTestForInsert(Order order) throws Exception {

Order orderInDB = orderDao.findByName(order.getOrderNo());

if(null != orderInDB)

throw new Exception("the order has been exist!");

orderDao.save(order);

}

}

php只能處理幾十個(gè)并發(fā)

您好,PHP是一種開源的服務(wù)器端腳本語言,它可以處理數(shù)百個(gè)并發(fā)。它可以提供簡(jiǎn)單、高效、可靠的Web開發(fā)解決方案,可以滿足大多數(shù)Web應(yīng)用程序的需求。PHP可以支持多種數(shù)據(jù)庫,如MySQL、Oracle、SQL Server等,可以支持多種流行的Web服務(wù)器,如Apache、IIS等,并且可以支持多種操作系統(tǒng),如Windows、Linux等。此外,PHP還提供了豐富的類庫,可以實(shí)現(xiàn)復(fù)雜的功能,如圖像處理、文件上傳、XML解析等。

php怎么處理高并發(fā)

以下內(nèi)容轉(zhuǎn)載自徐漢彬大牛的博客?億級(jí)Web系統(tǒng)搭建——單機(jī)到分布式集群?

當(dāng)一個(gè)Web系統(tǒng)從日訪問量10萬逐步增長(zhǎng)到1000萬,甚至超過1億的過程中,Web系統(tǒng)承受的壓力會(huì)越來越大,在這個(gè)過程中,我們會(huì)遇到很多的問題。為了解決這些性能壓力帶來問題,我們需要在Web系統(tǒng)架構(gòu)層面搭建多個(gè)層次的緩存機(jī)制。在不同的壓力階段,我們會(huì)遇到不同的問題,通過搭建不同的服務(wù)和架構(gòu)來解決。

Web負(fù)載均衡?

Web負(fù)載均衡(Load Balancing),簡(jiǎn)單地說就是給我們的服務(wù)器集群分配“工作任務(wù)”,而采用恰當(dāng)?shù)姆峙浞绞?,?duì)于保護(hù)處于后端的Web服務(wù)器來說,非常重要。

負(fù)載均衡的策略有很多,我們從簡(jiǎn)單的講起哈。

1.?HTTP重定向

當(dāng)用戶發(fā)來請(qǐng)求的時(shí)候,Web服務(wù)器通過修改HTTP響應(yīng)頭中的Location標(biāo)記來返回一個(gè)新的url,然后瀏覽器再繼續(xù)請(qǐng)求這個(gè)新url,實(shí)際上就是頁面重定向。通過重定向,來達(dá)到“負(fù)載均衡”的目標(biāo)。例如,我們?cè)谙螺dPHP源碼包的時(shí)候,點(diǎn)擊下載鏈接時(shí),為了解決不同國(guó)家和地域下載速度的問題,它會(huì)返回一個(gè)離我們近的下載地址。重定向的HTTP返回碼是302

這個(gè)重定向非常容易實(shí)現(xiàn),并且可以自定義各種策略。但是,它在大規(guī)模訪問量下,性能不佳。而且,給用戶的體驗(yàn)也不好,實(shí)際請(qǐng)求發(fā)生重定向,增加了網(wǎng)絡(luò)延時(shí)。

2. 反向代理負(fù)載均衡

反向代理服務(wù)的核心工作主要是轉(zhuǎn)發(fā)HTTP請(qǐng)求,扮演了瀏覽器端和后臺(tái)Web服務(wù)器中轉(zhuǎn)的角色。因?yàn)樗ぷ髟贖TTP層(應(yīng)用層),也就是網(wǎng)絡(luò)七層結(jié)構(gòu)中的第七層,因此也被稱為“七層負(fù)載均衡”??梢宰龇聪虼淼能浖芏?,比較常見的一種是Nginx。

Nginx是一種非常靈活的反向代理軟件,可以自由定制化轉(zhuǎn)發(fā)策略,分配服務(wù)器流量的權(quán)重等。反向代理中,常見的一個(gè)問題,就是Web服務(wù)器存儲(chǔ)的session數(shù)據(jù),因?yàn)橐话阖?fù)載均衡的策略都是隨機(jī)分配請(qǐng)求的。同一個(gè)登錄用戶的請(qǐng)求,無法保證一定分配到相同的Web機(jī)器上,會(huì)導(dǎo)致無法找到session的問題。

解決方案主要有兩種:

1.?配置反向代理的轉(zhuǎn)發(fā)規(guī)則,讓同一個(gè)用戶的請(qǐng)求一定落到同一臺(tái)機(jī)器上(通過分析cookie),復(fù)雜的轉(zhuǎn)發(fā)規(guī)則將會(huì)消耗更多的CPU,也增加了代理服務(wù)器的負(fù)擔(dān)。

2.?將session這類的信息,專門用某個(gè)獨(dú)立服務(wù)來存儲(chǔ),例如redis/memchache,這個(gè)方案是比較推薦的。

反向代理服務(wù),也是可以開啟緩存的,如果開啟了,會(huì)增加反向代理的負(fù)擔(dān),需要謹(jǐn)慎使用。這種負(fù)載均衡策略實(shí)現(xiàn)和部署非常簡(jiǎn)單,而且性能表現(xiàn)也比較好。但是,它有“單點(diǎn)故障”的問題,如果掛了,會(huì)帶來很多的麻煩。而且,到了后期Web服務(wù)器繼續(xù)增加,它本身可能成為系統(tǒng)的瓶頸。

3. IP負(fù)載均衡

IP負(fù)載均衡服務(wù)是工作在網(wǎng)絡(luò)層(修改IP)和傳輸層(修改端口,第四層),比起工作在應(yīng)用層(第七層)性能要高出非常多。原理是,他是對(duì)IP層的數(shù)據(jù)包的IP地址和端口信息進(jìn)行修改,達(dá)到負(fù)載均衡的目的。這種方式,也被稱為“四層負(fù)載均衡”。常見的負(fù)載均衡方式,是LVS(Linux Virtual Server,Linux虛擬服務(wù)),通過IPVS(IP Virtual Server,IP虛擬服務(wù))來實(shí)現(xiàn)。

在負(fù)載均衡服務(wù)器收到客戶端的IP包的時(shí)候,會(huì)修改IP包的目標(biāo)IP地址或端口,然后原封不動(dòng)地投遞到內(nèi)部網(wǎng)絡(luò)中,數(shù)據(jù)包會(huì)流入到實(shí)際Web服務(wù)器。實(shí)際服務(wù)器處理完成后,又會(huì)將數(shù)據(jù)包投遞回給負(fù)載均衡服務(wù)器,它再修改目標(biāo)IP地址為用戶IP地址,最終回到客戶端。

上述的方式叫LVS-NAT,除此之外,還有LVS-RD(直接路由),LVS-TUN(IP隧道),三者之間都屬于LVS的方式,但是有一定的區(qū)別,篇幅問題,不贅敘。

IP負(fù)載均衡的性能要高出Nginx的反向代理很多,它只處理到傳輸層為止的數(shù)據(jù)包,并不做進(jìn)一步的組包,然后直接轉(zhuǎn)發(fā)給實(shí)際服務(wù)器。不過,它的配置和搭建比較復(fù)雜。

4. DNS負(fù)載均衡

DNS(Domain Name System)負(fù)責(zé)域名解析的服務(wù),域名url實(shí)際上是服務(wù)器的別名,實(shí)際映射是一個(gè)IP地址,解析過程,就是DNS完成域名到IP的映射。而一個(gè)域名是可以配置成對(duì)應(yīng)多個(gè)IP的。因此,DNS也就可以作為負(fù)載均衡服務(wù)。

這種負(fù)載均衡策略,配置簡(jiǎn)單,性能極佳。但是,不能自由定義規(guī)則,而且,變更被映射的IP或者機(jī)器故障時(shí)很麻煩,還存在DNS生效延遲的問題。?

5. DNS/GSLB負(fù)載均衡

我們常用的CDN(Content Delivery Network,內(nèi)容分發(fā)網(wǎng)絡(luò))實(shí)現(xiàn)方式,其實(shí)就是在同一個(gè)域名映射為多IP的基礎(chǔ)上更進(jìn)一步,通過GSLB(Global Server Load Balance,全局負(fù)載均衡)按照指定規(guī)則映射域名的IP。一般情況下都是按照地理位置,將離用戶近的IP返回給用戶,減少網(wǎng)絡(luò)傳輸中的路由節(jié)點(diǎn)之間的跳躍消耗。

“向上尋找”,實(shí)際過程是LDNS(Local DNS)先向根域名服務(wù)(Root Name Server)獲取到頂級(jí)根的Name Server(例如.com的),然后得到指定域名的授權(quán)DNS,然后再獲得實(shí)際服務(wù)器IP。

CDN在Web系統(tǒng)中,一般情況下是用來解決大小較大的靜態(tài)資源(html/Js/Css/圖片等)的加載問題,讓這些比較依賴網(wǎng)絡(luò)下載的內(nèi)容,盡可能離用戶更近,提升用戶體驗(yàn)。

例如,我訪問了一張imgcache.gtimg.cn上的圖片(騰訊的自建CDN,不使用qq.com域名的原因是防止http請(qǐng)求的時(shí)候,帶上了多余的cookie信息),我獲得的IP是183.60.217.90。

這種方式,和前面的DNS負(fù)載均衡一樣,不僅性能極佳,而且支持配置多種策略。但是,搭建和維護(hù)成本非常高?;ヂ?lián)網(wǎng)一線公司,會(huì)自建CDN服務(wù),中小型公司一般使用第三方提供的CDN。

Web系統(tǒng)的緩存機(jī)制的建立和優(yōu)化

剛剛我們講完了Web系統(tǒng)的外部網(wǎng)絡(luò)環(huán)境,現(xiàn)在我們開始關(guān)注我們Web系統(tǒng)自身的性能問題。我們的Web站點(diǎn)隨著訪問量的上升,會(huì)遇到很多的挑戰(zhàn),解決這些問題不僅僅是擴(kuò)容機(jī)器這么簡(jiǎn)單,建立和使用合適的緩存機(jī)制才是根本。

最開始,我們的Web系統(tǒng)架構(gòu)可能是這樣的,每個(gè)環(huán)節(jié),都可能只有1臺(tái)機(jī)器。

我們從最根本的數(shù)據(jù)存儲(chǔ)開始看哈。

一、 MySQL數(shù)據(jù)庫內(nèi)部緩存使用

MySQL的緩存機(jī)制,就從先從MySQL內(nèi)部開始,下面的內(nèi)容將以最常見的InnoDB存儲(chǔ)引擎為主。

1. 建立恰當(dāng)?shù)乃饕?/p>

最簡(jiǎn)單的是建立索引,索引在表數(shù)據(jù)比較大的時(shí)候,起到快速檢索數(shù)據(jù)的作用,但是成本也是有的。首先,占用了一定的磁盤空間,其中組合索引最突出,使用需要謹(jǐn)慎,它產(chǎn)生的索引甚至?xí)仍磾?shù)據(jù)更大。其次,建立索引之后的數(shù)據(jù)insert/update/delete等操作,因?yàn)樾枰略瓉淼乃饕臅r(shí)會(huì)增加。當(dāng)然,實(shí)際上我們的系統(tǒng)從總體來說,是以select查詢操作居多,因此,索引的使用仍然對(duì)系統(tǒng)性能有大幅提升的作用。

2. 數(shù)據(jù)庫連接線程池緩存

如果,每一個(gè)數(shù)據(jù)庫操作請(qǐng)求都需要?jiǎng)?chuàng)建和銷毀連接的話,對(duì)數(shù)據(jù)庫來說,無疑也是一種巨大的開銷。為了減少這類型的開銷,可以在MySQL中配置thread_cache_size來表示保留多少線程用于復(fù)用。線程不夠的時(shí)候,再創(chuàng)建,空閑過多的時(shí)候,則銷毀。

其實(shí),還有更為激進(jìn)一點(diǎn)的做法,使用pconnect(數(shù)據(jù)庫長(zhǎng)連接),線程一旦創(chuàng)建在很長(zhǎng)時(shí)間內(nèi)都保持著。但是,在訪問量比較大,機(jī)器比較多的情況下,這種用法很可能會(huì)導(dǎo)致“數(shù)據(jù)庫連接數(shù)耗盡”,因?yàn)榻⑦B接并不回收,最終達(dá)到數(shù)據(jù)庫的max_connections(最大連接數(shù))。因此,長(zhǎng)連接的用法通常需要在CGI和MySQL之間實(shí)現(xiàn)一個(gè)“連接池”服務(wù),控制CGI機(jī)器“盲目”創(chuàng)建連接數(shù)。

建立數(shù)據(jù)庫連接池服務(wù),有很多實(shí)現(xiàn)的方式,PHP的話,我推薦使用swoole(PHP的一個(gè)網(wǎng)絡(luò)通訊拓展)來實(shí)現(xiàn)。

3. Innodb緩存設(shè)置(innodb_buffer_pool_size)

innodb_buffer_pool_size這是個(gè)用來保存索引和數(shù)據(jù)的內(nèi)存緩存區(qū),如果機(jī)器是MySQL獨(dú)占的機(jī)器,一般推薦為機(jī)器物理內(nèi)存的80%。在取表數(shù)據(jù)的場(chǎng)景中,它可以減少磁盤IO。一般來說,這個(gè)值設(shè)置越大,cache命中率會(huì)越高。

4. 分庫/分表/分區(qū)。

MySQL數(shù)據(jù)庫表一般承受數(shù)據(jù)量在百萬級(jí)別,再往上增長(zhǎng),各項(xiàng)性能將會(huì)出現(xiàn)大幅度下降,因此,當(dāng)我們預(yù)見數(shù)據(jù)量會(huì)超過這個(gè)量級(jí)的時(shí)候,建議進(jìn)行分庫/分表/分區(qū)等操作。最好的做法,是服務(wù)在搭建之初就設(shè)計(jì)為分庫分表的存儲(chǔ)模式,從根本上杜絕中后期的風(fēng)險(xiǎn)。不過,會(huì)犧牲一些便利性,例如列表式的查詢,同時(shí),也增加了維護(hù)的復(fù)雜度。不過,到了數(shù)據(jù)量千萬級(jí)別或者以上的時(shí)候,我們會(huì)發(fā)現(xiàn),它們都是值得的。?

二、 MySQL數(shù)據(jù)庫多臺(tái)服務(wù)搭建

1臺(tái)MySQL機(jī)器,實(shí)際上是高風(fēng)險(xiǎn)的單點(diǎn),因?yàn)槿绻鼟炝?,我們Web服務(wù)就不可用了。而且,隨著Web系統(tǒng)訪問量繼續(xù)增加,終于有一天,我們發(fā)現(xiàn)1臺(tái)MySQL服務(wù)器無法支撐下去,我們開始需要使用更多的MySQL機(jī)器。當(dāng)引入多臺(tái)MySQL機(jī)器的時(shí)候,很多新的問題又將產(chǎn)生。

1. 建立MySQL主從,從庫作為備份

這種做法純粹為了解決“單點(diǎn)故障”的問題,在主庫出故障的時(shí)候,切換到從庫。不過,這種做法實(shí)際上有點(diǎn)浪費(fèi)資源,因?yàn)閺膸鞂?shí)際上被閑著了。

2. MySQL讀寫分離,主庫寫,從庫讀。

兩臺(tái)數(shù)據(jù)庫做讀寫分離,主庫負(fù)責(zé)寫入類的操作,從庫負(fù)責(zé)讀的操作。并且,如果主庫發(fā)生故障,仍然不影響讀的操作,同時(shí)也可以將全部讀寫都臨時(shí)切換到從庫中(需要注意流量,可能會(huì)因?yàn)榱髁窟^大,把從庫也拖垮)。

3. 主主互備。

兩臺(tái)MySQL之間互為彼此的從庫,同時(shí)又是主庫。這種方案,既做到了訪問量的壓力分流,同時(shí)也解決了“單點(diǎn)故障”問題。任何一臺(tái)故障,都還有另外一套可供使用的服務(wù)。

不過,這種方案,只能用在兩臺(tái)機(jī)器的場(chǎng)景。如果業(yè)務(wù)拓展還是很快的話,可以選擇將業(yè)務(wù)分離,建立多個(gè)主主互備。

三、 MySQL數(shù)據(jù)庫機(jī)器之間的數(shù)據(jù)同步

每當(dāng)我們解決一個(gè)問題,新的問題必然誕生在舊的解決方案上。當(dāng)我們有多臺(tái)MySQL,在業(yè)務(wù)高峰期,很可能出現(xiàn)兩個(gè)庫之間的數(shù)據(jù)有延遲的場(chǎng)景。并且,網(wǎng)絡(luò)和機(jī)器負(fù)載等,也會(huì)影響數(shù)據(jù)同步的延遲。我們?cè)?jīng)遇到過,在日訪問量接近1億的特殊場(chǎng)景下,出現(xiàn),從庫數(shù)據(jù)需要很多天才能同步追上主庫的數(shù)據(jù)。這種場(chǎng)景下,從庫基本失去效用了。

于是,解決同步問題,就是我們下一步需要關(guān)注的點(diǎn)。

1. MySQL自帶多線程同步

MySQL5.6開始支持主庫和從庫數(shù)據(jù)同步,走多線程。但是,限制也是比較明顯的,只能以庫為單位。MySQL數(shù)據(jù)同步是通過binlog日志,主庫寫入到binlog日志的操作,是具有順序的,尤其當(dāng)SQL操作中含有對(duì)于表結(jié)構(gòu)的修改等操作,對(duì)于后續(xù)的SQL語句操作是有影響的。因此,從庫同步數(shù)據(jù),必須走單進(jìn)程。

2. 自己實(shí)現(xiàn)解析binlog,多線程寫入。

以數(shù)據(jù)庫的表為單位,解析binlog多張表同時(shí)做數(shù)據(jù)同步。這樣做的話,的確能夠加快數(shù)據(jù)同步的效率,但是,如果表和表之間存在結(jié)構(gòu)關(guān)系或者數(shù)據(jù)依賴的話,則同樣存在寫入順序的問題。這種方式,可用于一些比較穩(wěn)定并且相對(duì)獨(dú)立的數(shù)據(jù)表。

國(guó)內(nèi)一線互聯(lián)網(wǎng)公司,大部分都是通過這種方式,來加快數(shù)據(jù)同步效率。還有更為激進(jìn)的做法,是直接解析binlog,忽略以表為單位,直接寫入。但是這種做法,實(shí)現(xiàn)復(fù)雜,使用范圍就更受到限制,只能用于一些場(chǎng)景特殊的數(shù)據(jù)庫中(沒有表結(jié)構(gòu)變更,表和表之間沒有數(shù)據(jù)依賴等特殊表)。?

四、 在Web服務(wù)器和數(shù)據(jù)庫之間建立緩存

實(shí)際上,解決大訪問量的問題,不能僅僅著眼于數(shù)據(jù)庫層面。根據(jù)“二八定律”,80%的請(qǐng)求只關(guān)注在20%的熱點(diǎn)數(shù)據(jù)上。因此,我們應(yīng)該建立Web服務(wù)器和數(shù)據(jù)庫之間的緩存機(jī)制。這種機(jī)制,可以用磁盤作為緩存,也可以用內(nèi)存緩存的方式。通過它們,將大部分的熱點(diǎn)數(shù)據(jù)查詢,阻擋在數(shù)據(jù)庫之前。

1. 頁面靜態(tài)化

用戶訪問網(wǎng)站的某個(gè)頁面,頁面上的大部分內(nèi)容在很長(zhǎng)一段時(shí)間內(nèi),可能都是沒有變化的。例如一篇新聞報(bào)道,一旦發(fā)布幾乎是不會(huì)修改內(nèi)容的。這樣的話,通過CGI生成的靜態(tài)html頁面緩存到Web服務(wù)器的磁盤本地。除了第一次,是通過動(dòng)態(tài)CGI查詢數(shù)據(jù)庫獲取之外,之后都直接將本地磁盤文件返回給用戶。

在Web系統(tǒng)規(guī)模比較小的時(shí)候,這種做法看似完美。但是,一旦Web系統(tǒng)規(guī)模變大,例如當(dāng)我有100臺(tái)的Web服務(wù)器的時(shí)候。那樣這些磁盤文件,將會(huì)有100份,這個(gè)是資源浪費(fèi),也不好維護(hù)。這個(gè)時(shí)候有人會(huì)想,可以集中一臺(tái)服務(wù)器存起來,呵呵,不如看看下面一種緩存方式吧,它就是這樣做的。

2. 單臺(tái)內(nèi)存緩存

通過頁面靜態(tài)化的例子中,我們可以知道將“緩存”搭建在Web機(jī)器本機(jī)是不好維護(hù)的,會(huì)帶來更多問題(實(shí)際上,通過PHP的apc拓展,可通過Key/value操作Web服務(wù)器的本機(jī)內(nèi)存)。因此,我們選擇搭建的內(nèi)存緩存服務(wù),也必須是一個(gè)獨(dú)立的服務(wù)。

內(nèi)存緩存的選擇,主要有redis/memcache。從性能上說,兩者差別不大,從功能豐富程度上說,Redis更勝一籌。

3. 內(nèi)存緩存集群

當(dāng)我們搭建單臺(tái)內(nèi)存緩存完畢,我們又會(huì)面臨單點(diǎn)故障的問題,因此,我們必須將它變成一個(gè)集群。簡(jiǎn)單的做法,是給他增加一個(gè)slave作為備份機(jī)器。但是,如果請(qǐng)求量真的很多,我們發(fā)現(xiàn)cache命中率不高,需要更多的機(jī)器內(nèi)存呢?因此,我們更建議將它配置成一個(gè)集群。例如,類似redis cluster。

Redis cluster集群內(nèi)的Redis互為多組主從,同時(shí)每個(gè)節(jié)點(diǎn)都可以接受請(qǐng)求,在拓展集群的時(shí)候比較方便??蛻舳丝梢韵蛉我庖粋€(gè)節(jié)點(diǎn)發(fā)送請(qǐng)求,如果是它的“負(fù)責(zé)”的內(nèi)容,則直接返回內(nèi)容。否則,查找實(shí)際負(fù)責(zé)Redis節(jié)點(diǎn),然后將地址告知客戶端,客戶端重新請(qǐng)求。

對(duì)于使用緩存服務(wù)的客戶端來說,這一切是透明的。

內(nèi)存緩存服務(wù)在切換的時(shí)候,是有一定風(fēng)險(xiǎn)的。從A集群切換到B集群的過程中,必須保證B集群提前做好“預(yù)熱”(B集群的內(nèi)存中的熱點(diǎn)數(shù)據(jù),應(yīng)該盡量與A集群相同,否則,切換的一瞬間大量請(qǐng)求內(nèi)容,在B集群的內(nèi)存緩存中查找不到,流量直接沖擊后端的數(shù)據(jù)庫服務(wù),很可能導(dǎo)致數(shù)據(jù)庫宕機(jī))。

4. 減少數(shù)據(jù)庫“寫”

上面的機(jī)制,都實(shí)現(xiàn)減少數(shù)據(jù)庫的“讀”的操作,但是,寫的操作也是一個(gè)大的壓力。寫的操作,雖然無法減少,但是可以通過合并請(qǐng)求,來起到減輕壓力的效果。這個(gè)時(shí)候,我們就需要在內(nèi)存緩存集群和數(shù)據(jù)庫集群之間,建立一個(gè)修改同步機(jī)制。

先將修改請(qǐng)求生效在cache中,讓外界查詢顯示正常,然后將這些sql修改放入到一個(gè)隊(duì)列中存儲(chǔ)起來,隊(duì)列滿或者每隔一段時(shí)間,合并為一個(gè)請(qǐng)求到數(shù)據(jù)庫中更新數(shù)據(jù)庫。

除了上述通過改變系統(tǒng)架構(gòu)的方式提升寫的性能外,MySQL本身也可以通過配置參數(shù)innodb_flush_log_at_trx_commit來調(diào)整寫入磁盤的策略。如果機(jī)器成本允許,從硬件層面解決問題,可以選擇老一點(diǎn)的RAID(Redundant Arrays of independent Disks,磁盤列陣)或者比較新的SSD(Solid State Drives,固態(tài)硬盤)。

5. NoSQL存儲(chǔ)

不管數(shù)據(jù)庫的讀還是寫,當(dāng)流量再進(jìn)一步上漲,終會(huì)達(dá)到“人力有窮時(shí)”的場(chǎng)景。繼續(xù)加機(jī)器的成本比較高,并且不一定可以真正解決問題的時(shí)候。這個(gè)時(shí)候,部分核心數(shù)據(jù),就可以考慮使用NoSQL的數(shù)據(jù)庫。NoSQL存儲(chǔ),大部分都是采用key-value的方式,這里比較推薦使用上面介紹過Redis,Redis本身是一個(gè)內(nèi)存cache,同時(shí)也可以當(dāng)做一個(gè)存儲(chǔ)來使用,讓它直接將數(shù)據(jù)落地到磁盤。

這樣的話,我們就將數(shù)據(jù)庫中某些被頻繁讀寫的數(shù)據(jù),分離出來,放在我們新搭建的Redis存儲(chǔ)集群中,又進(jìn)一步減輕原來MySQL數(shù)據(jù)庫的壓力,同時(shí)因?yàn)镽edis本身是個(gè)內(nèi)存級(jí)別的Cache,讀寫的性能都會(huì)大幅度提升。

國(guó)內(nèi)一線互聯(lián)網(wǎng)公司,架構(gòu)上采用的解決方案很多是類似于上述方案,不過,使用的cache服務(wù)卻不一定是Redis,他們會(huì)有更豐富的其他選擇,甚至根據(jù)自身業(yè)務(wù)特點(diǎn)開發(fā)出自己的NoSQL服務(wù)。

6. 空節(jié)點(diǎn)查詢問題

當(dāng)我們搭建完前面所說的全部服務(wù),認(rèn)為Web系統(tǒng)已經(jīng)很強(qiáng)的時(shí)候。我們還是那句話,新的問題還是會(huì)來的。空節(jié)點(diǎn)查詢,是指那些數(shù)據(jù)庫中根本不存在的數(shù)據(jù)請(qǐng)求。例如,我請(qǐng)求查詢一個(gè)不存在人員信息,系統(tǒng)會(huì)從各級(jí)緩存逐級(jí)查找,最后查到到數(shù)據(jù)庫本身,然后才得出查找不到的結(jié)論,返回給前端。因?yàn)楦骷?jí)cache對(duì)它無效,這個(gè)請(qǐng)求是非常消耗系統(tǒng)資源的,而如果大量的空節(jié)點(diǎn)查詢,是可以沖擊到系統(tǒng)服務(wù)的。

在我曾經(jīng)的工作經(jīng)歷中,曾深受其害。因此,為了維護(hù)Web系統(tǒng)的穩(wěn)定性,設(shè)計(jì)適當(dāng)?shù)目展?jié)點(diǎn)過濾機(jī)制,非常有必要。

我們當(dāng)時(shí)采用的方式,就是設(shè)計(jì)一張簡(jiǎn)單的記錄映射表。將存在的記錄存儲(chǔ)起來,放入到一臺(tái)內(nèi)存cache中,這樣的話,如果還有空節(jié)點(diǎn)查詢,則在緩存這一層就被阻擋了。

異地部署(地理分布式)

完成了上述架構(gòu)建設(shè)之后,我們的系統(tǒng)是否就已經(jīng)足夠強(qiáng)大了呢?答案當(dāng)然是否定的哈,優(yōu)化是無極限的。Web系統(tǒng)雖然表面上看,似乎比較強(qiáng)大了,但是給予用戶的體驗(yàn)卻不一定是最好的。因?yàn)闁|北的同學(xué),訪問深圳的一個(gè)網(wǎng)站服務(wù),他還是會(huì)感到一些網(wǎng)絡(luò)距離上的慢。這個(gè)時(shí)候,我們就需要做異地部署,讓W(xué)eb系統(tǒng)離用戶更近。

一、 核心集中與節(jié)點(diǎn)分散

有玩過大型網(wǎng)游的同學(xué)都會(huì)知道,網(wǎng)游是有很多個(gè)區(qū)的,一般都是按照地域來分,例如廣東專區(qū),北京專區(qū)。如果一個(gè)在廣東的玩家,去北京專區(qū)玩,那么他會(huì)感覺明顯比在廣東專區(qū)卡。實(shí)際上,這些大區(qū)的名稱就已經(jīng)說明了,它的服務(wù)器所在地,所以,廣東的玩家去連接地處北京的服務(wù)器,網(wǎng)絡(luò)當(dāng)然會(huì)比較慢。

當(dāng)一個(gè)系統(tǒng)和服務(wù)足夠大的時(shí)候,就必須開始考慮異地部署的問題了。讓你的服務(wù),盡可能離用戶更近。我們前面已經(jīng)提到了Web的靜態(tài)資源,可以存放在CDN上,然后通過DNS/GSLB的方式,讓靜態(tài)資源的分散“全國(guó)各地”。但是,CDN只解決的靜態(tài)資源的問題,沒有解決后端龐大的系統(tǒng)服務(wù)還只集中在某個(gè)固定城市的問題。

這個(gè)時(shí)候,異地部署就開始了。異地部署一般遵循:核心集中,節(jié)點(diǎn)分散。

·?核心集中:實(shí)際部署過程中,總有一部分的數(shù)據(jù)和服務(wù)存在不可部署多套,或者部署多套成本巨大。而對(duì)于這些服務(wù)和數(shù)據(jù),就仍然維持一套,而部署地點(diǎn)選擇一個(gè)地域比較中心的地方,通過網(wǎng)絡(luò)內(nèi)部專線來和各個(gè)節(jié)點(diǎn)通訊。

·?節(jié)點(diǎn)分散:將一些服務(wù)部署為多套,分布在各個(gè)城市節(jié)點(diǎn),讓用戶請(qǐng)求盡可能選擇近的節(jié)點(diǎn)訪問服務(wù)。

例如,我們選擇在上海部署為核心節(jié)點(diǎn),北京,深圳,武漢,上海為分散節(jié)點(diǎn)(上海自己本身也是一個(gè)分散節(jié)點(diǎn))。我們的服務(wù)架構(gòu)如圖:

需要補(bǔ)充一下的是,上圖中上海節(jié)點(diǎn)和核心節(jié)點(diǎn)是同處于一個(gè)機(jī)房的,其他分散節(jié)點(diǎn)各自獨(dú)立機(jī)房。?

國(guó)內(nèi)有很多大型網(wǎng)游,都是大致遵循上述架構(gòu)。它們會(huì)把數(shù)據(jù)量不大的用戶核心賬號(hào)等放在核心節(jié)點(diǎn),而大部分的網(wǎng)游數(shù)據(jù),例如裝備、任務(wù)等數(shù)據(jù)和服務(wù)放在地區(qū)節(jié)點(diǎn)里。當(dāng)然,核心節(jié)點(diǎn)和地域節(jié)點(diǎn)之間,也有緩存機(jī)制。?

二、 節(jié)點(diǎn)容災(zāi)和過載保護(hù)

節(jié)點(diǎn)容災(zāi)是指,某個(gè)節(jié)點(diǎn)如果發(fā)生故障時(shí),我們需要建立一個(gè)機(jī)制去保證服務(wù)仍然可用。毫無疑問,這里比較常見的容災(zāi)方式,是切換到附近城市節(jié)點(diǎn)。假如系統(tǒng)的天津節(jié)點(diǎn)發(fā)生故障,那么我們就將網(wǎng)絡(luò)流量切換到附近的北京節(jié)點(diǎn)上??紤]到負(fù)載均衡,可能需要同時(shí)將流量切換到附近的幾個(gè)地域節(jié)點(diǎn)。另一方面,核心節(jié)點(diǎn)自身也是需要自己做好容災(zāi)和備份的,核心節(jié)點(diǎn)一旦故障,就會(huì)影響全國(guó)服務(wù)。

過載保護(hù),指的是一個(gè)節(jié)點(diǎn)已經(jīng)達(dá)到最大容量,無法繼續(xù)接接受更多請(qǐng)求了,系統(tǒng)必須有一個(gè)保護(hù)的機(jī)制。一個(gè)服務(wù)已經(jīng)滿負(fù)載,還繼續(xù)接受新的請(qǐng)求,結(jié)果很可能就是宕機(jī),影響整個(gè)節(jié)點(diǎn)的服務(wù),為了至少保障大部分用戶的正常使用,過載保護(hù)是必要的。

解決過載保護(hù),一般2個(gè)方向:

·?拒絕服務(wù),檢測(cè)到滿負(fù)載之后,就不再接受新的連接請(qǐng)求。例如網(wǎng)游登入中的排隊(duì)。

·?分流到其他節(jié)點(diǎn)。這種的話,系統(tǒng)實(shí)現(xiàn)更為復(fù)雜,又涉及到負(fù)載均衡的問題。

小結(jié)

Web系統(tǒng)會(huì)隨著訪問規(guī)模的增長(zhǎng),漸漸地從1臺(tái)服務(wù)器可以滿足需求,一直成長(zhǎng)為“龐然大物”的大集群。而這個(gè)Web系統(tǒng)變大的過程,實(shí)際上就是我們解決問題的過程。在不同的階段,解決不同的問題,而新的問題又誕生在舊的解決方案之上。

系統(tǒng)的優(yōu)化是沒有極限的,軟件和系統(tǒng)架構(gòu)也一直在快速發(fā)展,新的方案解決了老的問題,同時(shí)也帶來新的挑戰(zhàn)。

PHP并發(fā)怎么實(shí)現(xiàn)

并發(fā)指的是:相同的時(shí)間內(nèi),能處理更多的請(qǐng)求。

所以,解決方案就是優(yōu)化請(qǐng)求的響應(yīng)時(shí)間。

一般來說,最慢的在數(shù)據(jù)庫處理。首先優(yōu)化數(shù)據(jù)庫sql、其次優(yōu)化數(shù)據(jù)庫結(jié)構(gòu)設(shè)計(jì)、再次優(yōu)化程序代碼邏輯、最后優(yōu)化業(yè)務(wù)邏輯。

這些搞定之后,就需要其他東西配合。比如nosql,將數(shù)據(jù)庫熱查詢放入內(nèi)存緩存,將數(shù)據(jù)庫并發(fā)寫入用隊(duì)列。

最后就是硬件了,數(shù)據(jù)庫主從差不多了。

網(wǎng)站題目:php并發(fā)操作數(shù)據(jù)庫 php并發(fā)操作數(shù)據(jù)庫命令
文章鏈接:http://muchs.cn/article12/ddcicgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站制作、企業(yè)建站、做網(wǎng)站微信公眾號(hào)、網(wǎng)站策劃關(guān)鍵詞優(yōu)化

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)

成都定制網(wǎng)站建設(shè)