門戶網(wǎng)站開發(fā)_大型門戶網(wǎng)站建設(shè)結(jié)構(gòu)

千萬人同時(shí)訪問的網(wǎng)站，一般是有很多個(gè)數(shù)據(jù)庫同時(shí)工作，說明白一點(diǎn)就是數(shù)據(jù)庫集群和并發(fā)控制，這樣的網(wǎng)站實(shí)時(shí)性也是相對(duì)的。這些網(wǎng)站都有一些共同的特點(diǎn)：數(shù)據(jù)量大，在線人數(shù)多，并發(fā)請(qǐng)求多，pageview高，響應(yīng)速度快?？偨Y(jié)了一下各個(gè)大型門戶網(wǎng)站的架構(gòu)，主要提高效率及穩(wěn)定性的幾個(gè)地方包括：

1、程序

程序開發(fā)是一方面，系統(tǒng)架構(gòu)設(shè)計(jì)（硬件+網(wǎng)絡(luò)+軟件）是另一方面。

軟件架構(gòu)方面，做網(wǎng)站首先需要很多web服務(wù)器存儲(chǔ)靜態(tài)資源，比如圖片、視頻、靜態(tài)頁等，千萬不要把靜態(tài)資源和應(yīng)用服務(wù)器放在一起。

一個(gè)好的程序員寫出來的程序會(huì)非常簡潔、性能很好，一個(gè)初級(jí)程序員可能會(huì)犯很多低級(jí)錯(cuò)誤，這也是影響網(wǎng)站性能的原因之一。

網(wǎng)站要做到效率高，不光是程序員的事情，數(shù)據(jù)庫優(yōu)化、程序優(yōu)化這是必須的，在性能優(yōu)化上要數(shù)據(jù)庫和程序齊頭并進(jìn)！緩存也是兩方面同時(shí)入手。第一，數(shù)據(jù)庫緩存和數(shù)據(jù)庫優(yōu)化，這個(gè)由dba完成（而且這個(gè)有非常大的潛力可挖，只是由于我們都是程序員而忽略了他而已）。第二，程序上的優(yōu)化，這個(gè)非常的有講究，比如說重要一點(diǎn)就是要規(guī)范ＳＱＬ語句，少用in 多用or，多用preparestatement 存儲(chǔ)過程，另外避免程序冗余如查找數(shù)據(jù)少用雙重循環(huán)等。另外選用優(yōu)秀的開源框架加以支持，我個(gè)人認(rèn)為中后臺(tái)的支持是最最重要的，可以選取spring＋ibatis。因?yàn)閕batis直接操作SQL并有緩存機(jī)制。spring的好處就不用我多說了，ＩＯＣ的機(jī)制可以避免new對(duì)象，這樣也節(jié)省開銷。據(jù)我分析，絕大部分的開銷就是在NEW的時(shí)候和連接數(shù)據(jù)庫時(shí)候產(chǎn)生的，請(qǐng)盡量避免。另外可以用一些內(nèi)存測試工具來做一個(gè)demo說明hibernate和ibatis誰更快！前臺(tái)你想用什么就用什么，struts,webwork都成，如果覺得自己挺牛X可以試試用tapestry。

用數(shù)據(jù)庫也未必不能解決訪問量巨大所帶來的問題，作成靜態(tài)文件硬盤的尋址時(shí)間也未必少于數(shù)據(jù)庫的搜索時(shí)間，當(dāng)然對(duì)資料的索引要下一翻工夫。我自己覺得門戶往往也就是當(dāng)天、熱門的資料點(diǎn)擊率較高，將其做緩存最多也不過1~2G的數(shù)據(jù)量吧，

通常是采用oracle存儲(chǔ)過程＋2個(gè)weblogic，更新機(jī)制也幾乎一樣每簽發(fā)一條新聞，就會(huì)生成靜態(tài)頁面，然后發(fā)往前端的web服務(wù)器，前端的web都是做負(fù)載均衡的。另外還有定時(shí)程序，每5-15分鐘自動(dòng)生成一次。在發(fā)布新聞的同時(shí)將數(shù)據(jù)緩存。當(dāng)然緩存也不會(huì)越來越大，在個(gè)特定的時(shí)間段（如凌晨）刪除過期的數(shù)據(jù)。做一個(gè)大的網(wǎng)站遠(yuǎn)沒有想象中那么簡單，服務(wù)器基本就要百十個(gè)的。

這樣可以大大增加一臺(tái)計(jì)算機(jī)的處理速度，如果一臺(tái)機(jī)器處理不了，可以用httpserver集群來解決問題了。

2、網(wǎng)絡(luò)

中國的網(wǎng)絡(luò)分南電信和北網(wǎng)通，訪問的ip就要區(qū)分南北進(jìn)入不同的網(wǎng)絡(luò)。

3、集群

通常會(huì)使用CDN與GSbL與DNS負(fù)載均衡技術(shù)，每個(gè)地區(qū)一組前臺(tái)服務(wù)器群，比如新浪和搜狐，而網(wǎng)易，百度使用了DNS負(fù)載均衡技術(shù)，每個(gè)頻道一組前臺(tái)服務(wù)器；一搜使用了DNS負(fù)載技術(shù)，所有頻道共用一組前臺(tái)服務(wù)器集群。

網(wǎng)站使用基于Linux集群的負(fù)載均衡，失敗恢復(fù)，包括應(yīng)用服務(wù)器和數(shù)據(jù)庫服務(wù)器，基于linux-ha的服務(wù)狀態(tài)檢測及高可用化。

應(yīng)用服務(wù)器集群可以采用apache+tomcat集群和weblogic集群等；web服務(wù)器集群可以用反向代理，也可以用NAT的方式，或者多域名解析都可以；Squid也可以，方法很多，可以根據(jù)情況選擇。

4、數(shù)據(jù)庫

因?yàn)槭乔f人同時(shí)訪問的網(wǎng)站，所以一般是有很多個(gè)數(shù)據(jù)庫同時(shí)工作的，說明白一點(diǎn)就是數(shù)據(jù)庫集群和并發(fā)控制，數(shù)據(jù)分布到地理位置不同的數(shù)據(jù)中心，以免發(fā)生斷電事故。

主流的數(shù)據(jù)庫有Sun的是MySQL和Oracle。

Oracle是一款優(yōu)秀的、廣泛采用的商業(yè)數(shù)據(jù)庫管理軟件。有很強(qiáng)大的功能和安全性，可以處理相對(duì)海量的數(shù)據(jù)。而MySQL是一款非常優(yōu)秀的開源數(shù)據(jù)庫管理軟件，非常適合用多臺(tái)pC Server組成多點(diǎn)的存儲(chǔ)節(jié)點(diǎn)陣列(這里我所指的不是MySQL自身提供的集群功能)，每單位的數(shù)據(jù)存儲(chǔ)成本也非常的低廉。用多臺(tái)pC Server安裝MySQL組成一個(gè)存儲(chǔ)節(jié)點(diǎn)陣列，通過MySQL自身的Replication或者應(yīng)用自身的處理，可以很好的保證容錯(cuò)(允許部分節(jié)點(diǎn)失效)，保證應(yīng)用的健壯性和可靠性?？梢赃@么說，在關(guān)系數(shù)據(jù)庫管理系統(tǒng)的選擇上，可以考慮應(yīng)用本身的情況來決定。

MySQL數(shù)據(jù)庫服務(wù)器的master-slave模式，利用數(shù)據(jù)庫服務(wù)器在主從服務(wù)器間進(jìn)行同步，應(yīng)用只把數(shù)據(jù)寫到主服務(wù)器，而讀數(shù)據(jù)時(shí)則根據(jù)負(fù)載選擇一臺(tái)從服務(wù)器或者主服務(wù)器來讀取，將數(shù)據(jù)按不同策略劃分到不同的服務(wù)器（組）上，分散數(shù)據(jù)庫壓力。

另外還有一點(diǎn)的是，那些網(wǎng)站的靜態(tài)化網(wǎng)頁并不是真的，而是通過動(dòng)態(tài)網(wǎng)頁與靜態(tài)網(wǎng)頁網(wǎng)址交換所出現(xiàn)的假象，這可以用urlrewrite這樣的開源網(wǎng)址映射器實(shí)現(xiàn)。這樣的網(wǎng)站實(shí)時(shí)性也是相對(duì)的，因?yàn)樵跀?shù)據(jù)庫復(fù)制數(shù)據(jù)的時(shí)候有一個(gè)過程，一般在技術(shù)上可以用到hibernate和ecache，但是如果要使網(wǎng)站工作地更好，可以使用EJb和websphere，weblogic這樣大型的服務(wù)器來支持，并且要用oracle這樣的大型數(shù)據(jù)庫。

大型門戶網(wǎng)站不建議使用Mysql數(shù)據(jù)庫，除非你對(duì)Mysql數(shù)據(jù)的優(yōu)化非常熟悉。Mysql數(shù)據(jù)庫服務(wù)器的master-slave模式，利用數(shù)據(jù)庫服務(wù)器在主從服務(wù)器間進(jìn)行同步，應(yīng)用只把數(shù)據(jù)寫到主服務(wù)器，而讀數(shù)據(jù)時(shí)則根據(jù)負(fù)載選擇一臺(tái)從服務(wù)器或者主服務(wù)器來讀取，將數(shù)據(jù)按不同策略劃分到不同的服務(wù)器（組）上，分散數(shù)據(jù)庫壓力。

大型網(wǎng)站要用oracle，數(shù)據(jù)方面操作盡量多用存儲(chǔ)過程，絕對(duì)提升性能；同時(shí)要讓DbA對(duì)數(shù)據(jù)庫進(jìn)行優(yōu)化，優(yōu)化后的數(shù)據(jù)庫與沒優(yōu)化的有天壤之別；同時(shí)還可以擴(kuò)展分布式數(shù)據(jù)庫，以后這方面的研究會(huì)越來越多；

5、頁面

從開始就考慮使用虛擬存儲(chǔ)/簇文件系統(tǒng)。它能讓你大量并行IO訪問，而且不需要任何重組就能夠增加所需要的磁盤。

頁面數(shù)據(jù)調(diào)用更要認(rèn)真設(shè)計(jì)，一些數(shù)據(jù)查詢可以不通過數(shù)據(jù)庫的方式，實(shí)時(shí)性要求不高的可以使用lucene來實(shí)現(xiàn)，即使有實(shí)時(shí)性的要求也可以用lucene（基于Java的全文索引/檢索引擎），lucene+compass還是非常優(yōu)秀的。

新聞?lì)惖木W(wǎng)站可以用靜態(tài)頁存儲(chǔ)，采用定時(shí)更新機(jī)制減輕服務(wù)器負(fù)擔(dān)；首頁每個(gè)小模塊可以使用oscache緩存，這樣不用每次都拉數(shù)據(jù)。

前端的基于靜態(tài)頁面緩存的web加速器，主要應(yīng)用有squid等。squid 將大部分靜態(tài)資源(圖片，js，css等）緩存起來，直接返回給訪問者，減少應(yīng)用服務(wù)器的負(fù)載

網(wǎng)站的靜態(tài)化網(wǎng)頁并不是真的，而是通過動(dòng)態(tài)網(wǎng)頁與靜態(tài)網(wǎng)頁網(wǎng)址交換做出現(xiàn)的假象，這可以用urlrewrite這樣的開源網(wǎng)址映射器實(shí)現(xiàn)，后綴名為htm或者h(yuǎn)tml并不能說明程序生成了靜態(tài)頁面，可能是通過url重寫來實(shí)現(xiàn)的，為的只不過是在搜索引擎中提升自己網(wǎng)站的覆蓋面積罷了。

生成靜態(tài)頁面的服務(wù)器和www服務(wù)器是兩組不同的服務(wù)器，頁面生成后才會(huì)到www服務(wù)器，一部分?jǐn)?shù)據(jù)庫并不是關(guān)系數(shù)據(jù)庫，這樣更適合信息衍生，www、mail服務(wù)器、路由器多，主要用負(fù)載平衡解決訪問瓶頸。

◎ 靜態(tài)頁面的缺點(diǎn)：

1) 增加了程序的復(fù)雜度

2) 不利于管理資料

3) 速度不是最快

4) 傷硬盤

6、緩存

從一開始就應(yīng)該使用緩存，高速緩存是一個(gè)更好的地方存儲(chǔ)臨時(shí)數(shù)據(jù)，比如Web站點(diǎn)上跟蹤一個(gè)特定用戶的會(huì)話產(chǎn)生的臨時(shí)文件，就不再需要記錄到數(shù)據(jù)庫里。

不能用lucene實(shí)現(xiàn)的可以用緩存，分布式緩存可以用memcached，如果有錢的話用10來臺(tái)機(jī)器做緩存，> 10G的存儲(chǔ)量相信存什么都?jí)蛄?；如果沒錢的話可以在頁面緩存和數(shù)據(jù)緩存上下功夫，多用OSCACHE和EHCACHE，SWARMCACHE也可以，不過據(jù)說同步性不是很好；

可以使用Memcache（分布式緩存）進(jìn)行緩存，用大內(nèi)存把這些不變的數(shù)據(jù)全都緩存起來，而當(dāng)修改時(shí)就通知cache過期，memcache是LJ開發(fā)的一款分布式緩存產(chǎn)品，很多大型網(wǎng)站在應(yīng)用，我們可以把Cache Server與App Server裝在一起。因?yàn)镃ache Server對(duì)CpU消耗不大，而有了Cache Server的支援，App Server對(duì)內(nèi)存要求也不是太高，所以可以和平共處，更有效的利用資源。

單機(jī)內(nèi)存緩存、文件緩存、數(shù)據(jù)庫緩存等的策略都是可以很簡單的實(shí)現(xiàn)的，例如可以使用微軟的Caching Application block，但如何在集群環(huán)境中使多個(gè)緩存、多層緩存并保存同步是個(gè)重大問題。大型網(wǎng)站一般都使用緩存服務(wù)器群，并使用多層緩存。業(yè)內(nèi)最常用的有：

Squid cache，Squid服務(wù)器群，把它作為web服務(wù)器端前置cache服務(wù)器緩存相關(guān)請(qǐng)求來提高web服務(wù)器速度。Squid將大部分靜態(tài)資源(圖片，js，css等）緩存起來，直接返回給訪問者，減少應(yīng)用服務(wù)器的負(fù)載

memcache，memcache服務(wù)器群，一款分布式緩存產(chǎn)品，很多大型網(wǎng)站在應(yīng)用; 它可以應(yīng)對(duì)任意多個(gè)連接，使用非阻塞的網(wǎng)絡(luò)IO。由于它的工作機(jī)制是在內(nèi)存中開辟一塊空間，然后建立一個(gè)Hashtable，Memcached自管理這些Hashtable。因?yàn)橥ǔ＞W(wǎng)站應(yīng)用程序中最耗費(fèi)時(shí)間的任務(wù)是數(shù)據(jù)在數(shù)據(jù)庫的檢索，而多個(gè)用戶查詢相同的SQL時(shí)，數(shù)據(jù)庫壓力會(huì)增大，而通過memcache的查詢緩存命中，數(shù)據(jù)直接從memcache內(nèi)存中取，每次緩存命中將替換到數(shù)據(jù)庫服務(wù)器的一次往返，到達(dá)數(shù)據(jù)庫服務(wù)器的請(qǐng)求更少，間接地提高了數(shù)據(jù)庫服務(wù)器的性能，從而使應(yīng)用程序運(yùn)行得更快。它通過基于內(nèi)存緩存對(duì)象來減少數(shù)據(jù)庫查詢的方式改善網(wǎng)站系統(tǒng)的反應(yīng)，其最吸引人的一個(gè)特性就是支持分布式部署。有關(guān)memcache，以下文章可以參考：參考1，參考2，參考3官方站點(diǎn)。

e-Accelerator，比較特殊，pHp的緩存和加速器。是一個(gè)免費(fèi)開源的pHp加速、優(yōu)化、編譯和動(dòng)態(tài)緩存的項(xiàng)目，它可以通過緩存pHp代碼編譯后的結(jié)果來提高pHp腳本的性能，使得一向很復(fù)雜和離我們很遠(yuǎn)的 pHp腳本編譯問題完全得到解決。通過使用eAccelerator，可以優(yōu)化你的pHp代碼執(zhí)行速度，降低服務(wù)器負(fù)載，可以提高pHp應(yīng)用執(zhí)行速度最高達(dá)10倍。

7、服務(wù)器操作系統(tǒng)與Web服務(wù)器

最底層首先是操作系統(tǒng)。好的操作系統(tǒng)能提高好的性能、穩(wěn)定性和安全性，而這些對(duì)大型網(wǎng)站的性能、安全性和穩(wěn)定性都是至關(guān)重要的。

淘寶網(wǎng)（阿里巴巴）: Linux操作系統(tǒng) + Web 服務(wù)器: Apache

新浪：FreebSD + Web 服務(wù)器：Apache

Yahoo：FreebSD + Web 服務(wù)器：自己的

Google: 部分Linux + Web 服務(wù)器：自己的

百度：Linux + Web 服務(wù)器: Apache

網(wǎng)易：Linux + Web 服務(wù)器: Apache

ebay: Windows Server 2003/8 (大量) + Web 服務(wù)器：Microsoft IIS

MySpace: Windows Server 2003/8 + Web 服務(wù)器：Microsoft IIS

由此可見，開源操作系統(tǒng)做Web應(yīng)用是選已經(jīng)是一個(gè)既定事實(shí)。在開源操作系統(tǒng)中Linux和FreebSD差不太多，很難說哪個(gè)一定比另外一個(gè)要優(yōu)秀很多、能夠全面的超越對(duì)手，應(yīng)該是各有所長。但熟悉Linux的技術(shù)人員更多些，利于系統(tǒng)管理、優(yōu)化等，所以Linux使用更廣泛。而Windows Server和IIS雖然有的網(wǎng)站使用，但不開源，而且需要購買微軟的一系列應(yīng)用產(chǎn)品，限制了其使用?？傊?，開源操作系統(tǒng)，尤其是Linux做Web應(yīng)用是選已經(jīng)是一個(gè)既定事實(shí)。

常用的系統(tǒng)架構(gòu)是:

Linux + Apache + pHp + MySQL

Linux + Apache + Java (WebSphere) + Oracle

Windows Server 2003/2008 + IIS + C#/ASp.NET + 數(shù)據(jù)庫

以上一些不太成熟的想法，可以從某一個(gè)層次開始，逐步細(xì)化，把產(chǎn)品的性能指標(biāo)提高上去。

本文標(biāo)題：門戶網(wǎng)站開發(fā)_大型門戶網(wǎng)站建設(shè)結(jié)構(gòu)
標(biāo)題網(wǎng)址：http://www.muchs.cn/news41/291691.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號(hào)、建站公司、服務(wù)器托管、微信小程序、網(wǎng)站維護(hù)、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)