大型互聯(lián)網站架構的特點概述

1. 大型網站系統(tǒng)的特點

• 高并發(fā)、大流量
• 高可用
• 海量數(shù)據(jù)
• 用戶分布廣泛，網絡情況復雜
• 安全環(huán)境惡劣
• 需求快速變更，迭代頻繁
• 漸進式發(fā)展

2. 大型網站架構演化歷程

2.1. 初始階段架構

問題：網站運營初期，訪問用戶少，一臺服務器綽綽有余。

特征：應用程序、數(shù)據(jù)庫、文件等所有的資源都在一臺服務器上。

描述：通常服務器操作系統(tǒng)使用 linux，應用程序使用 PHP 開發(fā)，然后部署在 Apache 上，數(shù)據(jù)庫使用 Mysql，通俗稱為 LAMP。匯集各種免費開源軟件以及一臺廉價服務器就可以開始系統(tǒng)的發(fā)展之路了。

2.2. 應用服務和數(shù)據(jù)服務分離

問題：越來越多的用戶訪問導致性能越來越差，越來越多的數(shù)據(jù)導致存儲空間不足，一臺服務器已不足以支撐。

特征：應用服務器、數(shù)據(jù)庫服務器、文件服務器分別獨立部署。

描述：三臺服務器對性能要求各不相同：應用服務器要處理大量業(yè)務邏輯，因此需要更快更強大的 CPU；數(shù)據(jù)庫服務器需要快速磁盤檢索和數(shù)據(jù)緩存，因此需要更快的硬盤和更大的內存；文件服務器需要存儲大量文件，因此需要更大容量的硬盤。

2.3. 使用緩存改善性能

問題：隨著用戶逐漸增多，數(shù)據(jù)庫壓力太大導致訪問延遲。

特征：由于網站訪問和財富分配一樣遵循二八定律：80% 的業(yè)務訪問集中在 20% 的數(shù)據(jù)上。將數(shù)據(jù)庫中訪問較集中的少部分數(shù)據(jù)緩存在內存中，可以減少數(shù)據(jù)庫的訪問次數(shù)，降低數(shù)據(jù)庫的訪問壓力。

描述：緩存分為兩種：應用服務器上的本地緩存和分布式緩存服務器上的遠程緩存，本地緩存訪問速度更快，但緩存數(shù)據(jù)量有限，同時存在與應用程序爭用內存的情況。分布式緩存可以采用集群方式，理論上可以做到不受內存容量限制的緩存服務。

2.4. 使用應用服務器集群

問題：使用緩存后，數(shù)據(jù)庫訪問壓力得到有效緩解。但是單一應用服務器能夠處理的請求連接有限，在訪問高峰期，成為瓶頸。

特征：多臺服務器通過負載均衡同時向外部提供服務，解決單一服務器處理能力和存儲空間不足的問題。

描述：使用集群是系統(tǒng)解決高并發(fā)、海量數(shù)據(jù)問題的常用手段。通過向集群中追加資源，提升系統(tǒng)的并發(fā)處理能力，使得服務器的負載壓力不再成為整個系統(tǒng)的瓶頸。

2.5. 數(shù)據(jù)庫讀寫分離

問題：網站使用緩存后，使絕大部分數(shù)據(jù)讀操作訪問都可以不通過數(shù)據(jù)庫就能完成，但是仍有一部分讀操作和全部的寫操作需要訪問數(shù)據(jù)庫，在網站的用戶達到一定規(guī)模后，數(shù)據(jù)庫因為負載壓力過高而成為網站的瓶頸。

特征：目前大部分的主流數(shù)據(jù)庫都提供主從熱備功能，通過配置兩臺數(shù)據(jù)庫主從關系，可以將一臺數(shù)據(jù)庫服務器的數(shù)據(jù)更新同步到一臺服務器上。網站利用數(shù)據(jù)庫的主從熱備功能，實現(xiàn)數(shù)據(jù)庫讀寫分離，從而改善數(shù)據(jù)庫負載壓力。

描述：應用服務器在寫操作的時候，訪問主數(shù)據(jù)庫，主數(shù)據(jù)庫通過主從復制機制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫。這樣當應用服務器在讀操作的時候，訪問從數(shù)據(jù)庫獲得數(shù)據(jù)。為了便于應用程序訪問讀寫分離后的數(shù)據(jù)庫，通常在應用服務器端使用專門的數(shù)據(jù)訪問模塊，使數(shù)據(jù)庫讀寫分離的對應用透明。

2.6. 反向代理和 CDN 加速

問題：中國網絡環(huán)境復雜，不同地區(qū)的用戶訪問網站時，速度差別也極大。

特征：采用 CDN 和反向代理加快系統(tǒng)的靜態(tài)資源訪問速度。

描述：CDN 和反向代理的基本原理都是緩存，區(qū)別在于 CDN 部署在網絡提供商的機房，使用戶在請求網站服務時，可以從距離自己最近的網絡提供商機房獲取數(shù)據(jù)；而反向代理則部署在網站的中心機房，當用戶請求到達中心機房后，首先訪問的服務器時反向代理服務器，如果反向代理服務器中緩存著用戶請求的資源，就將其直接返回給用戶。

2.7. 分布式文件系統(tǒng)和分布式數(shù)據(jù)庫

問題：隨著大型網站業(yè)務持續(xù)增長，數(shù)據(jù)庫經過讀寫分離，從一臺服務器拆分為兩臺服務器，依然不能滿足需求。

特征：數(shù)據(jù)庫采用分布式數(shù)據(jù)庫，文件系統(tǒng)采用分布式文件系統(tǒng)。

描述：分布式數(shù)據(jù)庫是數(shù)據(jù)庫拆分的最后方法，只有在單表數(shù)據(jù)規(guī)模非常龐大的時候才使用。不到不得已時，更常用的數(shù)據(jù)庫拆分手段是業(yè)務分庫，將不同的業(yè)務數(shù)據(jù)庫部署在不同的物理服務器上。

2.8. 使用 NoSQL 和搜索引擎

問題：隨著網站業(yè)務越來越復雜，對數(shù)據(jù)存儲和檢索的需求也越來越復雜。

特征：系統(tǒng)引入 NoSQL 數(shù)據(jù)庫及搜索引擎。

描述：NoSQL 數(shù)據(jù)庫及搜索引擎對可伸縮的分布式特性具有更好的支持。應用服務器通過統(tǒng)一數(shù)據(jù)訪問模塊訪問各種數(shù)據(jù)，減輕應用程序管理諸多數(shù)據(jù)源的麻煩。

2.9. 業(yè)務拆分

問題：大型網站的業(yè)務場景日益復雜，分為多個產品線。

特征：采用分而治之的手段將整個網站業(yè)務分成不同的產品線。系統(tǒng)上按照業(yè)務進行拆分改造，應用服務器按照業(yè)務區(qū)分進行分別部署。

描述：應用之間可以通過超鏈接建立關系，也可以通過消息隊列進行數(shù)據(jù)分發(fā)，當然更多的還是通過訪問同一個數(shù)據(jù)存儲系統(tǒng)來構成一個關聯(lián)的完整系統(tǒng)。

縱向拆分：將一個大應用拆分為多個小應用，如果新業(yè)務較為獨立，那么就直接將其設計部署為一個獨立的 Web 應用系統(tǒng)?？v向拆分相對較為簡單，通過梳理業(yè)務，將較少相關的業(yè)務剝離即可。

橫向拆分：將復用的業(yè)務拆分出來，獨立部署為分布式服務，新增業(yè)務只需要調用這些分布式服務橫向拆分需要識別可復用的業(yè)務，設計服務接口，規(guī)范服務依賴關系。

2.10. 分布式服務

問題：隨著業(yè)務越拆越小，存儲系統(tǒng)越來越龐大，應用系統(tǒng)整體復雜程度呈指數(shù)級上升，部署維護越來越困難。由于所有應用要和所有數(shù)據(jù)庫系統(tǒng)連接，最終導致數(shù)據(jù)庫連接資源不足，拒絕服務。

特征：公共業(yè)務提取出來，獨立部署。由這些可復用的業(yè)務連接數(shù)據(jù)庫，通過分布式服務提供共用業(yè)務服務。

3. 大型網站架構模式

3.1. 分層

大型網站架構中常采用分層結構，將軟件系統(tǒng)分為應用層、服務層、數(shù)據(jù)層：

• 應用層 - 負責具體業(yè)務和視圖展示。如網站首頁及搜索輸入和結果展示。
• 服務層 - 為應用層提供服務支持。如用戶管理服務、購物車服務等。
• 應用層 - 提供數(shù)據(jù)存儲訪問服務。如數(shù)據(jù)庫、緩存、文件、搜索引擎等。

分層架構的約束：禁止跨層次的調用（應用層直接調用數(shù)據(jù)層）及逆向調用（數(shù)據(jù)層調用服務層，或者服務層調用應用層）。

分層結構內部還可以繼續(xù)分層，如應用可以再細分為視圖層和業(yè)務邏輯層；服務層也可以細分為數(shù)據(jù)接口層和邏輯處理層。

3.2. 分割

將不同的功能和服務分割開來，包裝成高內聚低耦合的模塊單元。這有助于軟件的開發(fā)和維護，便于不同模塊的分布式部署，提高網站的并發(fā)處理能力和功能擴展能力。

3.3. 分布式

大于大型網站，分層和分割的一個主要目的是為了切分后的模塊便于分布式部署，即將不同模塊部署在不同的服務器上，通過遠程調用協(xié)同工作。

分布式意味可以用更多的機器工作，那么 CPU、內存、存儲資源也就更豐富，能夠處理的并發(fā)訪問和數(shù)據(jù)量就越大，進而能夠為更多的用戶提供服務。

分布式也引入了一些問題：

• 服務調用必須通過網絡，網絡延遲會影響性能
• 服務器越多，宕機概率也越大，是可用性降低
• 數(shù)據(jù)一致性非常困難，分布式事務也難以保證
• 網站依賴錯綜復雜，開發(fā)管理維護困難

常用的分布式方案：

• 分布式應用和服務
• 分布式靜態(tài)資源
• 分布式數(shù)據(jù)和存儲
• 分布式計算

3.4. 集群

集群即多臺服務器部署相同應用構成一個集群，通過負載均衡設備共同對外提供服務。

集群需要具備伸縮性和故障轉移機制：伸縮性是指可以根據(jù)用戶訪問量向集群添加或減少機器；故障轉移是指，當某臺機器出現(xiàn)故障時，負載均衡設備或失效轉移機制將請求轉發(fā)到集群中的其他機器上，從而不影響用戶使用。

3.5. 緩存

緩存就是將數(shù)據(jù)存放在距離最近的位置以加快處理速度。緩存是改善軟件性能的第一手段。

網站應用中，緩存除了可以加快數(shù)據(jù)訪問速度以外，還可以減輕后端應用和數(shù)據(jù)存儲的負載壓力。

常見緩存手段：

• CDN
• 反向代理
• 本地緩存
• 分布式緩存

使用緩存有兩個前提：

• 數(shù)據(jù)訪問熱點不均勻，頻繁訪問的數(shù)據(jù)應該放在緩存中
• 數(shù)據(jù)在某個時間段有效，不過很快過期，否則緩存數(shù)據(jù)會因已經失效而產生臟讀

3.6. 異步

軟件發(fā)展的一個重要目標和驅動力是降低軟件耦合性。事物之間直接關系越少，彼此影響就越小，也就更容易獨立發(fā)展。

大型網站架構中，系統(tǒng)解耦的手段除了分層、分割、分布式等，還有一個重要手段——異步。

業(yè)務間的消息傳遞不是同步調用，而是將一個業(yè)務操作拆分成多階段，每個階段間通過共享數(shù)據(jù)的方式異步執(zhí)行進行協(xié)作。

• 在單一服務器內部可通過多線程共享內存隊列的方式實現(xiàn)異步，處在業(yè)務操作前面的線程將操作輸出到隊列，后面的線程從隊列中讀取數(shù)據(jù)進行處理；
• 在分布式系統(tǒng)中，多個服務器集群通過分布式消息隊列實現(xiàn)異步。

異步架構是典型的生產者消費模式，二者不存在直接調用。異步消息隊列還有如下特性：

• 提高系統(tǒng)可用性
• 加快響應速度
• 消除并發(fā)訪問高峰

3.7. 冗余

大型網站，出現(xiàn)服務器宕機是必然事件。要保證部分服務器宕機的情況下網站依然可以繼續(xù)服務，不丟失數(shù)據(jù)，就需要一定程度的服務器冗余運行，數(shù)據(jù)冗余備份。這樣當某臺服務器宕機是，可以將其上的服務和數(shù)據(jù)訪問轉移到其他機器上。

訪問和負載很小的服務也必須部署 至少兩臺服務器構成一個集群，目的就是通過冗余實現(xiàn)服務高可用。數(shù)據(jù)除了定期備份，存檔保存，實現(xiàn) 冷備份 外；為了保證在線業(yè)務高可用，還需要對數(shù)據(jù)庫進行主從分離，實時同步實現(xiàn) 熱備份。

為了抵御地震、海嘯等不可抗因素導致的網站完全癱瘓，某些大型網站會對整個數(shù)據(jù)中心進行備份，全球范圍內部署 災備數(shù)據(jù)中心。網站程序和數(shù)據(jù)實時同步到多個災備數(shù)據(jù)中心。

3.8. 自動化

大型網站架構的自動化架構設計主要集中在發(fā)布運維方面：

• 發(fā)布過程自動化
• CDN
• 應用服務器
• 本地緩存
• 分布式緩存
• 異步消息隊列
• 集群
• 代碼層面：使用多線程、改善內存管理
• 數(shù)據(jù)庫
• 索引
• 數(shù)據(jù)庫緩存
• SQL 優(yōu)化

4.2. 可用性

可用性指部分服務器出現(xiàn)故障時，還能否對用戶提供服務

• 冗余自動化：通過預發(fā)布驗證、自動化測試、自動化發(fā)布、灰度發(fā)布等手段，減少將故障引入線上環(huán)境的可能
• 通過負載均衡設備建立集群共同對外提供服務
• 數(shù)據(jù)存儲在多臺服務器，互相備份

4.3. 伸縮性

衡量伸縮的標準就是是否可以用多臺服務器構建集群，是否容易向集群中增刪服務器節(jié)點。增刪服務器節(jié)點后是否可以提供和之前無差別的服務。集群中可容納的總服務器數(shù)是否有限制。

• 應用服務器集群 - 只要服務器上保存數(shù)據(jù)，則所有服務器都是對等的，通過負載均衡設備向集群中不斷加入服務器即可
• 緩存服務器集群 - 加入新的服務器可能會導致緩存路由失效，進而導致集群中的大部分緩存數(shù)據(jù)都無法訪問。雖然緩存數(shù)據(jù)可以通過數(shù)據(jù)庫重新加載，但是如果應用嚴重依賴緩存，可能會導致網站崩潰。需要改進緩存路由算法保證緩存數(shù)據(jù)的可訪問性。
• 關系型數(shù)據(jù)庫集群 - 關系型數(shù)據(jù)庫雖然支持數(shù)據(jù)復制，主從熱備等機制，但是很難做到大規(guī)模集群的可伸縮性，因此關系型數(shù)據(jù)庫的集群伸縮性方案必須在數(shù)據(jù)庫之外實現(xiàn)，通過路由分區(qū)等手段將部署有多個數(shù)據(jù)庫的服務器組成一個集群。
• NOSql 數(shù)據(jù)庫集群 - 由于先天就是為了應對海量數(shù)據(jù)而產生，因此對伸縮性的支持通常都非常好。

4.4. 擴展性

衡量擴展性的標準就是增加新的業(yè)務產品時，是否可以實現(xiàn)對現(xiàn)有產品透明無影響，不需要任何改動或很少改動，既有功能就可以上線新產品。主要手段有：事件驅動架構和分布式服務。

4.5. 安全性

安全性保護網站不受惡意攻擊，保護網站重要數(shù)據(jù)不被竊取。

歡迎工作一到五年的Java工程師朋友們加入Java程序員開發(fā)： 721575865

群內提供免費的Java架構學習資料（里面有高可用、高并發(fā)、高性能及分布式、Jvm性能調優(yōu)、Spring源碼，MyBatis，Netty,Redis,Kafka,Mysql,Zookeeper,Tomcat,Docker,Dubbo,Nginx等多個知識點的架構資料）合理利用自己每一分每一秒的時間來學習提升自己，不要再用"沒有時間“來掩飾自己思想上的懶惰！趁年輕，使勁拼，給未來的自己一個交代！

網頁標題：大型互聯(lián)網站架構的特點概述
當前URL：http://www.muchs.cn/news11/99061.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供定制網站、品牌網站建設、網頁設計公司、企業(yè)建站、微信小程序、App開發(fā)

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)