為什么說(shuō)使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段-創(chuàng)新互聯(lián)

下文給大家?guī)?lái)使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段解答，希望能夠給大家在實(shí)際運(yùn)用中帶來(lái)一定的幫助，負(fù)載均衡涉及的東西比較多，理論也不多，網(wǎng)上有很多書(shū)籍，今天我們就用創(chuàng)新互聯(lián)在行業(yè)內(nèi)累計(jì)的經(jīng)驗(yàn)來(lái)做一個(gè)解答。

創(chuàng)新互聯(lián)公司服務(wù)熱線：13518219792，為您提供成都網(wǎng)站建設(shè)網(wǎng)頁(yè)設(shè)計(jì)及定制高端網(wǎng)站建設(shè)服務(wù)，創(chuàng)新互聯(lián)公司網(wǎng)頁(yè)制作領(lǐng)域10年，包括柴油發(fā)電機(jī)等多個(gè)方面擁有豐富的網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)，選擇創(chuàng)新互聯(lián)公司，為企業(yè)錦上添花。

前言

使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段。當(dāng)一臺(tái)云服務(wù)器的處理能力、存儲(chǔ)空間不足時(shí)，不要企圖去換更強(qiáng)大的服務(wù)器，對(duì)大型網(wǎng)站而言，不管多么強(qiáng)大的服務(wù)器，都滿足不了網(wǎng)站持續(xù)增長(zhǎng)的業(yè)務(wù)需求。這種情況下，更恰當(dāng)?shù)淖龇ㄊ窃黾右慌_(tái)服務(wù)器分擔(dān)原有服務(wù)器的訪問(wèn)及存儲(chǔ)壓力。通過(guò)負(fù)載均衡調(diào)度服務(wù)器，將來(lái)自瀏覽器的訪問(wèn)請(qǐng)求分發(fā)到應(yīng)用服務(wù)器集群中的任何一臺(tái)服務(wù)器上，如果有更多的用戶，就在集群中加入更多的應(yīng)用服務(wù)器，使應(yīng)用云服務(wù)器的負(fù)載壓力不再成為整個(gè)網(wǎng)站的瓶頸。

環(huán)境準(zhǔn)備

192.168.0.221：nginx + keepalived  master

192.168.0.222：nginx + keepalived  backup

192.168.0.223：tomcat

192.168.0.224：tomcat

虛擬ip(VIP):192.168.0.200，對(duì)外提供服務(wù)的ip，也可稱作浮動(dòng)ip

各個(gè)組件之間的關(guān)系圖如下：

tomcat做應(yīng)用服務(wù)器

tomcat的安裝不在本博客范圍之內(nèi)，具體可參考virtualBox安裝centos，并搭建tomcat，tomcat的webapps下記得放自己的應(yīng)用，我的是myWeb，如果大家也用我的myWeb，那么index.jsp中的ip需要換成自己的

將192.168.0.223、192.168.0.224上的tomcat啟動(dòng)起來(lái)，tomcat的路徑可能和我的不一致，需要寫成自己的

# cd /usr/local/tomcat7/bin

# ./startup.sh

訪問(wèn)myWeb如下

nginx做負(fù)載均衡

nginx的安裝，本文就不講述了，具體可參考LVS + keepalived + nginx + tomcat 實(shí)現(xiàn)主從熱備 + 負(fù)載均衡

nginx.conf內(nèi)容如下

復(fù)制代碼

user  root;       #運(yùn)行用戶
worker_processes  1;     #啟動(dòng)進(jìn)程,通常設(shè)置成和cpu的數(shù)量相等

#全局錯(cuò)誤日志及PID文件
error_log  /usr/local/nginx/logs/error.log;
error_log  /usr/local/nginx/logs/error.log  notice;
error_log  /usr/local/nginx/logs/error.log  info;
pid     /usr/local/nginx/logs/nginx.pid;

工作模式及連接數(shù)上線

events
{
use epoll;       #epoll是多路復(fù)用IO(I/O Multiplexing)中的一種方式,但是僅用于linux2.6以上內(nèi)核,可以大大提高nginx的性能

worker_connections  1024;   #單個(gè)后臺(tái)worker process進(jìn)程的大并發(fā)鏈接數(shù)

}

#設(shè)定http服務(wù)器,利用它的反向代理功能提供負(fù)載均衡支持
http
{
include    mime.types;
default_type  application/octet-stream;

#設(shè)定請(qǐng)求緩沖
server_names_hash_bucket_size  128;
client_header_buffer_size  32K;
large_client_header_buffers  4 32k;
# client_max_body_size  8m;

#sendfile 指令指定 nginx 是否調(diào)用 sendfile 函數(shù)（zero copy 方式）來(lái)輸出文件，對(duì)于普通應(yīng)用，
#必須設(shè)為 on,如果用來(lái)進(jìn)行下載等應(yīng)用磁盤IO重負(fù)載應(yīng)用，可設(shè)置為 off，以平衡磁盤與網(wǎng)絡(luò)I/O處理速度，降低系統(tǒng)的uptime.
sendfile     on;
tcp_nopush   on;
tcp_nodelay   on;

#連接超時(shí)時(shí)間
keepalive_timeout  65;

#開(kāi)啟gzip壓縮，降低傳輸流量
gzip  on;
gzip_min_length   1k;
gzip_buffers   4 16k;
gzip_http_version  1.1;
gzip_comp_level  2;
gzip_types  text/plain application/x-javascript text/css  application/xml;
gzip_vary on;

#添加tomcat列表，真實(shí)應(yīng)用服務(wù)器都放在這
upstream tomcat_pool 
{
  #server tomcat地址:端口號(hào) weight表示權(quán)值，權(quán)值越大，被分配的幾率越大;

server 192.168.0.223:8080 weight=4 max_fails=2 fail_timeout=30s;
server 192.168.0.224:8080 weight=4 max_fails=2 fail_timeout=30s;
}

server 
{
   listen    80;     #監(jiān)聽(tīng)端口   
   server_name  localhost;

#默認(rèn)請(qǐng)求設(shè)置
location / {
   proxy_pass http://tomcat_pool;   #轉(zhuǎn)向tomcat處理
}

#所有的jsp頁(yè)面均由tomcat處理
location ~ \.(jsp|jspx|dp)?$
{
   proxy_set_header Host $host;
   proxy_set_header X-Real-IP $remote_addr;
   proxy_pass http://tomcat_pool;   #轉(zhuǎn)向tomcat處理
}

#所有的靜態(tài)文件直接讀取不經(jīng)過(guò)tomcat,nginx自己處理
location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$ 
{ 
   expires  30d;
}
location ~ .*\.(js|css)?$
{
  expires  1h;
}

#定義錯(cuò)誤提示頁(yè)面
   error_page  500 502 503 504  /50x.html;
   location = /50x.html {
     root  html;
   }

}

}

復(fù)制代碼

主從nginx的配置文件完全一樣，nginx.conf配置可復(fù)雜可簡(jiǎn)單，大家根據(jù)自己的情況自行配置，照搬上述配置也是可以的。

配置好后，啟動(dòng)nginx，路徑要寫自己的

# cd /usr/local/nginx/sbin

# ./nginx

訪問(wèn)nginx，效果如下：

兩臺(tái)nginx服務(wù)器服務(wù)正常，此時(shí)是沒(méi)有主從之分的，兩者級(jí)別一樣高，當(dāng)配置keepalived之后就有了主從之分了。
keepalived實(shí)現(xiàn)nginx高可用(HA)

keepalived的安裝本文就不講述了，具體可參考主從熱備+負(fù)載均衡（LVS + keepalived）

keepalived作用其實(shí)在第一張圖中已經(jīng)有所體現(xiàn)，主要起到兩個(gè)作用：實(shí)現(xiàn)VIP到本地ip的映射； 以及檢測(cè)nginx狀態(tài)。

master上的keepalived.conf內(nèi)容如下：

復(fù)制代碼

global_defs {
notification_email {997914490@qq.com
br/>997914490@qq.com<br/}
notification_email_from sns-lvs@gmail.com
smtp_server smtp.hysec.com
smtp_connection_timeout 30
router_id nginx_backup        # 設(shè)置nginx backup的id，在一個(gè)網(wǎng)絡(luò)應(yīng)該是唯一的
}
vrrp_script chk_http_port {
script "/usr/local/src/check_nginx_pid.sh"
interval 2              #（檢測(cè)腳本執(zhí)行的間隔）
weight 2
}
vrrp_instance VI_1 {
state BACKUP             # 指定keepalived的角色，MASTER為主，BACKUP為備
interface eth0            # 當(dāng)前進(jìn)行vrrp通訊的網(wǎng)絡(luò)接口卡(當(dāng)前centos的網(wǎng)卡)
virtual_router_id 66         # 虛擬路由編號(hào)，主從要一直
priority 99             # 優(yōu)先級(jí)，數(shù)值越大，獲取處理請(qǐng)求的優(yōu)先級(jí)越高
advert_int 1             # 檢查間隔，默認(rèn)為1s(vrrp組播周期秒數(shù))
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_http_port          #（調(diào)用檢測(cè)腳本）
}
virtual_ipaddress {
192.168.0.200          # 定義虛擬ip(VIP)，可多設(shè)，每行一個(gè)
}
}

復(fù)制代碼

nginx檢測(cè)腳本check_nginx_pid.sh內(nèi)容如下：

復(fù)制代碼

#!/bin/bash
A=ps -C nginx --no-header |wc -l     
if [ $A -eq 0 ];then               
/usr/local/nginx/sbin/nginx         #重啟nginx
if [ ps -C nginx --no-header |wc -l -eq 0 ];then   #nginx重啟失敗，則停掉keepalived服務(wù)，進(jìn)行VIP轉(zhuǎn)移
killall keepalived           
fi
fi

復(fù)制代碼

啟動(dòng)keepalived

# service keepalived start

訪問(wèn)VIP，效果如下：

我們來(lái)看下keepalived的日志信息

master（192.168.0.221）：

backup（192.168.0.222）：

當(dāng)我們把master上的keepalived停掉（模擬宕機(jī)），再來(lái)看下keepalived日志

原master（192.168.0.221）：

原backup（192.168.0.222）：

通過(guò)VIP可以正常訪問(wèn)服務(wù)，前端請(qǐng)求感受不到后端nginx的切換；重新喚醒原master（192.168.0.221）的測(cè)試這里就不進(jìn)行了，大家自行測(cè)試
注意點(diǎn)

1、執(zhí)行腳本時(shí)報(bào)錯(cuò)：/bin/sh^M: bad interpreter: 沒(méi)有那個(gè)文件或目錄

因?yàn)椴僮飨到y(tǒng)是windows，我在windows下編輯的腳本，所以有可能有不可見(jiàn)字符。腳本文件是DOS格式的, 即每一行的行尾以回車符和換行符來(lái)標(biāo)識(shí), 其ASCII碼分別是0x0D, 0x0A。可以有很多種辦法看這個(gè)文件是DOS格式的還是UNIX格式的, 還是MAC格式的

解決方法：

vim filename

:set ff? #可以看到dos或unix的字樣. 如果的確是dos格式的。

:set ff=unix #把它強(qiáng)制為unix格式的, 然后存盤退出。

再次運(yùn)行腳本。

從windows編輯文件再拷貝到linux時(shí)要特別注意，另外，腳本需要賦予可執(zhí)行權(quán)限才能執(zhí)行，可執(zhí)行文件的一種直觀表現(xiàn)就是文件本身呈綠色。

2、負(fù)載均衡最好進(jìn)行多瀏覽器測(cè)試，有些瀏覽器會(huì)緩存，會(huì)產(chǎn)生沒(méi)有負(fù)載均衡的效果，例如我這次測(cè)試中谷歌瀏覽器就出現(xiàn)了類似的情況(還沒(méi)搞清楚是否是緩存的原因)，火狐，360、IE瀏覽器都是正常的負(fù)載均衡效果。

3、請(qǐng)求走向

訪問(wèn)虛擬IP(VIP)，keepalived將請(qǐng)求映射到本地nginx，nginx將請(qǐng)求轉(zhuǎn)發(fā)至tomcat，例如：

keepalived服務(wù)器的ip情況

VIP總會(huì)在keepalived服務(wù)器中的某一臺(tái)上，也只會(huì)在其中的某一臺(tái)上；VIP綁定的服務(wù)器上的nginx就是master，當(dāng)VIP所在的服務(wù)器宕機(jī)了，keepalived會(huì)將VIP轉(zhuǎn)移到backup上，并將backup提升為master。

4、VIP也稱浮動(dòng)ip，是公網(wǎng)ip，與域名進(jìn)行映射，對(duì)外提供服務(wù)； 其他ip一般而言都是內(nèi)網(wǎng)ip， 外部是直接訪問(wèn)不了的

看了以上關(guān)于使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段，如果大家還有什么地方需要了解的可以在創(chuàng)新互聯(lián)行業(yè)資訊里查找自己感興趣的或者找我們的專業(yè)技術(shù)工程師解答的，創(chuàng)新互聯(lián)技術(shù)工程師在行業(yè)內(nèi)擁有十幾年的經(jīng)驗(yàn)了。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章題目：為什么說(shuō)使用集群是網(wǎng)站解決高并發(fā)、海量數(shù)據(jù)問(wèn)題的常用手段-創(chuàng)新互聯(lián)
瀏覽路徑：http://www.muchs.cn/article46/epdhg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、網(wǎng)站策劃、虛擬主機(jī)、App設(shè)計(jì)、建站公司、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)