部署Ganglia監(jiān)控Hadoop&Hbase-創(chuàng)新互聯(lián)

在運維hadoop的時候，經(jīng)常會遇到一些性能問題。而性能問題，是無法簡單通過web頁面和log分析出來的。需要很多方面的指標。而Ganglia就是比較實用個監(jiān)控工具之一。

創(chuàng)新互聯(lián)公司技術(shù)團隊10多年來致力于為客戶提供成都網(wǎng)站建設(shè)、成都網(wǎng)站制作、品牌網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、搜索引擎SEO優(yōu)化等服務(wù)。經(jīng)過多年發(fā)展，公司擁有經(jīng)驗豐富的技術(shù)團隊，先后服務(wù)、推廣了近千家網(wǎng)站，包括各類中小企業(yè)、企事單位、高校等機構(gòu)單位。

部署Ganglia，百度一下，很多人已經(jīng)分享很多。結(jié)合眾人的經(jīng)驗。并加入自己安裝過程中遇到的問題，整理出本文。

1. 準備了2臺機器

Server
192.168.0.11(gmetad,web,gmond-master)
Client
192.168.0.12(gmond)

2. Server端需要安裝的軟件包

● epel包的安裝：yum install -y epel-release(解決不能yum安裝某些安裝包的問題)

● gmetad的安裝：yum install -y ganglia-gmetad ganglia-devel

● gmond的安裝：yum install -y ganglia-gmond ganglia-gmond-python

● rrdtool的安裝：yum install -y rrdtool rrdtool-devel

● httpd服務(wù)器的安裝：yum install -y httpd

● ganglia-web及php安裝：yum install -y ganglia-web php

● 其他依賴包的安裝：yum install -y apr-devel zlib-devel libconfuse-devel expat-devel pcre-devel

3. 被監(jiān)測節(jié)點需要安裝的軟件包

● epel包的安裝：yum install -y epel-release(解決不能yum安裝某些安裝包的問題)

● gmond的安裝：yum install -y ganglia-gmond ganglia-gmond-python

4. 安裝目錄說明

● ganglia配置文件目錄：/etc/ganglia

● rrd數(shù)據(jù)庫存放目錄：/var/lib/ganglia/rrds

● httpd主站點目錄：/var/www/html

● ganglia-web安裝目錄：/usr/share/ganglia

● ganglia-web配置目錄：/etc/httpd/conf.d/ganglia.conf

5. 關(guān)閉SELINUX

vi /etc/selinux/config
把SELINUX=enforcing改成SELINUX=disable；
需要重啟機器。

6. 關(guān)閉防火墻

# chkconfig iptables off
# chkconfig iptables --list
iptables        0:off   1:off   2:off   3:off   4:off   5:off   6:off

7. 配置/etc/ganglia/gmetad.conf

修改data_source，改成：

data_source "testcluster” 192.168.0.11:8650 #gmetad采集數(shù)據(jù)的目標gmond地址和端口(tcp_accept_channel)

8. 配置gmond

/etc/ganglia/gmond.conf，修改以下內(nèi)容(這個gmond節(jié)點作為收集節(jié)點，這個節(jié)點可以是多個，最后需要在gmetad.conf上進行配置)：

cluster {
name = "testcluster" #設(shè)置集群的名稱
#owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
#發(fā)送到目標gmond的地址和端口（單播）
udp_send_channel {
host=192.168.0.11
port = 8649
ttl = 1
}
#接收udp的端口
udp_recv_channel {
port = 8649
}
#gmetad如果過來收集數(shù)據(jù)請求的端口
tcp_accept_channel {
port = 8650
gzip_output = no
}

9. 配置web

軟連接方式

>ln -s /usr/share/ganglia /var/www/ganglia

也可以將/usr/share/ganglia的內(nèi)容直接復(fù)制到/var/www/ganglia

10. 修改/etc/httpd/conf.d/ganglia.conf，改成：

Alias /ganglia /usr/share/ganglia
<Location /ganglia>
Order deny,allow
Allow from all
</Location>

11. 啟動服務(wù)

#service gmetad start
#service gmond start
#service httpd restart

至此，Ganglia的server端已經(jīng)部署完成。

配置客戶端：

12. 客戶端只要配置gmond即可(需要先安裝yum -y install ganglia-gmond ganglia-gmond-python)

/etc/ganglia/gmond.conf，修改以下內(nèi)容(這個gmond節(jié)點作為收集節(jié)點，這個節(jié)點可以是多個，最后需要在gmetad.conf上進行配置)：

cluster {
name = "testcluster" #設(shè)置集群的名稱
#owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
#發(fā)送到目標gmond的地址和端口（單播）
udp_send_channel {
host=192.168.248.130
port = 8649
ttl = 1
}
#接收udp的端口
udp_recv_channel {
port = 8649
}
#gmetad如果過來收集數(shù)據(jù)請求的端口
tcp_accept_channel {
port = 8650
gzip_output = no
}

13. 配置HDFS、YARN集成Ganglia

修改hadoop-metrics2.properties

# for Ganglia 3.1 support
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
# default for supportsparse is false
*.sink.ganglia.supportsparse=true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
namenode.sink.ganglia.servers=192.168.0.11:8649 # host請參考gmond.conf中的定義
datanode.sink.ganglia.servers=192.168.0.11:8649
resourcemanager.sink.ganglia.servers=192.168.0.11:8649
nodemanager.sink.ganglia.servers=192.168.0.11:8649
mrappmaster.sink.ganglia.servers=192.168.0.11:8649
jobhistoryserver.sink.ganglia.servers=192.168.0.11:8649

注意下面參數(shù)，如果不過來container的信息收集，可能會造成數(shù)據(jù)量過大，ganglia的磁盤空間迅速占滿。
# Switch off container metrics
*.source.filter.class=org.apache.hadoop.metrics2.filter.GlobFilter
nodemanager.*.source.filter.exclude=*ContainerResource*

14.  HBase集成Ganglia

修改hadoop-metrics2-hbase.properties

*.sink.file*.class=org.apache.hadoop.metrics2.sink.FileSink
# default sampling period
*.period=10
*.source.filter.class=org.apache.hadoop.metrics2.filter.GlobFilter
*.record.filter.class=${*.source.filter.class}
*.metric.filter.class=${*.source.filter.class}
hbase.sink.ganglia.record.filter.exclude=*Regions*
hbase.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
hbase.sink.ganglia.tagsForPrefix.jvm=ProcessName
*.sink.ganglia.period=20
hbase.sink.ganglia.servers=192.168.0.11:8649 # host請參考gmond.conf中的定義

15. 拷貝配置文件到每一個需要監(jiān)控的機器上

將hadoop-metrics2.properties拷貝到$HADOOP_HOME/etc/hadoop/目錄下

將hadoop-metrics2-hbase.properties拷貝到$HBASE_HOME/conf目錄下

重新啟動hadoop&hbase軟件，令其生效。

16. 啟動監(jiān)控端的gmond

service gmond start

問題匯總：

1. 客戶端已經(jīng)有信息傳遞，能看到整體CPU load等信息

2. 但是各個節(jié)點的信息都是空的，顯示“no matching metrics detected or rrds not readable”

3. 查看RRDs信息

# cd /var/lib/ganglia/rrds

# ll

drwxr-xr-x 5 ganglia ganglia  4096 Jan 17 08:50 azcluster

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:59 __SummaryInfo__

4. 文件夾名是小寫的

# ll

drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com

drwxr-xr-x 2 ganglia ganglia  4096 Jan 17 08:47 azcbetaldapl01.envazure.com

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__

5. 數(shù)據(jù)都已經(jīng)傳遞過來了

# ls azcbetadnl05.envazure.com/|more

boottime.rrd

bytes_in.rrd

bytes_out.rrd

cpu_aidle.rrd

disk_free_absolute_data1.rrd

disk_free_absolute_data2.rrd

disk_free_absolute_data3.rrd

disk_free_absolute_data4.rrd

disk_free_absolute_data5.rrd

disk_free_absolute_dev_shm.rrd

disk_free_absolute_mnt_resource.rrd

......

6. 原因：/var/lib/ganglia/rrds中對各個節(jié)點相應(yīng)的文件夾是小寫，如果節(jié)點的hostname中包含大寫字母的話，這樣就發(fā)現(xiàn)找不到數(shù)據(jù)了。

解決方法：修改gmetad.conf，將case_sensitive_hostnames的值設(shè)置為1

# ls /etc/ganglia/

drwxr-xr-x 2 root root 4096 Jan 17 08:36 conf.d

-rw-r--r-- 1 root root  171 Oct 12  2015 conf.php

-rw-r--r-- 1 root root 9834 Jan 17 08:44 gmetad.conf

-rw-r--r-- 1 root root 8756 Jan 17 08:45 gmond.conf

# vi gmetad.conf

# In earlier versions of gmetad, hostnames were handled in a case

# sensitive manner

# If your hostname directories have been renamed to lower case,

# set this option to 0 to disable backward compatibility.

# From version 3.2, backwards compatibility will be disabled by default.

# default: 1  (for gmetad < 3.2)

# default: 0  (for gmetad >= 3.2)

case_sensitive_hostnames 1  #設(shè)置為1，則不會將大寫變成小寫

7. 修改完之后，到RRDs目錄下查看結(jié)果。

# cd /var/lib/ganglia/rrds/azcluster

沒有什么變化

# ls -al

drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com

drwxr-xr-x 2 ganglia ganglia  4096 Jan 17 08:47 azcbetaldapl01.envazure.com

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__

8. 重啟gmetad，讓配置生效

# service gmetad restart
Shutting down GANGLIA gmetad:                              [  OK  ]
Starting GANGLIA gmetad:                                   [  OK  ]

9. 可以看到大寫主機名的文件夾已經(jīng)被創(chuàng)建

# ls -al
drwxr-xr-x 2 ganglia ganglia 32768 Jan 18 02:09 azcbetadnl05.envazure.com
drwxr-xr-x 2 ganglia ganglia  4096 Jan 18 02:10 AZcbetadnL05.envazure.com    <<<<<<
drwxr-xr-x 2 ganglia ganglia  4096 Jan 17 08:47 azcbetaldapl01.envazure.com
drwxr-xr-x 2 ganglia ganglia  4096 Jan 18 02:10 AZcbetaLDAPL01.envazure.com    <<<<<<
drwxr-xr-x 2 ganglia ganglia 36864 Jan 18 02:09 __SummaryInfo__

10. 可以看到信息已經(jīng)過來了

# ls -l AZcbetaLDAPL01.envazure.com
-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 boottime.rrd
-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_in.rrd
-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_out.rrd
-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 cpu_aidle.rrd

11. 再看看網(wǎng)頁顯示，已經(jīng)正常了。

參考文檔

http://blog.csdn.net/sinat_18497785/article/details/52259757

https://www.cnblogs.com/hequn/articles/3490780.html

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

分享文章：部署Ganglia監(jiān)控Hadoop&amp;Hbase-創(chuàng)新互聯(lián)
URL鏈接：http://muchs.cn/article4/dpdcoe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、云服務(wù)器、企業(yè)網(wǎng)站制作、移動網(wǎng)站建設(shè)、網(wǎng)站設(shè)計公司、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)