Hadoop集群如何搭建-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動態(tài)BGP香港云服務器提供商，新人活動買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設、高性價比蕭山網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式蕭山網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設找我們，業(yè)務覆蓋蕭山地區(qū)。費用合理售后完善，十載實體公司更值得信賴。

這期內(nèi)容當中小編將會給大家?guī)碛嘘P(guān)Hadoop集群如何搭建，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

1、發(fā)行版本說明

Hadoop 發(fā)行版本分為開源社區(qū)版和商業(yè)版。社區(qū)版是指由 Apache 軟件基金會維護的版本，是官方維護的版本體系。 商業(yè)版 Hadoop 是指由第三方商業(yè)公司在社區(qū)版 Hadoop 基礎(chǔ)上進行了一些修改、整合以及各個服務組件兼容性測試而發(fā)行的版本，比較著名的有   cloudera的 CDH、mapR、hortonWorks 等。

我們等會要學習的是商業(yè)版：cloudera 的 CDH。如未說明都指 CDH版本。Hadoop 的版本很特殊，是由多條分支并行的發(fā)展著。大的來看分為3個大的系列版本：1.x、2.x、3.x。Hadoop1.0 由一個分布式文件系統(tǒng) HDFS和一個離線計算框架 MapReduce 組成。

Hadoop 2.0 則包含一個支持 NameNode 橫向擴展的 HDFS，一個資源管理系統(tǒng)YARN 和一個運行在 YARN 上的離線計算框架 MapReduce。相比于 Hadoop1.0， Hadoop 2.0 功能更加強大，且具有更好的擴展性、性能，并支持多種計算框架。Hadoop 3.0 相比之前的 Hadoop 2.0 有一系列的功能增強。目前已經(jīng)趨于穩(wěn)定，但是整個生態(tài)圈體系升級整合還未完畢，所以商用還值得商榷。 我們要講的Hadoop集群搭建過程，使用的是當前 2 系列最穩(wěn)定版本：CDH 2.6.0-CDH14.0。

2、Hadoop集群簡介

Hadoop集群具體來說包含兩個集群：HDFS 集群和 YARN 集群，兩者邏輯上分離，但物理上常在一起。HDFS集群負責海量數(shù)據(jù)的存儲，集群中的角色主要有：NameNode 、 DataNode 、 SecondaryNameNode。YARN 集群負責海量數(shù)據(jù)運算時的資源調(diào)度，集群中的角色主要有： ResourceManager、NodeManager。

那 mapreduce是什么呢？它其實是一個分布式運算編程框架，是應用程序開發(fā)包，由用戶按照編程規(guī)范進行程序開發(fā)，后打包運行在 HDFS 集群上，并且受到 YARN 集群的資源調(diào)度管理。Hadoop 部署方式分三種，Standalone mode（獨立模式）、Pseudo-Distributed mode（偽分布式模式）、Cluster mode（群集模式），其中前兩種都是在單機部署。獨立模式又稱為單機模式，僅 1 個機器運行 1 個 java 進程，主要用于調(diào)試。偽分布模式也是在 1 個機器上運行 HDFS 的 NameNode 和 DataNode、YARN 的ResourceManger 和 NodeManager，但分別啟動單獨的 java 進程，主要用于調(diào)試。集群模式主要用于生產(chǎn)環(huán)境部署。會使用 N 臺主機組成一個 Hadoop 集群。這種部署模式下，主節(jié)點和從節(jié)點會分開部署在不同的機器上。我們以 3 節(jié)點為例進行搭建，角色分配如下：

node-01   NameNode                         DataNode         ResourceManager

node-02   DataNode                  NodeManager          SecondaryNameNode

node-03   DataNode         NodeManager

3、服務器準備

本案例使用 VMware Workstation Pro 虛擬機創(chuàng)建虛擬服務器來搭建 HADOOP 集群，所用軟件及版本如下：

VMware Workstation Pro 12.0

Centos     6.9   64bit

4、網(wǎng)絡環(huán)境準備

采用 NAT 方式聯(lián)網(wǎng)。如果創(chuàng)建的是桌面版的 Centos 系統(tǒng)，可以在安裝完畢后通過圖形頁面進行編輯。如果是 mini 版本的，可通過編輯 ifcfg-eth*配置文件進行配置。 注意 BOOTPROTO、GATEWAY、NETMASK。

5、服務器系統(tǒng)設置

同步時間

#同步集群各機器時間

date -s "2019-03-03 03:03:03" yum install ntpdate

#網(wǎng)絡同步時間

ntpdate cn.pool.ntp.org 

設置主機名

vi /etc/sysconfig/network NETWORKING=yes

HOSTNAME=node-1  

配置 IP、主機名映射vi /etc/hosts

192.168.33.101     node-1

192.168.33.102     node-2

192.168.33.103     node-3

配置 ssh 免密登陸

#生成 ssh 免登陸密鑰

ssh-keygen -t rsa （四個回車）

執(zhí)行完這個命令后，會生成 id_rsa（私鑰）、id_rsa.pub（公鑰）

將公鑰拷貝到要免密登陸的目標機器上

ssh-copy-id node-2

配置防火墻

#查看防火墻狀態(tài)

service iptables status

#關(guān)閉防火墻

service iptables stop

#查看防火墻開機啟動狀態(tài)

chkconfig iptables --list

#關(guān)閉防火墻開機啟動

chkconfig iptables off

6、JDK 環(huán)境安裝

#上傳 jdk 安裝包 

jdk-8u65-linux-x64.tar.gz

#解壓安裝包

tar zxvf jdk-8u65-linux-x64.tar.gz 

#配置環(huán)境變量 /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#刷新配置

source /etc/profile

上述就是小編為大家分享的Hadoop集群如何搭建了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設公司行業(yè)資訊頻道。

分享標題：Hadoop集群如何搭建-創(chuàng)新互聯(lián)
瀏覽地址：http://muchs.cn/article26/coshcg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設計公司、Google、品牌網(wǎng)站建設、靜態(tài)網(wǎng)站、網(wǎng)站策劃、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)