Hadoop完全分布式部署-創(chuàng)新互聯(lián)

Hadoop完全分布式部署

成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設、高性價比邗江網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式邗江網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設找我們，業(yè)務覆蓋邗江地區(qū)。費用合理售后完善，十余年實體公司更值得信賴。

一、概述

概念：

是一個可靠的、可伸縮的、分布式計算的開源軟件。
是一個框架，允許跨越計算機集群的大數(shù)據(jù)及分布式處理，使用簡單的編程模型（mapreduce）
可從單臺服務器擴展至幾千臺主機，每個節(jié)點提供了計算和存儲功能。
不依賴于硬件處理HA，在應用層面實現(xiàn)

特性4V：

volumn   體量大
velocity   速度快
variaty 樣式多
value  價值密度低

模塊：

hadoop common  公共類庫，支持其他模塊
HDFS       hadoop distributed file system，hadoop分布式文件系統(tǒng)
Hadoop yarn   作業(yè)調度和資源管理框架
hadoop mapreduce   基于yarn系統(tǒng)的大數(shù)據(jù)集并行處理技術。

二、安裝部署

2.1 主機規(guī)劃

主機名稱	IP地址	安裝節(jié)點應用
hadoop-1	172.20.2.203	namenode/datanode/nodemanager
hadoop-2	172.20.2.204	secondarynode/datanode/nodemanager
hadoop-3	172.20.2.205	resourcemanager/datanode/nodemanager

2.2 部署

2.2.1 基礎環(huán)境配置

a.配置java環(huán)境

yum install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel -y
cat >/etc/profile.d/java.sh<<EOFexport JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-3.b14.el6_9.x86_64export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar 
export PATH=\$PATH:\$JAVA_HOME/binEOFsource /etc/profile.d/java.sh

b.修改主機名添加hosts

hostname hadoop-1cat >>/etc/hosts<<EOF172.20.2.203    hadoop-1172.20.2.204    hadoop-2172.20.2.205    hadoop-3EOF

c.創(chuàng)建用戶及目錄

useradd hadoop
echo "hadoopwd" |passwd hadoop --stdinmkdir -pv /data/hadoop/hdfs/{nn,snn,dn}chown -R hadoop:hadoop /data/hadoop/hdfs/mkdir -p /var/log/hadoop/yarnmkdir -p /dbapps/hadoop/logschmod g+w /dbapps/hadoop/logs/chown -R hadoop.hadoop /dbapps/hadoop/

d.配置hadoop環(huán)境變量

cat>/etc/profile.d/hadoop.sh<<EOFexport HADOOP_PREFIX=/usr/local/hadoopexport PATH=\$PATH:\$HADOOP_PREFIX/bin:\$HADOOP_PREFIX/sbinexport HADOOP_COMMON_HOME=\${HADOOP_PREFIX}export HADOOP_HDFS_HOME=\${HADOOP_PREFIX}export HADOOP_MAPRED_HOME=\${HADOOP_PREFIX}export HADOOP_YARN_HOME=\${HADOOP_PREFIX}EOFsource /etc/profile.d/hadoop.sh

e.下載并解壓軟件包

mkdir /software 
cd /software 
wget -c http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz
tar -zxf hadoop-2.6.5.tar.gz -C /usr/localln -sv /usr/local/hadoop-2.6.5/ /usr/local/hadoop
chown hadoop.hadoop /usr/local/hadoop-2.6.5/ -R

f.hadoop用戶免密鑰配置

su - hadoop
ssh-keygen -t rsafor num in `seq 1 3`;do ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub hadoop@hadoop-$num;done

2.3 配置hadoop

2.3.1 配置各節(jié)點

配置master節(jié)點

hadoop-1節(jié)點運行namenode/datanode/nodemanager,修改hadoop-1的hadoop配置文件

core-site.xml（定義namenode節(jié)點）

cat>/usr/local/hadoop/etc/hadoop/core-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop-1:8020</value><final>true</final></property></configuration>EOF

hdfs-site.xml修改replication為data節(jié)點數(shù)目  （定義secondary節(jié)點）

cat >/usr/local/hadoop/etc/hadoop/hdfs-site.xml <<EOF
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop-2:50090</value></property><property><name>dfs.replication</name><value>2</value></property><property><name>dfs.namenode.name.dir</name><value>file:///data/hadoop/hdfs/nn</value></property><property><name>dfs.datanode.data.dir</name><value>file:///data/hadoop/hdfs/dn</value></property><property><name>fs.checkpoint.dir</name><value>file:///data/hadoop/hdfs/snn</value></property><property><name>fs.checkpoint.edits.dir</name><value>file:///data/hadoop/hdfs/snn</value></property></configuration>EOF

添加mapred-site.xml

cat >/usr/local/hadoop/etc/hadoop/mapred-site.xml <<EOF
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>EOF

yarn-site.xml修改對應values為master的主機名（定義resourcemanager節(jié)點）

cat >/usr/local/hadoop/etc/hadoop/yarn-site.xml<<EOF
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>yarn.resourcemanager.address</name><value>hadoop-3:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop-3:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop-3:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop-3:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop-3:8088</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.auxservices.mapreduce_shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value></property></configuration>EOF

slaves(定義數(shù)據(jù)節(jié)點)

cat >/usr/local/hadoop/etc/hadoop/slaves<<EOF
hadoop-1
hadoop-2
hadoop-3
EOF

同樣的步驟操作hadoop-2/3，建議將hadoop-1的文件直接分發(fā)至hadoop-2/3

2.3.2 格式化namenode

在NameNode機器上（hadoop-1）執(zhí)行格式化：

hdfs namenode -format

2.3.3 啟動服務

在namenode hadoop-1執(zhí)行start-all.sh啟動服務
在hadoop-3啟動resourcemanager服務``

hadoop-2服務查看

hadoop-3服務查看

2.3.4 運行測試程序

yarn jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar pi 2 10

2.3.5 查看web界面

HDFS-NameNode

url:http://172.20.2.203:50070

YARN-ResourceManager

url:http://172.20.2.205:8088

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

網(wǎng)頁題目：Hadoop完全分布式部署-創(chuàng)新互聯(lián)
轉載注明：http://muchs.cn/article8/coeoip.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設、建站公司、動態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作、ChatGPT、用戶體驗

廣告

聲明：本網(wǎng)站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)