hadoopcdh2.6.0-5.7.0偽分布式版本怎么搭建

本篇內(nèi)容主要講解“hadoop cdh2.6.0-5.7.0偽分布式版本怎么搭建”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“hadoop cdh2.6.0-5.7.0偽分布式版本怎么搭建”吧!

10年積累的成都網(wǎng)站設(shè)計、成都做網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識你，你也不認(rèn)識我。但先網(wǎng)站策劃后付款的網(wǎng)站建設(shè)流程，更有青浦免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

1環(huán)境準(zhǔn)備

1 安裝rz sz 方便重自己本地windows上上傳下載文件

yum install -y lrzsz

2 軟件工具裝備好

-rw-r--r--. 1 root root 311585484 Feb 20 2018 hadoop-2.6.0-cdh6.7.0.tar.gz

-rw-r--r--. 1 root root 173271626 Feb 23 17:25 jdk-8u45-linux-x64.gz

3 進(jìn)行環(huán)境的安裝

mkdir -p /usr/local/java

tar –zxvf jdk-8u45-linux-x64.gz –C /usr/local/java

mkdir /opt/local

tar -zxvf hadoop-2.6.0-cdh6.7.0.tar.gz -C /opt/local

mv hadoop-2.6.0-cdh6.7.0/ hadoop2.6.0

編輯配置，文件把對應(yīng)的路徑配置成功

vi /etc/profile

export HADOOP_HOME=/opt/local/hadoop-2.6.0

export JAVA_HOME=/usr/local/java/jdk1.8.0_65

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH:$HADOOP_HOME/bin

把配置文件生效

source /etc/profile

java –version 查看自己版本是否配置成功

配置地址把自己的hostname 和 ip地址進(jìn)行綁定，防火墻

關(guān)閉自己機(jī)器的防火墻

chkconfig iptables –list 查看哪些沒關(guān)

chkconfig iptables off 關(guān)閉

修改自己機(jī)器的域名

vi /etc/sysconfig/network

HOSTNAME=hadoop001

Reboot 重啟生效

hostsname 查看主機(jī)名是否修改成功

vi /etc/hosts

192.168.225.100 hadoop001

Reboot 重新啟動一下機(jī)器

2配置hadoop 為分布式

1 cd /opt/local/hadoop2.6.0/etc/hadoop

Vi vi core-site.xml 核心文件地址

<name>fs.defaultFS</name>

<value>hdfs:// hadoop001:9000</value>

</property>

<name> hadoop.tmp.dir</name>

<value>/home/hadoop/app/tmp</value>

</property>

</configuration>

2 創(chuàng)建目錄Mkdir /home/hadoop/app/tmp

3 vi hdfs-site.xml

<name>dfs.replication</name>

</property>

</configuration>

4 vi hadoop-env.sh 不配置啟動找不到 jdk

export JAVA_HOME=/usr/local/java/jdk1.8.0_45

5 [root@hadoop001 hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@hadoop001 hadoop]# vi mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

6 vi vi yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

7 vi vi slaves 把主機(jī)名稱加入表示datanode節(jié)點

配置好了格式化一下

bin/hdfs namenode –format

配置一下 ssh 免密碼登陸

Cd .ssh

輸入 ssh-keygen 回車4次

-rw-------. 1 root root 1675 Feb 25 05:03 id_rsa

-rw-r--r--. 1 root root 396 Feb 25 05:03 id_rsa.pub

-rw-r--r--. 1 root root 798 Feb 25 05:02 known_hosts

cat id_rsa.pub >> authorized_keys

chmod 600 authorized_keys

ssh + ip 或者域名第一次輸入需要密碼第二次不需要了

啟動sbin/start-dfs.sh

Jpd 命令出現(xiàn)

8068 NameNode

8373 SecondaryNameNode

8551 ResourceManager

8649 NodeManager

8206 DataNode

24174 Jps

到此，相信大家對“hadoop cdh2.6.0-5.7.0偽分布式版本怎么搭建”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

分享題目：hadoopcdh2.6.0-5.7.0偽分布式版本怎么搭建
文章源于：http://muchs.cn/article20/ghjhjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、做網(wǎng)站、服務(wù)器托管、自適應(yīng)網(wǎng)站、網(wǎng)站導(dǎo)航、搜索引擎優(yōu)化

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容