一.hadoop偽分布式部署

========一.hadoop偽分布式=========
<code>
偽分布式環(huán)境配置
需要安裝openjdk 和openjdk-devel軟件包（用的是1.8.0版本）
rpm -ql Java-openjdk-devel-1.8.0 | grep ‘/bin/javac’
vim /etc/profile
#Java
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin



#hive
export HIVE_HOME=/data/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH

#hadoop
export  HADOOP_HOME=/data/hadoop/hadoop-2.7.4
export PATH=$HADOOP_HOME/bin:$PATH

source /etc/profile 
java -version

添加hadoop 用戶 useradd -m hadoop -s /bin/bash
給予sudo權(quán)限 visudo 編輯配置文件的98行，在root這行下添加hadoop用戶
root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL

切換到hadoop 用戶
然后設(shè)置遠(yuǎn)程登錄
生成密鑰對 
ssh-keygen -t rsa 
cat id_rsa.pub >> authorized_keys  
chmod 600 ./authorized_keys（注意權(quán)限設(shè)置）

</code>

=========二.安裝hadoop=========
<code>

wget http://114.242.101.2:808/hadoop/hadoop-2.7.4.tar.gz
tar xf hadoop-2.7.4.tar.gz -C /data/hadoop
chown -R hadoop.hadoop /data/hadoop/hadoop-2.7.4
</code>

==========三.配置文件=============
<code>
/data/hadoop/hadoop-2.7.4/etc/hadoop/ 路徑下
hdfs-site.xml
core-site.xml
mapred-site.xml.template

hdfs-site.xml：這里面定義的是數(shù)據(jù)節(jié)點(diǎn)個(gè)數(shù)以塊文件大小
core-site.xml：定義的hadoop的header機(jī)
mapred-site.xml.template：定義的是hadoop文件存放的調(diào)度方式

針對偽分布式三個(gè)配置文件如下(默認(rèn)為空)

core-site.xml配置文件如下:
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data/hadoop/hadoop-2.7.4/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    
    
    
hdfs-site.xml配置文件如下:
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/hadoop/hadoop-2.7.4/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/hadoop/hadoop-2.7.4/tmp/dfs/data</value>
    </property>
    
    
 
mapred-site.xml.template配置文件如下:
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
cd /data/hadoop/hadoop-2.7.4/
執(zhí)行./bin/hdfs namenode -format 進(jìn)行格式化
./sbin/start-dfs.sh 


啟動完成后，可以通過命令 jps 來判斷是否成功啟動
若成功啟動則會列出如下進(jìn)程: “NameNode”、”DataNode”和SecondaryNameNode


vim ~/.bashrc 添加
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-1.b12.el6_9.x86_64
source ~/.bashrc 后重新啟動
搭建完成


訪問：http://192.168.0.12:50070
</code>

本文名稱：一.hadoop偽分布式部署
文章路徑：http://muchs.cn/article32/gceosc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗(yàn)、關(guān)鍵詞優(yōu)化、網(wǎng)站建設(shè)、網(wǎng)站排名、營銷型網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)