hadoop中入門配置知識點(diǎn)有哪些

這篇文章給大家分享的是有關(guān)hadoop中入門配置知識點(diǎn)有哪些的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來看看吧。

成都創(chuàng)新互聯(lián)公司是專業(yè)的安達(dá)網(wǎng)站建設(shè)公司，安達(dá)接單;提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站設(shè)計(jì),網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行安達(dá)網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

環(huán)境

    本人使用的是 XUbuntu14.04 64位，在虛擬機(jī)下搭建的

  • 安裝 JDK，配置環(huán)境變量

        配置 classpath，修改所有用戶的環(huán)境變量

sudo vim /etc/profile
#在文件最后添加 
#set java environment
export JAVA_HOME={path}
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
source/etc/profile  ##使環(huán)境變量生效

  • 配置SSH無密碼嗎登陸

            在用戶根目錄創(chuàng)建隱藏文件夾 .ssh  (沒有的需要?jiǎng)?chuàng)建)

mkdir .ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

            驗(yàn)證下 ssh ，

 shh localhost

  • 安裝hadoop （我用的是2.7）

    • 解壓文件夾

sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop    # 指定目錄，可根據(jù)自己的喜好選擇放在哪

    • 創(chuàng)建 hadooop 工作所需要的文件目錄

    • 設(shè)置環(huán)境變量 （進(jìn)入$HADOOP_HOME/etc/hadoop）

    sudo vim /etc/profile
export HADOOP_HOME={path}
#path 后面繼續(xù)跟
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    • 配置文件

      • 配置 hadoop-env.sh

    export JAVA_HOME=${JAVA_HOME}          # JAVA_HOME JDK 路徑

      • 配置 core-site.xml （關(guān)于Hadoop配置項(xiàng)的一點(diǎn)說明雖然只需要配置fs.defaultFS 和 dfs.replication 就可以運(yùn)行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數(shù)，則默認(rèn)使用的臨時(shí)目錄為 /tmp/hadoo-hadoop，而這個(gè)目錄在重啟時(shí)有可能被系統(tǒng)清理掉，導(dǎo)致必須重新執(zhí)行 format 才行。所以我們進(jìn)行了設(shè)置，同時(shí)也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來的步驟中可能會出錯(cuò)。shay為主機(jī)名，如果不知道自己的主機(jī)名可以 cat 一下 /etc/hostname）

    <configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://shay:9000</value>
    </property>
</configuration>

      • 配置hdfs-site.xml

    <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
    <!-- 若有其他主機(jī)，則可以打開這個(gè)
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>shay:50090</value>
    </property>
    -->
</configuration>

      • 配置 mapred-site.xml 

    <configuration>
    <property>        
        <name>mapreduce.framework.name</name>
         <value>yarn</value>
    </property>
</configuration>

      • 配置 yarn-site.xml

    <configuration>
    <property>        
        <name>yarn.nodemanager.aux-services</name>        
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>shay</value>
    </property>
</configuration>

      • 配置 yarn-env.sh

    export JAVA_HOME=${JAVA_HOME}

    • Hadoop 啟動

      • 執(zhí)行 namenode 格式化

    hdfs namenode -format

      • 開啟守護(hù)進(jìn)程

    start-dfs.sh        # NameNode 和 DataNode 守護(hù)進(jìn)程
start-yarn.sh       # ResourceManager 和 NodeManager 守護(hù)進(jìn)程

      • 驗(yàn)證

    jps

感謝各位的閱讀！關(guān)于“hadoop中入門配置知識點(diǎn)有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

網(wǎng)頁名稱：hadoop中入門配置知識點(diǎn)有哪些
地址分享：http://muchs.cn/article6/pipiig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制開發(fā)、、小程序開發(fā)、網(wǎng)站排名、服務(wù)器托管、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都定制網(wǎng)站建設(shè)