Hadoop中yarn和mapreduce的示例分析

這篇文章主要介紹了Hadoop中yarn和mapreduce的示例分析，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)是一家專業(yè)提供鳳山企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、H5高端網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為鳳山眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

  1. 準(zhǔn)備Linux環(huán)境
        1.0點(diǎn)擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設(shè)置網(wǎng)段：192.168.1.0 子網(wǎng)掩碼：255.255.255.0 -> apply -> ok
            回到windows --> 打開網(wǎng)絡(luò)和共享中心 -> 更改適配器設(shè)置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設(shè)置windows的IP：192.168.1.100 子網(wǎng)掩碼：255.255.255.0 -> 點(diǎn)擊確定
            在虛擬軟件上 --My Computer -> 選中虛擬機(jī) -> 右鍵 -> settings -> network adapter -> host only -> ok    
        1.1修改主機(jī)名
            vim /etc/sysconfig/network
            
            NETWORKING=yes
            HOSTNAME=itcast    ###

        1.2修改IP
            兩種方式：
            第一種：通過(guò)Linux圖形界面進(jìn)行修改（強(qiáng)烈推薦）
                進(jìn)入Linux圖形界面 -> 右鍵點(diǎn)擊右上方的兩個(gè)小電腦 -> 點(diǎn)擊Edit connections -> 選中當(dāng)前網(wǎng)絡(luò)System eth0 -> 點(diǎn)擊edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點(diǎn)擊add按鈕 -> 添加IP：192.168.1.101 子網(wǎng)掩碼：255.255.255.0 網(wǎng)關(guān)：192.168.1.1 -> apply
        
            第二種：修改配置文件方式（屌絲程序猿專用）
                vim /etc/sysconfig/network-scripts/ifcfg-eth0
                
                DEVICE="eth0"
                BOOTPROTO="static"               ###
                HWADDR="00:0C:29:3C:BF:E7"
                IPV6INIT="yes"
                NM_CONTROLLED="yes"
                ONBOOT="yes"
                TYPE="Ethernet"
                UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
                IPADDR="192.168.1.101"           ###
                NETMASK="255.255.255.0"          ###
                GATEWAY="192.168.1.1"            ###
                
        1.3修改主機(jī)名和IP的映射關(guān)系
            vim /etc/hosts
                
            192.168.1.101    hadoop02    
        1.4關(guān)閉防火墻
            #查看防火墻狀態(tài)
            service iptables status
            #關(guān)閉防火墻
            service iptables stop
            #查看防火墻開機(jī)啟動(dòng)狀態(tài)
            chkconfig iptables --list
            #關(guān)閉防火墻開機(jī)啟動(dòng)
            chkconfig iptables off
        
        1.5重啟Linux
            reboot

    2.安裝JDK
        2.1上傳alt+p 后出現(xiàn)sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz
        
        2.2解壓jdk
            #創(chuàng)建文件夾
            mkdir /home/hadoop/app
            #解壓
            tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
            
        2.3將java添加到環(huán)境變量中
            vim /etc/profile
            #在文件最后添加
            export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
            export PATH=$PATH:$JAVA_HOME/bin
        
            #刷新配置
            source /etc/profile
            
    3.安裝hadoop2.4.1
        先上傳hadoop的安裝包到服務(wù)器上去/home/hadoop/（注意32位和64位的區(qū)別）

       cp hadoop-2.4.1.tar.gz /home/hadoop/

       cd  /home/hadoop/

       tar -zxvf hadoop-2.4.1.tar.gz

    [root@hadoop02 hadoop]# cd hadoop-2.4.1
    [root@hadoop02 hadoop-2.4.1]# cd etc
    [root@hadoop02 etc]# cd hadoop
        偽分布式需要修改5個(gè)配置文件
        3.1配置hadoop
        第一個(gè)：hadoop-env.sh
            vim hadoop-env.sh
            #第27行
            export JAVA_HOME=/usr/lib/java/java-7-sun
            
        第二個(gè)：core-site.xml

            <!-- 指定HADOOP所使用的文件系統(tǒng)schema（URI），HDFS的老大（NameNode）的地址 -->
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop02:9000</value>
            </property>
            <!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄 -->
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/hadoop-2.4.1/tmp</value>
        </property>
            
        第三個(gè)：hdfs-site.xml   hdfs-default.xml  (3)
            <!-- 指定HDFS副本的數(shù)量 -->
            <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
            
        第四個(gè)：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
            mv mapred-site.xml.template mapred-site.xml
            vim mapred-site.xml
            <!-- 指定mr運(yùn)行在yarn上 -->
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                    </property>
            
        第五個(gè)：yarn-site.xml
            <!-- 指定YARN的老大（ResourceManager）的地址 -->
            <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop0</value>
        </property>
            <!-- reducer獲取數(shù)據(jù)的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
         </property>
             
        3.2將hadoop添加到環(huán)境變量
        
        vim /etc/profile
            export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
            export HADOOP_HOME=/home/hadoop/hadoop-2.4.1
            export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

        source /etc/profile
        
        3.3格式化namenode（是對(duì)namenode進(jìn)行初始化）
            hdfs namenode -format (hadoop namenode -format)
            
        3.4啟動(dòng)hadoop
            先啟動(dòng)HDFS

        [root@hadoop02 hadoop]# cd   /home/hadoop/hadoop-2.4.1


            sbin/start-dfs.sh
            
            再啟動(dòng)YARN
            sbin/start-yarn.sh
            
        3.5驗(yàn)證是否啟動(dòng)成功
            使用jps命令驗(yàn)證
            27408 NameNode
            28218 Jps
            27643 SecondaryNameNode
            28066 NodeManager
            27803 ResourceManager
            27512 DataNode
        
            http://192.168.1.101:50070 （HDFS管理界面）
            http://192.168.1.101:8088 （MR管理界面）

  2. 偽分布式集群的測(cè)試[root@hadoop02 hadoop-2.6.0]# hadoop fs -ls hdfs://hadoop02:9000/

    [root@hadoop02 hadoop]#cd /home/hadoop

    [root@hadoop02 hadoop]#hadoop fs -put hadoop-2.6.0-x64.tar.gz hdfs://hadoop02:9000/
    [root@hadoop02 hadoop]# hadoop fs -ls hdfs://hadoop02:9000/

  3. -rw-r--r--   1 root supergroup  180197035 2015-12-01 05:06 hdfs://hadoop02:9000/hadoop-2.6.0-x64.tar.gz

  4. 文件的存放目錄[root@hadoop02 subdir0]# pwd
    /home/hadoop/hadoop-2.6.0/tmp/dfs/data/current/BP-493792533-192.168.88.155-1448973412341/current/finalized/subdir0/subdir0

  5. 下載文件hadoop fs -get  /hadoop-2.6.0-x64.tar.gz

    mappreduce程序測(cè)試

  6. [root@hadoop02 subdir0]#/home/hadoop/hadoop-2.6.0/share/hadoop/mapreduce

  7. [root@hadoop02 mapreduce]# vi test.data

    文件內(nèi)容如下

    hello tom
    hello jim
    hello  kitty
    hello  angelababy
    hello   dingcheng
    how are you .baby .do you have kong today wangshan?
    can you have supper with me?
    if you can't
    na sure you are gen xiaoming haave supper
    i will shengqi de

    [root@hadoop02 mapreduce]# hadoop fs -mkdir /wc
    [root@hadoop02 mapreduce]# hadoop fs -mkdir /wc/srcdata
     [root@hadoop02 mapreduce]# hadoop -put test.data /wc/srcdata
    [root@hadoop02 mapreduce]# hadoop fs -put test.data /wc/srcdata
    [root@hadoop02 mapreduce]# hadoop fs -ls /
     [root@hadoop02 mapreduce]#  hadoop fs -ls /wc/srcdata
    [root@hadoop02 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /wc/srcdata /wc/output
     [root@hadoop02 mapreduce]#  hadoop fs -ls /wc/output

  8. hadoop fs -cat /wc/output/part-r-00000

  9. hadoop fs#相當(dāng)于幫助命令

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Hadoop中yarn和mapreduce的示例分析”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!

網(wǎng)頁(yè)題目：Hadoop中yarn和mapreduce的示例分析
文章起源：http://muchs.cn/article48/jsohhp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、服務(wù)器托管、電子商務(wù)、搜索引擎優(yōu)化、品牌網(wǎng)站設(shè)計(jì)、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

綿陽(yáng)服務(wù)器托管