如何安裝hadoop

這篇文章主要為大家展示了“如何安裝hadoop”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“如何安裝hadoop”這篇文章吧。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對(duì)這個(gè)行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價(jià)值的長期合作伙伴，公司提供的服務(wù)項(xiàng)目有：國際域名空間、虛擬主機(jī)、營銷軟件、網(wǎng)站建設(shè)、南陵網(wǎng)站維護(hù)、網(wǎng)站推廣。

工具：

xshell ()

安裝包：

hadoop-2.6.0.tar.gz->2.4.1 http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/

----------5/19/2017----------start

 https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gzwget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz

----------5/19/2017----------end

jdk-7u9-linux-i586.tar.gz

后續(xù)用到的安裝包

hbase-0.94.2.tar.gz

hive-0.9.0.tar.gz

pig-0.10.0.tar.gz

zookeeper-3.4.3.tar.gz

添加用戶和組

groupadd hadoop

useradd hadoop -g hadoop

切換用戶 

su hadoop

退出

exit

JDK安裝(root用戶下進(jìn)行安裝)

plan a:  rpm

plab b: 解壓即可

mkdir /usr/java

tar -zxvf jdk-7u9-linux-i506.tar.gz -C /usr/java

建立鏈接:

ls -s /usr/java/jdk1.6.0_30 /usr/java/jdk

配置環(huán)境變量:

修改vi /etc/profile，在最后添加

export JAVA_HOME=/usr/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

讓環(huán)境變量生效 source /etc/profile

檢查echo $PATH 和java -version

--------------------------------------------------------------------------

SSH和無密碼登錄

安裝SSH客戶端：

yum -y install openssh-clients

=>此時(shí)可進(jìn)行復(fù)制虛擬機(jī)

ssh master

生成無密碼的公私鑰對(duì)：

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

 (以后可以把公鑰發(fā)給其他機(jī)器ssh-copy-id 192.168.137.44)

--------------------------------------------------------------------------

復(fù)制虛擬機(jī)

復(fù)制->完全復(fù)制

vi /etc/sysconfig/network-scripts/ifcfg-eth0

根據(jù)虛擬機(jī)真實(shí)的mac修改 設(shè)置-網(wǎng)絡(luò)，可查看到

DEVICE="eth2"
HWADDR=...
IPADDR=192.168.56.3

eth0改為eht1

mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-script/ifcfg-eth2

重啟網(wǎng)卡

通過以上方法可以復(fù)制多個(gè)虛擬

---------------------------------------------------------------
 

安裝hadoop

下載地址 http://archive.apache.org/dist/hadoop/core/stable

解壓：

tar -zxvf hadoop-1.0.3.tar.gz -C /opt/ #以前作法是安裝在/usr/local，現(xiàn)在一般安裝在opt

mv /opt/hadoop-1.0.3 /opt/hadoop  #重命名方便使用

chown -R hadoop:hadoop /opt/hadoop #把文件夾的權(quán)限賦給hadoop用戶

su hadoop  #在hadoop用戶下配置

配置0：

vi /etc/profile

export JAVA_HOME/usr/java/jdk

export HADOOP_HOME=/opt/hadoopp-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

配置1:

hadoop-evn.sh

export JAVA_HOME/usr/java/jdk

 配置2：vim core-site.xml (建議用hostname，不用ip)

<configuration>

    <!--指定HDFS的Namenode地址-->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://192.168.137.2:9000</value>

    </property>

    <!--指定Hadoop運(yùn)行時(shí)產(chǎn)生文件的地址-->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop-2.6.0/tmp</value>

    </property>

</configuration>

配置3：hdfs-site.xml

<configuration>

<!--HDFS保存數(shù)據(jù)的副本數(shù)量-->

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

配置4:mv mapred-site.xml.template mapred-site.xml

<configuration>

<!-- MR運(yùn)行在YARN上-->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

配置5: yarn-site.xml

<configuration>

    <!-- NodeManager獲取數(shù)據(jù)的方式是shuffle-->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!--指定YARN的ResourceManager的地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>master</value>

    </property>

</configuration>

hadoop-env.sh

設(shè)置JAVA_HOME

初始化HDFS

hdfs namenode -format

底下生成tmp文件夾 

啟動(dòng)hadoop

./start-all.sh

檢驗(yàn)-jps命令查看進(jìn)程

    ResourceManager

    NodeManager

    NameNode

    Jps

    SecondaryNameNode

    DataNode

檢驗(yàn)-http://192.168.137.2:50070

http://192.168.137.2:50070/dfsnodelist.jsp?whatNodes=LIVE

http://192.168.137.2:50075/browseDirectory.jsp?dir=%2F&go=go&namenodeInfoPort=50070&nnaddr=192.168.137.2%3A9000

http://192.168.137.2:8088

  如果無法訪問，需關(guān)閉防火墻 service iptables stop

Error:

Could not get the namenode ID of this node.

hadoop-hdfs-2.6.0.jar(hdfs-default.xml) dfs.ha.namenode.id

原理： http://blog.csdn.net/chenpingbupt/article/details/7922004

  public static String getNameNodeId(Configuration conf, String nsId) {
    String namenodeId = conf.getTrimmed(DFS_HA_NAMENODE_ID_KEY);
    if (namenodeId != null) {
      return namenodeId;
    }
    
    String suffixes[] = DFSUtil.getSuffixIDs(conf, DFS_NAMENODE_RPC_ADDRESS_KEY,
        nsId, null, DFSUtil.LOCAL_ADDRESS_MATCHER);
    if (suffixes == null) {
      String msg = "Configuration " + DFS_NAMENODE_RPC_ADDRESS_KEY + 
          " must be suffixed with nameservice and namenode ID for HA " +
          "configuration.";
      throw new HadoopIllegalArgumentException(msg);
    }
    
    return suffixes[1];
  }

DFS_HA_NAMENODE_ID_KEY = "dfs.ha.namenode.id";

DFS_NAMENODE_RPC_ADDRESS_KEY = "dfs.namenode.rpc-address";

請先確保iptables關(guān)閉

0 檢查各臺(tái)機(jī)子的所有配置文件

1 是否沒有配置文件

2 各臺(tái)機(jī)子間的ssh免登錄是否正常

=>由于namenode配錯(cuò)機(jī)子

以上是“如何安裝hadoop”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

新聞標(biāo)題：如何安裝hadoop
本文來源：http://www.muchs.cn/article36/jiopsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊、手機(jī)網(wǎng)站建設(shè)、企業(yè)建站、動(dòng)態(tài)網(wǎng)站、小程序開發(fā)、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

小程序開發(fā)