大數(shù)據(jù)之一：Hadoop安裝-創(chuàng)新互聯(lián)

一、安裝Hadoop

1.先解壓hadoop到相關(guān)的文件夾中

創(chuàng)新互聯(lián)建站是一家集網(wǎng)站建設(shè),遂寧企業(yè)網(wǎng)站建設(shè),遂寧品牌網(wǎng)站建設(shè),網(wǎng)站定制,遂寧網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,遂寧網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

2.進(jìn)入到解壓好的文件夾以后，對(duì)相關(guān)文件進(jìn)行修改

3.配置hadoop-env.sh

vi hadoop-env.sh:
export= JAVA_HOME=/opt/inst/jdk181

4.配置core-site.xml

vi core-site.xml

 <property>
                <name>fs.defaultFS</name>
                <value>hdfs://bigdata:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoopdata</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>

5.配置hdfs-site.xml

vi hdfs-site.xml

 <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

6.配置cp mapred-site.xml.template mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

7.vi mapred-site.xml

 <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

8.vi yarn-site.xml

vi

9.vi /etc/profile

export HADOOP_HOME=/opt/bigdata/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

10.更新并格式化

source  /etc/profile
hdfs namenode -format

11.啟動(dòng)

start-all.sh

jps
#查看進(jìn)程

12.把linux導(dǎo)入到hadoop中

hdfs dfs -put /opt/a.txt  /cm/
hdfs dfs -ls /cm

Hadoop理解

三大核心

1.HDFS: Hadoop Distribute File System 分布式文件系統(tǒng)

? NameNode:主節(jié)點(diǎn)，目錄

? DataNode：從節(jié)點(diǎn)，數(shù)據(jù)

? SecondaryNameNode：主節(jié)點(diǎn)的備份

2.YARN：Yet Another Resource Negotiator 資源管理調(diào)度系統(tǒng)

? 調(diào)度的是內(nèi)存的資源和CPU的算力

? 通過ResourceManager（只有一個(gè)） 來調(diào)度

? ResourceManager主要作用：

? 1.處理客戶端請(qǐng)求

? 2.監(jiān)控NodeManager

? 3.啟動(dòng)或監(jiān)控ApplicationMaster（）

? 4.資源的分配或調(diào)度

? NodeManager（多個(gè)）

? NodeManager主要作用：

? 1.管理單個(gè)節(jié)點(diǎn)上的資源

? 2.處理來自ResourceManager的命令

? 3.處理來自ApplicationMaster的命令

3.MapReduce：分布式運(yùn)算框架

? 運(yùn)算的

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

文章題目：大數(shù)據(jù)之一：Hadoop安裝-創(chuàng)新互聯(lián)
文章源于：http://muchs.cn/article38/dcphpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、移動(dòng)網(wǎng)站建設(shè)、微信小程序、全網(wǎng)營銷推廣、定制開發(fā)、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)