怎么搭建hadoop平臺(tái)

這篇文章主要為大家展示了“怎么搭建hadoop平臺(tái)”，內(nèi)容簡(jiǎn)而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“怎么搭建hadoop平臺(tái)”這篇文章吧。

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站制作、網(wǎng)站設(shè)計(jì)、外貿(mào)網(wǎng)站建設(shè)、西雙版納網(wǎng)絡(luò)推廣、微信小程序、西雙版納網(wǎng)絡(luò)營(yíng)銷、西雙版納企業(yè)策劃、西雙版納品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營(yíng)等，從售前售中售后，我們都將竭誠(chéng)為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供西雙版納建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18980820575，官方網(wǎng)址：muchs.cn

一、虛擬機(jī)及系統(tǒng)安裝

1. 下載vmware，并成功安裝；

2. 在vmware中安裝CentOS系統(tǒng)；

二、在虛擬機(jī)中配置JAVA環(huán)境

1.安裝java虛擬機(jī)（jdk-6u31-linux-i586.bin）；

2.配置環(huán)境變量

（1） vi /etc/profile （編輯文件）

（2） 添加

（3） source /etc/profile （注入環(huán)境變量）

注：使用ROOT和戶

三、修改hosts

vim /etc/hosts 修改為： 127.0.0.1 qiangjin

注：使用ROOT和戶

四、修改hostname vim /etc/sysconfig/network

修改為： NETWORKING=yes HOSTNAME=qiangjin

臨時(shí)修改hostname，使用

hostname qiangjin 查看當(dāng)前hostname，使用

hostname 注：使用ROOT和戶

五、配置ssh

1. 在當(dāng)前用戶主目錄下執(zhí)行

（1）ssh-keygen

（2）cat .ssh/id_rsa.pub 》》 .ssh/authorized_keys

（3）chmod 700 .ssh

（4）chmod 600 .ssh/authorized_keys

（5）ssh qiangjin 成功

六、壓縮包解壓

1. 解壓hadoop-0.20.2-cdh4u3.tar.gz；

2. 解壓hbase-0.90.4-cdh4u3.tar.gz；

3. 解壓hive-0.7.1-cdh4u3.tar.gz；

4. 解壓zookeeper-3.3.4-cdh4u3.tar.gz；

5. 解壓sqoop-1.3.0-cdh4u3.tar.gz；

6. 解壓mahout-0.5-cdh4u3.tar.gz；（數(shù)據(jù)挖掘算法專用）

注：tar –xvf xxxx.tar.gz

七、修改hadoop配置文件

（1）進(jìn)入到cdh4/hadoop-0.20.2-cdh4u3/conf

（2）修改

core-site.xml

注：fs.default.name配置中用到了自己配的hostname；

（3）修改hdfs-site.xml

注：?jiǎn)螜C(jī)時(shí)，一般將dfs.replicaTIon設(shè)置為1

（4）修改

mapred-site.xml

注：mapred.job.tracker中用到了自己配的hostname；

（5）修改

Masters

（6）修改

slaves

（7）修改

hadoop-env.sh

需要添加環(huán)境變量

八、修改HBase配置

（1）進(jìn)入cdh4/hbase-0.90.4-cdh4u3/conf

（2）修改hbase-site.xml

（3）修改

Regionserver

（4）修改

hbase-env.sh

需要添加環(huán)境變量

九、修改hive配置

（1）進(jìn)入cdh4/hive-0.7.1-cdh4u3/conf

（2）添加hive-site.xml，并配置

注：需要注意hbase.zookeeper.quorum、mapred.job.tracker、hive.exec.scratchdir、javax.jdo.opTIon.ConnecTIonURL、

javax.jdo.opTIon.ConnectionUserName、javax.jdo.option.ConnectionPassword處配置 需要添加環(huán)境變量

十、修改sqoop配置

需要添加環(huán)境變量

十一、修改zookeeper配置

（1）進(jìn)入cdh4/zookeeper-3.3.4-cdh4u3

（2）新建目錄zookeeper-data

（3）進(jìn)入zookeeper-data，并新建myid，里面填0

（4）進(jìn)入cdh4/zookeeper-3.3.4-cdh4u3/conf

（5）修改

zoo.cfg

注：dataDir和server.0的配置；

需要添加環(huán)境變量

十二、修改mahout配置 需要添加環(huán)境變量

十三、數(shù)據(jù)庫(kù)JAR包

（1）將MySQL-connector-java-5.1.6.jar放入到cdh4/hive-0.7.1-cdh4u3/lib

（2）將ojdbc14.jar放入到cdh4/sqoop-1.3.0-cdh4u3/lib

十四、hadoop首次format及啟動(dòng)，停止

1.hadoop的format hadoop namenode -format

2.hadoop的啟動(dòng) start-all.sh

3.hadoop的停止 stop-all.sh

注：使用jps或ps查看hadoop是否啟動(dòng)，啟動(dòng)時(shí)如果有問題，會(huì)在屏幕上顯示出來的。 可以輸入網(wǎng)址： http://qiangjin:50070 查看hadoop的運(yùn)行情況

十五、啟動(dòng)hbase

（1）啟動(dòng)

hbase，命令如下： start-hbase.sh （2）停止

hbase，命令如下： stop-hbase.sh （3）進(jìn)入hbase的

shell，命令如下 hbase shell

（4）查看hbase中的表，命令如下（需進(jìn)入到hbase shell中） list

（5）注：需要hadoop處于啟動(dòng)中。

注：需要hadoop處于啟動(dòng)中。 可以輸入網(wǎng)址： http://qiangjin:60010

查看hbase的運(yùn)行情況 十六、啟動(dòng)zookeeper

（1）啟動(dòng)zookeeper，命令如下 zkServer.sh start

（2）停止zookeeper，命令如下 zkServer.sh stop

注：如果是單機(jī)情況下，hbase的啟動(dòng)會(huì)帶動(dòng)zookeeper的啟動(dòng)；

十七、啟動(dòng)hive

（1）啟動(dòng)hive，命令如下 hive

（2）查看表，命令如下：（必須在hive命令窗口下執(zhí)行） show tables;

十八、運(yùn)行wordcount實(shí)例

（1）新建file01和file02，并設(shè)置內(nèi)容；

（2）在hdfs中建立一個(gè)input目錄： Hadoop fs –mkdir input

（3）將file01和file02

拷貝到hdfs中 hadoop fs -copyFromLocal file0* input

（4）執(zhí)行wordcount hadoop jar hadoop-examples-0.20.2-cdh4u3.jar wordcount input output

（5）查看結(jié)果 hadoop fs -cat output/part -r -00000

十九、將oracle數(shù)據(jù)導(dǎo)入hive

（1）進(jìn)入cdh4/sqoop-1.3.0-cdh4u3/bin

（2）新建目錄importdata

（3）進(jìn)入目錄importdata

（4）新建sh文件

oracle-test.sh

（5）執(zhí)行。/ oracle- test.sh

（6）進(jìn)入hive，查看是否導(dǎo)入成功；

注：hive導(dǎo)入使用的參數(shù) 。./sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --m 1 --table $oracleTableName --columns $columns --hive-import

二十、將oracle數(shù)據(jù)導(dǎo)入hbase

（1）進(jìn)入cdh4/sqoop-1.3.0-cdh4u3/bin

（2）新建目錄importdata

（3）進(jìn)入目錄importdata

（4）新建sh文件

oracle-hbase.sh

（5）執(zhí)行。/ oracle-hbase.sh

（6）進(jìn)入hbase shell，查看是否導(dǎo)入成功；

注：hbase導(dǎo)入使用的參數(shù) 。./sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --m 1 --table $oracleTableName --columns $columns -hbase-create-table --hbase-table $hbaseTableName --hbase-row-key ID --column-family cf1

二十一、配置hbase到hive的映射

（1）進(jìn)入cdh4/hive-0.7.1-cdh4u3/bin

（2）新建目錄mapdata

（3）進(jìn)入mapdata

（4）新建

hbasemaphivetest.q

（5）執(zhí)行

hive -f hbasemaphivetest.q

注：列之間要對(duì)應(yīng)，類型要匹配；

二十二、mahout運(yùn)行

1、運(yùn)行example

（1）導(dǎo)入實(shí)例所用數(shù)據(jù)“synthetic_control.data”，在控制臺(tái)運(yùn)行 hadoop fs -put synthetic_control.data /user/liuhx/testdata/

（2）運(yùn)行實(shí)例程序，在控制臺(tái)運(yùn)行，運(yùn)行時(shí)間比較長(zhǎng)，需要迭代10次

Hadoop jar mahout-examples-0.5-cdh4u3-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

2、運(yùn)行結(jié)果查看，輸入命令

mahout vectordump --seqFile /user/liuhx/output/data/part-m-00000

3、圖形化顯示，輸入以下命令

hadoop jar mahout-examples-0.5-cdh4u3-job.jar org.apache.mahout.clustering.display.DisplayKMeans

二十三、Eclipse配置

1、安裝Eclipse

2、導(dǎo)入cdh4/hadoop-0.20.2-cdh4u3/src/contrib/eclipse-plugin工程

3、修改plugin.xml 主要更改runtime中jar包的配置；

4、運(yùn)行Run As-》Eclipse Application

5、在運(yùn)行得到的eclipse sdk中配置map/reduce location 在其中配置hadoop的運(yùn)行環(huán)境

以上是“怎么搭建hadoop平臺(tái)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

分享文章：怎么搭建hadoop平臺(tái)
網(wǎng)址分享：http://muchs.cn/article24/jpgpje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、虛擬主機(jī)、網(wǎng)站設(shè)計(jì)公司、微信小程序、手機(jī)網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)