（第2篇）一篇文章教你輕松安裝hadoop

  

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)青原免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了數(shù)千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

 如果你看了我的上一篇文章，那此時你對hadoop已經(jīng)有了一個大概的了解，那接下來這篇文章就教大家怎么安裝hadoop環(huán)境，只要你用心，仔細(xì)的跟著文章中講到的做，肯定能正確安裝。

 

     安裝hadoop環(huán)境

由于大家在學(xué)習(xí)hadoop時候，主要以Hadoop 1.0環(huán)境為主學(xué)習(xí)就可以，所以這主要介紹如何搭建Hadoop 1.0分布式環(huán)境。

整個分布式環(huán)境運(yùn)行在帶有l(wèi)inux操作系統(tǒng)的虛擬機(jī)上，至于虛擬機(jī)和linux系統(tǒng)的安裝這里暫不做過多介紹。

安裝Hadoop分布式環(huán)境：

1) 下載Hadoop安裝包：

在本站下載地址  http://down.51cto.com/data/2290706 中可以找到hadoop-1.2.1-bin.tar.gz文件

使用securtCRT的rz功能上傳hadoop-1.2.1-bin.tar.gz這個文件到虛擬機(jī)的系統(tǒng)中。

同樣在securtcrt中l(wèi)l時，能得到

 

2) 安裝Hadoop安裝包：

l 首先將安裝包解壓縮：

 

l Linux終端執(zhí)行cd進(jìn)入相應(yīng)目錄：

 

l 新增tmp目錄，mkdir  /home/hadoop/hadoop-1.2.1/tmp

 

3) 配置Hadoop：

l 使用vim修改master文件內(nèi)容：

 

將localhost修改成master：

 

最后保存退出。

l 修改slaves文件

注意，這里準(zhǔn)備設(shè)置幾臺slave機(jī)器，就寫幾個，因?yàn)楫?dāng)前分布式環(huán)境有四個虛擬機(jī)，一臺做master，三臺做slave，所以這里寫成了三個slave

 

l 修改core-site.xml文件：

 

【注意】中間的ip地址，不要輸入192.168.2.55，根據(jù)自己的情況設(shè)置。

l 修改mapred-site.xml文件：

 

【注意】記得value的內(nèi)容要以http開頭。

l 修改hdfs-site.xml文件：

 

其中，<value>3</value>視情況修改，如果有三臺slave機(jī)器，這里設(shè)置成3，如果只有1臺或2臺，修改成對應(yīng)的值即可。

l 修改hadoo-env.sh文件

在

下新增export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

 

l 修改本地網(wǎng)絡(luò)配置：編輯/etc/hosts文件

 

 

【注意】Ip地址根據(jù)具體的情況要進(jìn)行修改。

4) 復(fù)制虛擬機(jī)

l 關(guān)閉當(dāng)前虛擬機(jī)，并復(fù)制多份

 

【注意】要選擇初始化所有網(wǎng)卡的mac地址

 

根據(jù)自己需求，復(fù)制2到3臺虛擬機(jī)作為slave，同樣要確認(rèn)網(wǎng)絡(luò)連接方式為橋接。

l 設(shè)置所有機(jī)器的IP地址

分別啟動虛擬機(jī)，修改機(jī)器的ip 地址，在虛擬機(jī)的圖形界面里，選擇設(shè)置單擊打開，在彈出來的窗口里，選擇

 

 

打開，修改成如下的形式，選擇ipv4 ,分配方式選擇成manual。

【注意】具體的ip地址，根據(jù)實(shí)際的情況來設(shè)置，因?yàn)榕嘤?xùn)教室里都是192.168.2.x的網(wǎng)段，所以我這里設(shè)置成了192.168.2.x，每個人選擇自己的一個ip地址范圍，注意不要和其它人沖突了。

 

5) 建立互信關(guān)系

l 生成公私鑰，在master機(jī)器的虛擬機(jī)命令行下輸入ssh-keygen，一路回車，全默認(rèn)

 

l 復(fù)制公鑰

復(fù)制一份master的公鑰文件，cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

同樣，在所有的slave機(jī)器上，也在命令行中輸入ssh-keygen，一路回車，全默認(rèn)

在所有的salve機(jī)器上，從master機(jī)器上復(fù)制master的公鑰文件：

 

l 測試連接

在master機(jī)器上分別向所有的slave機(jī)器發(fā)起聯(lián)接請求：

如：ssh slave1

 

【注意】記得一旦聯(lián)接上，所有的操作，就視同在對應(yīng)的slave上操作，所以一定要記得使用exit退出聯(lián)接。

6) 啟動Hadoop：

l 初始化：在master機(jī)器上，進(jìn)入/home/hadoop/hadoop-1.2.1/bin目錄

 

在安裝包根目錄下運(yùn)行./hadoop namenode–format來初始化hadoop的文件系統(tǒng)。

 

l 啟動

執(zhí)行./start-all.sh，如果中間過程提示要判斷是否，需要輸入yes

 

輸入jps，查看進(jìn)程是否都正常啟動。

 

如果一切正常，應(yīng)當(dāng)有如上的一些進(jìn)程存在。

7) 測試系統(tǒng)

輸入./hadoop fs–ls /

 

能正常顯示文件系統(tǒng)。

如此，hadoop系統(tǒng)搭建完成。否則，可以去/home/hadoop/hadoop-1.2.1/logs目錄下，查看缺少的進(jìn)程中，對應(yīng)的出錯日志。

  此時，你已經(jīng)把hadoop環(huán)境搭建好了，下一篇文章將給大家介紹什么是HDFS文件系統(tǒng)，HDFS又能做什么呢？

  

如何用4個月學(xué)會Hadoop開發(fā)并找到年薪25萬工作？

 

免費(fèi)分享一套17年最新Hadoop大數(shù)據(jù)教程和100道Hadoop大數(shù)據(jù)必會面試題。

因?yàn)殒溄咏?jīng)常被和諧，需要的朋友請加微信 ganshiyun666 來獲取最新下載鏈接，注明“51CTO”

 

教程已幫助300+人成功轉(zhuǎn)型Hadoop開發(fā)，90%起薪超過20K，工資比之前翻了一倍。

內(nèi)容包括0基礎(chǔ)入門、Hadoop生態(tài)系統(tǒng)、真實(shí)商業(yè)項(xiàng)目實(shí)戰(zhàn)3大部分。其中商業(yè)案例可以讓你接觸真實(shí)的生產(chǎn)環(huán)境，訓(xùn)練自己的開發(fā)能力。

名稱欄目：（第2篇）一篇文章教你輕松安裝hadoop
地址分享：http://muchs.cn/article6/gphcig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、網(wǎng)站導(dǎo)航、電子商務(wù)、服務(wù)器托管、云服務(wù)器、外貿(mào)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)