hadoop2.6.5+sqoop1.4.6環(huán)境部署與測試（一）-創(chuàng)新互聯(lián)

情景描述：

專注于為中小企業(yè)提供成都網(wǎng)站設(shè)計、成都做網(wǎng)站服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)衡東免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上千家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。

用戶的登錄信息以記錄的方式被存放在mysql(版本為5.1.73)的表中，現(xiàn)打算使用sqoop將登錄記錄抽取并存放到hdfs上，并使用mapreduce程序統(tǒng)計每個用戶的登錄次數(shù)。

環(huán)境描述：
采用4臺虛擬機部署hadoop2.6.5的完全分布式環(huán)境，在其中一臺擔任namenode節(jié)點的主機上安裝mysql-server和sqoop，用于存放和抽取源數(shù)據(jù)。除此之外，使用一臺另外的機器編寫mapreduce程序和發(fā)布jar包，提供給hadoop使用。
4臺部署hadoop機器信息與集群中擔任的角色信息如下：

IP         主機名              hadoop集群擔任角色
10.0.1.100    hadoop-test-nn    NameNode,ResourceManager
10.0.1.101    hadoop-test-snn   SecondaryNameNode
10.0.1.102    hadoop-test-dn1   DataNode,NodeManager
10.0.1.103    hadoop-test-dn2   DataNode,NodeManager

涉及軟件：
1. jdk1.7.0_45 --hadoop和sqoop運行必須。
2. hadoop2.6.5 --下載地址：http://apache.fayea.com/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
3. sqoop1.4.6 --下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/ 注：請選擇sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz下載，其他版本可能存在于hadoop2.6.5不兼容，導(dǎo)致抽取數(shù)據(jù)時出現(xiàn)異常。
4. mysql-connector-java-5.1.32-bin.jar，連接mysql的可執(zhí)行JAR包，用于提供給sqoop連接mysql數(shù)據(jù)庫，可以從https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz 下載的tar包中解壓后的目錄中獲得。

準備工作：
1. 修改主機名，修改/etc/hosts文件，配置主機名和IP映射關(guān)系，使各VM間可以互相解析主機名：
在每個VM的/etc/hosts文件中添加如下記錄：

10.0.1.100      hadoop-test-nn nn
10.0.1.101      hadoop-test-snn snn
10.0.1.102      hadoop-test-dn1 dn1
10.0.1.103      hadoop-test-dn2 dn2

2. 在每個VM上建立hadoop用戶，以后的配置工作使用hadoop用戶來進行，并使用ssh-keygen和ssh-copy-id命令配置各VM的hadoop用戶可以SSH互信訪問。
3. 安裝JDK并配置環(huán)境變量：為每臺VM解壓jdk的jar包到/usr/local/java下，安裝JDK，并配置JAVA_HOME變量，在/etc/profile中添加如下記錄：

export JAVA_HOME=/usr/local/java/jdk1.7.0_45
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

下一節(jié)介紹hadoop完全分布式環(huán)境搭建。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當前題目：hadoop2.6.5+sqoop1.4.6環(huán)境部署與測試（一）-創(chuàng)新互聯(lián)
文章鏈接：http://muchs.cn/article34/spgse.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、軟件開發(fā)、網(wǎng)站設(shè)計、品牌網(wǎng)站建設(shè)、ChatGPT、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)