centos6.564位下如何編譯hadoop2.5.1源碼

這篇文章主要介紹centos6.5 64位下如何編譯hadoop2.5.1源碼，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)建站堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站設(shè)計(jì)、做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿(mǎn)足客戶(hù)于互聯(lián)網(wǎng)時(shí)代的大安網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

需要的工具：centos6.5 -64bit
jdk1.7.0.71
maven3.23 （http://mirrors.cnnic.cn/apache/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz）
ant1.9 （http://mirrors.cnnic.cn/apache//ant/binaries/apache-ant-1.9.4-bin.tar.gz）
findbugs (http://cznic.dl.sourceforge.net/project/findbugs/findbugs/2.0.3/findbugs-2.0.3.tar.gz)
需要的軟件：java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake

檢測(cè)系統(tǒng)中是否已安裝了某一軟件命令：rpm -qa|grep 軟件名，如檢測(cè)系統(tǒng)中是否安裝了svn：
$ rpm -qa|grep svn
如果已安裝，則跳過(guò)，如果沒(méi)有安裝，用命令：yum install svn進(jìn)行安裝，如：
$ yum install svn

如果yum命令安裝失敗（找不到相應(yīng)的包），則需手動(dòng)下載相應(yīng)的軟件包進(jìn)行安裝，比如maven, protobuf這兩個(gè)個(gè)軟件；

接下需要首先去apach官網(wǎng)下載hadoop2.5.1源碼包，并解壓；之后安裝jdk、maven、ant.詳細(xì)步驟網(wǎng)上很多。

        問(wèn)題導(dǎo)讀：

        1.如果獲取hadoop src  maven包？
        2.編譯hadoop需要裝哪些軟件？
        3.如何編譯hadoop2.4?
        擴(kuò)展：
        編譯hadoop為何安裝這些軟件？

        protobuf的安裝
            為防止出錯(cuò)，這里補(bǔ)充一些內(nèi)容，
                先安裝g++

sudo apt-get install g++

centos 下：yum install gcc-c++

下載 protobuf-2.5.0.tar.gz 網(wǎng)盤(pán)下載鏈接：http://pan.baidu.com/s/1dDgWe6P 密碼：xgiu

解壓 tar zxvf protobuf-2.5.0.tar.gz

$ sudo ./configure

$ sudo make

$ sudo make check

$ sudo make install

$ sudo ldconfig

如果系統(tǒng)中已經(jīng)存在了低版本的protobuf，并被識(shí)別出來(lái)，則進(jìn)行如下設(shè)置

修改環(huán)境變量：

vi /etc/profile

export LD_LIBRARY_PATH=~/protobuf-2.5.0

（LD_LIBRARY_PATH的這里，填寫(xiě)的是protobuf文件的位置）

source /etc/profile

注意：配置/etc/profile，在虛擬機(jī)重啟后，可能配置會(huì)失效，所以重啟后，需要再次執(zhí)行source操作。

驗(yàn)證 protoc --version

centos6.5 64位下如何編譯hadoop2.5.1源碼

.安裝openssl庫(kù)

sudo apt-get install libssl-dev / yum install openssl

CMake安裝

sudo apt-get install cmake / sudo yum install cmake

安裝findbugs（選擇安裝）

$ wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz?download
$ sudo tar zxf findbugs-2.0.3.tar.gz -C /opt
$ sudo vim /etc/profile
export FINDBUGS_HOME=/opt/findbugs-2.0.3
export PATH=$PATH:$FINDBUGS_HOME/bin

驗(yàn)證：
[root@hadoop001 bin]# fb -version
2.0.3

進(jìn)入src包執(zhí)行編譯命令

mvn package -Pdist,native -DskipTests -Dtar --不生成文檔

生成文檔的還未試驗(yàn)

使用-Pdocs選項(xiàng)可以生成文檔,當(dāng)然前提是安裝了Forrest 和Findbugs 可以參考如下命令手動(dòng)指定:FORREST_HOME和FINDBUGS_HOME.

mvn package -Pdocs -DskipTests -Dtar -Dmaven.test.skip -Denv.FORREST_HOME=/usr/local/apache-forrest -Denv.FINDBUGS_HOME=/usr/local/findbugs

生成的文檔在各自的target/site目錄下.

記錄：

jdk1.8下編譯會(huì)有處理注釋標(biāo)簽的問(wèn)題。類(lèi)似于一下問(wèn)題：

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-annotations: MavenReportException: Error while creating archive:

[ERROR] Exit code: 1 - /home/hadoop/Desktop/hadoop-2.5.1-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexpected end tag: </ul>

解決：更換為jdk1.7

[ERROR] around Ant part ...<exec dir="/home/hadoop/Desktop/hadoop-2.5.1-src/hadoop-common-project/hadoop-common/target/native" executable="cmake" failonerror="true">... @ 4:141 in /home/hadoop/Desktop/hadoop-2.5.1-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml

解決：

yum -y install zlib-devel

debian:apt-get install zlib1g-dev

yum -y install ncurses-devel

debian: apt-get install libncurses5-dev

[ERROR] around Ant part ...<exec dir="/home/hadoop/Desktop/hadoop-2.5.1-src/hadoop-tools/hadoop-pipes/target/native" executable="cmake" failonerror="true">... @ 5:131 in /home/hadoop/Desktop/hadoop-2.5.1-src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml

解決

yum install openssl-devel

以上是“centos6.5 64位下如何編譯hadoop2.5.1源碼”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

當(dāng)前標(biāo)題：centos6.564位下如何編譯hadoop2.5.1源碼
瀏覽路徑：http://muchs.cn/article20/gddcjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、App設(shè)計(jì)、網(wǎng)站制作、品牌網(wǎng)站制作、全網(wǎng)營(yíng)銷(xiāo)推廣、靜態(tài)網(wǎng)站

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀(guān)點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容