這篇文章主要介紹了datax如何編譯安裝,具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
創(chuàng)新互聯(lián)長(zhǎng)期為上千多家客戶提供的網(wǎng)站建設(shè)服務(wù),團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年,關(guān)注不同地域、不同群體,并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù);打造開放共贏平臺(tái),與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為襄垣企業(yè)提供專業(yè)的成都做網(wǎng)站、成都網(wǎng)站建設(shè),襄垣網(wǎng)站改版等技術(shù)服務(wù)。擁有十載豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。
1.centos系統(tǒng)maven安裝參考https://www.cnblogs.com/laoayi/p/12867990.html
1.下載 官網(wǎng)地址: http://maven.apache.org/download.cgi
curl -O https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz
2.解壓
tar -zxvf apache-maven-3.6.3-bin.tar.gz
3.修改環(huán)境變量
vim /etc/profile
export MAVEN_HOME=/opt/maven/apache-maven-3.6.3 export PATH=$MAVEN_HOME/bin:$PATH修改maven鏡像地址
vim /opt/maven/apache-maven-3.6.3/conf/settings.xml
添加如下代碼:
<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/repositories/central/</url> <mirrorOf>central</mirrorOf> </mirror>source /etc/profile //使用環(huán)境變量生效
4.查看是否成功安裝
mvn -version
[root@ambari-03 maven]# mvn -version
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /opt/maven/apache-maven-3.6.3
Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: /usr/local/java/jdk/jdk1.8.0_181/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-957.el7.x86_64", arch: "amd64", family: "unix"
2.下載datax源碼
安裝git
yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel
git --version //查看是否安裝成功
git clone git@github.com:alibaba/DataX.git //下載datax源碼 權(quán)限失敗需要登錄用戶
使用另一種curl方式下載源碼
curl -O https://gitee.com/jarynpl/DataX/repository/archive/master.zip
unzip master.zip //解壓
3. 通過(guò)maven打包:
$ cd {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true
編譯失敗問(wèn)題處理 :網(wǎng)址https://github.com/alibaba/datax/issues/676
[ERROR] Failed to execute goal on project clickhousewriter: Could not resolve dependencies for project com.alibaba.datax:clickhousewriter:jar:0.0.1-SNAPSHOT: Could not find artifact com.alibaba.datax:simulator:jar:0.0.1-SNAPSHOT in alimaven (http://maven.aliyun.com/nexus/content/repositories/central/) -> [Help 1]
Clickhousewriter 存在問(wèn)題,可以在該模塊 pom.xml 文件中,注釋掉該依賴(該依賴用作測(cè)試,代碼里面也沒(méi)有單元測(cè)試)
<dependency> <groupId>com.alibaba.datax</groupId> <artifactId>simulator</artifactId> <version>${datax-project-version}</version> <scope>test</scope> </dependency>另外,需要把 ClickhouseWriter.java 中 15行,引入的 ClickHouseType去掉,未識(shí)別該類
import ru.yandex.clickhouse.ClickHouseTuple;然后嘗試編譯成功。
打包成功,日志顯示如下:
[INFO] gdbwriter .......................................... SUCCESS [ 2.537 s]
[INFO] cassandrawriter .................................... SUCCESS [ 1.323 s]
[INFO] clickhousewriter ................................... SUCCESS [ 1.416 s]
[INFO] hbase20xsqlreader .................................. SUCCESS [ 5.429 s]
[INFO] hbase20xsqlwriter .................................. SUCCESS [ 1.836 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 04:07 min
[INFO] Finished at: 2021-01-22T19:24:49+08:00
[INFO] ------------------------------------------------------------------------
打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ,
結(jié)構(gòu)如下:
$ cd {DataX_source_code_home} $ ls ./target/datax/datax/ bin conf job lib log log_perf plugin script tmp
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“datax如何編譯安裝”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!
本文題目:datax如何編譯安裝
網(wǎng)頁(yè)鏈接:http://muchs.cn/article36/gphosg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供域名注冊(cè)、軟件開發(fā)、ChatGPT、品牌網(wǎng)站建設(shè)、定制開發(fā)、網(wǎng)站設(shè)計(jì)公司
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來(lái)源: 創(chuàng)新互聯(lián)