sqoopclob從Oracle導(dǎo)入到hive 回車換行導(dǎo)致記錄增多

sqoop import --hive-import --hive-overwrite  --connect jdbc:oracle:thin:@192.168.92.136:1521:cyporcl --username ODS --password 'od154DS$!('  -m 1  --hive-database ODS --table Q_TRA_DISPUTESTATUS --fields-terminated-by '\001' --hive-drop-import-delims  --null-string '\\N' --null-non-string '\\N'  --map-column-java DISPUTERESULT=String

在成都做網(wǎng)站、網(wǎng)站制作過(guò)程中，需要針對(duì)客戶的行業(yè)特點(diǎn)、產(chǎn)品特性、目標(biāo)受眾和市場(chǎng)情況進(jìn)行定位分析，以確定網(wǎng)站的風(fēng)格、色彩、版式、交互等方面的設(shè)計(jì)方向。創(chuàng)新互聯(lián)還需要根據(jù)客戶的需求進(jìn)行功能模塊的開發(fā)和設(shè)計(jì)，包括內(nèi)容管理、前臺(tái)展示、用戶權(quán)限管理、數(shù)據(jù)統(tǒng)計(jì)和安全保護(hù)等功能。

DISPUTERESULT 這個(gè)字段是Oracleclob 類型的，里面有回車， 加載到hive 里面導(dǎo)致 記錄增多。

--map-column-java和--map-column-hive兩個(gè)參數(shù)都要顯示給出；還需要設(shè)置--hive-drop-import-delims這樣才能順利導(dǎo)出數(shù)據(jù)。

.導(dǎo)入的列有換行符如何解決
本以為萬(wàn)事大吉，萬(wàn)萬(wàn)沒(méi)想到導(dǎo)入的列有nclob類型，里面存儲(chǔ)了一篇篇文章，勢(shì)必有著換行符。果不其然，hive查詢數(shù)據(jù)全部錯(cuò)亂， 查詢資料發(fā)現(xiàn)--hive-delims-replacement（替換/n,/r等符號(hào)用你指定的字符）和--hive-drop-import-delims參數(shù)?？商砑由先グl(fā)現(xiàn)并沒(méi)有什么卵用，沒(méi)有起作用。百度goole很久，終于發(fā)現(xiàn)一篇帖子，http://stackoverflow.com/questions/28076200/hive-drop-import-delims-not-removing-newline-while-using-hcatalog-in-sqoop
意思是要用--map-column-java參數(shù)來(lái)顯示指定列為String類型。我的解決方案為 --map-column-java 我的CLOB列=String 果然，問(wèn)題解決，換行符全部被去掉。不過(guò)聽說(shuō)改變存儲(chǔ)格式 或許也可以避免這個(gè)問(wèn)題，希望有著經(jīng)驗(yàn)的大神來(lái)回答一下?？偨Y(jié)下來(lái)就這么多，希望能幫助大家

網(wǎng)頁(yè)題目：sqoopclob從Oracle導(dǎo)入到hive 回車換行導(dǎo)致記錄增多
標(biāo)題鏈接：http://www.muchs.cn/article46/ghjjeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供做網(wǎng)站、服務(wù)器托管、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站設(shè)計(jì)、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)