sqoopexport是什么-創(chuàng)新互聯(lián)

這篇文章主要講解了“sqoop export是什么”,文中的講解內(nèi)容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“sqoop export是什么”吧!

創(chuàng)新互聯(lián)公司堅持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:網(wǎng)站建設(shè)、成都網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時代的麥積網(wǎng)站設(shè)計、移動媒體設(shè)計的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!

一、Sqoop export簡介
  Sqoop export工具被用來將文件集合從HDFS中導入到關(guān)系型數(shù)據(jù)庫中。目標表必須事先已經(jīng)在數(shù)據(jù)庫中創(chuàng)建好。輸入文件根據(jù)用戶指定的分隔符被讀取解析成記錄集。Sqoop默認的是將這些操作轉(zhuǎn)換成“INSERT模式”,向目標數(shù)據(jù)庫中注入數(shù)據(jù)記錄。在“更新模式”中,Sqoop將會產(chǎn)生更新語句替換數(shù)據(jù)庫中已經(jīng)存在的記錄。在“調(diào)用模式”中,Sqoop會為每個記錄產(chǎn)生一個存儲過程調(diào)用。
1、“INSERT模式”:Sqoop默認將每條記錄以轉(zhuǎn)換成INSERT語句,添加到數(shù)據(jù)庫表中,如果你的表存在一些約束如關(guān)鍵字唯一等,使用插入模式要當心,避免違反這些約束。如果一條記錄插入失敗那么,該導入job將會失敗。這種模式一般用于將數(shù)據(jù)導入到一個新的、空的表。Sqoop默認情況下使用INSERT 模式
2、“UPDATE模式”:如果指定--update-key參數(shù),Sqoop將會修改一個數(shù)據(jù)庫中存在的數(shù)據(jù)集,每一條記錄都會當做UPDATE語句來修改存在的記錄。記錄的修改語句根據(jù)--update-key指定的列決定。如果一個更新語句在數(shù)據(jù)庫中沒有對應(yīng)的記錄,則不會報錯,導出操作會繼續(xù)進行。事實上,這意味著不會在數(shù)據(jù)庫中導入新的記錄,只是更新原始數(shù)據(jù)。

二、參數(shù)介紹
--update-key 后面也可以接多個關(guān)鍵字列名,可以使用逗號隔開,Sqoop將會匹配多個關(guān)鍵字后再執(zhí)行更新操作。
--export-dir 參數(shù)配合--table或者--call參數(shù)使用,指定了HDFS上需要將數(shù)據(jù)導入到MySQL中的文件集目錄。
--update-mode updateonly和allowinsert。 默認模式為updateonly,如果指定--update-mode模式為allowinsert,可以將目標數(shù)據(jù)庫中原來不存在的數(shù)據(jù)也導入到數(shù)據(jù)庫表中。即將存在的數(shù)據(jù)更新,不存在數(shù)據(jù)插入。

三、組合測試及說明
1、當指定update-key,且關(guān)系型數(shù)據(jù)庫表存在主鍵時:
   A、allowinsert模式時,為更新目標數(shù)據(jù)庫表存的內(nèi)容,并且原來不存在的數(shù)據(jù)也導入到數(shù)據(jù)庫表;
   B、updateonly模式時,為更新目標數(shù)據(jù)庫表存的內(nèi)容,并且原來不存在的數(shù)據(jù)也不導入到數(shù)據(jù)庫表;
   
2、當指定update-key,且關(guān)系型數(shù)據(jù)庫表不存在主鍵時:
   A、allowinsert模式時,為全部數(shù)據(jù)追加導入到數(shù)據(jù)庫表;
   B、updateonly模式時,為更新目標數(shù)據(jù)庫表存的內(nèi)容,并且原來不存在的數(shù)據(jù)也不導入到數(shù)據(jù)庫表;

3、當不指定update-key,且關(guān)系型數(shù)據(jù)庫表存在主鍵時:
   A、allowinsert模式時,報主鍵沖突,數(shù)據(jù)無變化;
   B、updateonly模式時,報主鍵沖突,數(shù)據(jù)無變化;

4、當不指定update-key,且關(guān)系型數(shù)據(jù)庫表不存在主鍵時:
   A、allowinsert模式時,為全部數(shù)據(jù)追加導入到數(shù)據(jù)庫表;
   B、updateonly模式時,為全部數(shù)據(jù)追加導入到數(shù)據(jù)庫表。

感謝各位的閱讀,以上就是“sqoop export是什么”的內(nèi)容了,經(jīng)過本文的學習后,相信大家對sqoop export是什么這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!

新聞名稱:sqoopexport是什么-創(chuàng)新互聯(lián)
當前路徑:http://muchs.cn/article12/csjogc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供外貿(mào)網(wǎng)站建設(shè)、標簽優(yōu)化、網(wǎng)站營銷虛擬主機、微信小程序小程序開發(fā)

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都app開發(fā)公司