數(shù)據(jù)加載的妙招解析-創(chuàng)新互聯(lián)

  大數(shù)據(jù)中怎么來加載數(shù)據(jù)呢？數(shù)據(jù)加載應(yīng)該注意哪些問題呢?關(guān)系型數(shù)據(jù)庫和Impala、Hive加載數(shù)據(jù)有哪些區(qū)別呢？

成都創(chuàng)新互聯(lián)主營(yíng)武昌網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,重慶App定制開發(fā),武昌h5小程序開發(fā)搭建,武昌網(wǎng)站營(yíng)銷推廣歡迎武昌等地區(qū)企業(yè)咨詢

在了解加載數(shù)據(jù)之前必須明確一個(gè)概念“數(shù)據(jù)驗(yàn)證”， Impala和Hive與其他關(guān)系型數(shù)據(jù)庫不一樣，關(guān)系型數(shù)據(jù)庫是在寫的時(shí)候進(jìn)行校驗(yàn)，比如我們創(chuàng)建一個(gè)表，當(dāng)去給它加載數(shù)據(jù)的時(shí)候，它會(huì)去驗(yàn)證數(shù)據(jù)以及數(shù)據(jù)類型是不是符合要求，如果不符合，數(shù)據(jù)就加載不了。

在Hive和Impala中，它在讀的時(shí)候進(jìn)行校驗(yàn)。為什么會(huì)這樣設(shè)計(jì)呢？主要是為了提升寫的速度和加載的效率。那么，這樣檢驗(yàn)數(shù)據(jù)會(huì)不會(huì)出錯(cuò)呢？當(dāng)然不會(huì)，如果你查詢不到這個(gè)數(shù)據(jù)，它會(huì)以“null”來表達(dá)。如果要對(duì)查詢可靠性進(jìn)行保證，保證每個(gè)數(shù)據(jù)都能查到和匹配，可以通過其它的工程語言在前端進(jìn)行一個(gè)保證。

一、從HDFS加載數(shù)據(jù)

（1）為了加載數(shù)據(jù)，可以簡(jiǎn)單地添加文件到HDFS的表目錄，這個(gè)直接使用hdfs dfs命令完成

示例：從HDFS加載數(shù)據(jù)到sales表

（2）使用LOAD DATA INPATH命令，在Hive或者Impala里完成。這個(gè)操作將在HDFS內(nèi)移動(dòng)數(shù)據(jù)，就像前面的命令一樣，數(shù)據(jù)源可以是文件或目錄。

二、覆蓋數(shù)據(jù)

（1）添加OVERWRITE關(guān)鍵字在導(dǎo)入之前刪除所有記錄。就是在表目錄內(nèi)移除所有文件，然后把新文件移動(dòng)到那個(gè)目錄。

三、追加選擇的記錄到表中

（1）通過查詢插入數(shù)據(jù)

1、使用INSERT INTO來添加結(jié)果到已存在的Hive表中

2、指定WHERE條件來控制哪些記錄將被追加

四、使用元數(shù)據(jù)庫管理器加載數(shù)據(jù)

（1）元數(shù)據(jù)管理器提供了兩種方法來加載數(shù)據(jù)

五、從關(guān)系型數(shù)據(jù)庫加載數(shù)據(jù)

Sqoop內(nèi)嵌支持導(dǎo)入數(shù)據(jù)到Hive和Impala，可以添加--hive-import選項(xiàng)到Sqoop命令，在Hive元數(shù)據(jù)庫中創(chuàng)建表，從RDBMS導(dǎo)入數(shù)據(jù)到HDFS表目錄。

注意--hive-import創(chuàng)建的表在Hive和Impala中都可以訪問

有問題，隨時(shí)來，還有同行共歡聚，大家一起聊！

歡迎關(guān)注微信公眾號(hào)“大數(shù)據(jù)cn”。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站名稱：數(shù)據(jù)加載的妙招解析-創(chuàng)新互聯(lián)
新聞來源：http://muchs.cn/article24/phjje.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、建站公司、用戶體驗(yàn)、Google、域名注冊(cè)、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)