python處理數(shù)據(jù),存進(jìn)hive表的方法-創(chuàng)新互聯(lián)

首先，公司的小組長(zhǎng)給了我一個(gè)任務(wù)，把一個(gè)txt的文件中的部分內(nèi)容，存進(jìn)一個(gè)在hive中已有的表的相同結(jié)構(gòu)的表中。所以我的流程主要有三個(gè)，首先，把數(shù)據(jù)處理成和hive中表相同結(jié)構(gòu)的數(shù)據(jù)，然后仿照已有的hive中表的結(jié)構(gòu)再創(chuàng)建一張新的數(shù)據(jù)表，最后把本地的txt文件上傳到hive中新建的數(shù)據(jù)表中。

成都創(chuàng)新互聯(lián)網(wǎng)站建設(shè)公司一直秉承“誠(chéng)信做人，踏實(shí)做事”的原則，不欺瞞客戶，是我們最起碼的底線！ 以服務(wù)為基礎(chǔ)，以質(zhì)量求生存，以技術(shù)求發(fā)展，成交一個(gè)客戶多一個(gè)朋友！專注中小微企業(yè)官網(wǎng)定制，網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì)，塑造企業(yè)網(wǎng)絡(luò)形象打造互聯(lián)網(wǎng)企業(yè)效應(yīng)。

1：已有的數(shù)據(jù)表的結(jié)構(gòu)和在hive表中的結(jié)構(gòu)完全對(duì)不上，下面的圖是原來(lái)hive中表的結(jié)構(gòu)和小組長(zhǎng)給我的txt中表的結(jié)構(gòu)：

大家可以看出，我們?cè)瓉?lái)的hive中表的字段一共有17個(gè)，而組長(zhǎng)給我的表中的字段一共有9個(gè)，其中最后一個(gè)為json結(jié)構(gòu)，而且順序還不對(duì)，所以我們要進(jìn)行篩選，把對(duì)應(yīng)上的字段放到相應(yīng)位置，對(duì)應(yīng)不上的字段寫成空。

大家要注意幾個(gè)地方，原來(lái)的數(shù)據(jù)是按照tab來(lái)劃分的，所以我們要數(shù)好對(duì)應(yīng)的tab的數(shù)目，好來(lái)計(jì)算出來(lái)數(shù)據(jù)的實(shí)際的位置信息，然后我們按照原來(lái)hive表中的數(shù)據(jù)順序，重新排列我們新建表的數(shù)據(jù)的順序，下面給大家看看結(jié)果：

其中l(wèi)ine[0]=null，line[1]=102，大家以此類推。

3：我們把本地的txt文件導(dǎo)入到hive表中。首先我們要新建一個(gè)和原來(lái)hive表中相同結(jié)構(gòu)的數(shù)據(jù)表，然后把我們的數(shù)據(jù)導(dǎo)入到表中，

hive> creat table new_sft(x1 string,x2 string ,...,xn string) partitioned by (d string);

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站標(biāo)題：python處理數(shù)據(jù),存進(jìn)hive表的方法-創(chuàng)新互聯(lián)
URL標(biāo)題：http://muchs.cn/article20/djejco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、網(wǎng)站改版、網(wǎng)站建設(shè)、做網(wǎng)站、虛擬主機(jī)、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)