Hive初識

Hive產(chǎn)生背景：

在給大家講解Hive之前，我們要先熟悉下Hadoop的一些概念。

創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站設(shè)計制作、網(wǎng)站設(shè)計與策劃設(shè)計,疏附網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)十年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:疏附等地區(qū)。疏附做網(wǎng)站價格咨詢:13518219792

Hadoop可以分為一下幾個部分
    HDFS hadoop的文件系統(tǒng)，用于數(shù)據(jù)存儲
    MapReduce 用于數(shù)據(jù)處理
    Yarn 用于資源管理
那Hadoop 中的MapReduce程序一般處理輸入都是一些標(biāo)準(zhǔn)化的日志，假設(shè)我們有如下的日志文件。
姓名 科目 成績
張三 語文 90
李四 語文 80
王五 語文 88
張三 數(shù)學(xué) 99
李四 數(shù)學(xué) 98
王五 數(shù)學(xué) 90
我們需要對這些數(shù)據(jù)進(jìn)行處理，如獲取成績最高者、統(tǒng)計平均分等。
那么沒做一次處理我們就需要像寫八股文似的進(jìn)行編寫MapReduce程序：
    1、編寫Mapper
    2、編寫Reducer
    3、編寫main
    4、在main中定義job
    5、設(shè)置job的輸入、輸出以及參數(shù)
    6、執(zhí)行job
這樣就需要我們對MapReduce編程十分的熟悉，并且這種方式比較費時費力。同時，在一般的公司中，
對這種有固定格式的數(shù)據(jù)進(jìn)行處理我們一般都交由專門的DB進(jìn)行處理，但是DB又對MapReduce的編程不了解，
讓他們編寫MapReduce程序來處理數(shù)據(jù)就不太現(xiàn)實，那有沒有一種或者一個工具，
能讓他們使用類似sql的方式來清洗數(shù)據(jù)。
答案當(dāng)然是有的，那就是我們的Hive。

Hive是什么

Hive是一個在hadoop基礎(chǔ)上來處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫基礎(chǔ)工具。這里說它是一個工具，

它主要的功能就是方便我們處理數(shù)據(jù)，但是數(shù)據(jù)的存儲等還是在HDFS上。
Hive是架構(gòu)在Hadoop之上，可以提供類似SQL語言的查詢語句進(jìn)行簡化大數(shù)據(jù)的處理以及清晰，
方便DB進(jìn)行數(shù)據(jù)處理。
Hive開始是有Facebook開發(fā)，后由Apache軟件基金會開發(fā)，并將其Apache下的一個頂級項目。
Hive為一個開源項目，它用在好多不同的公司。

Hive的特點

1、它不像關(guān)系型數(shù)據(jù)庫只能處理少量的數(shù)據(jù)，hive由于架構(gòu)在Hadoop之上，本身就賦予了其處理大數(shù)據(jù)的能力。
2、它提供一種類似SQL的查詢語言，叫HQL或者HiveQL。
3、由于本身就是在MapReduce上進(jìn)行的二次擴展，因此hive就具有了良好的可擴展型，
如果出現(xiàn)一個hive提供不了的處理，我們可以通過編寫mapreduce程序，將其封裝成hive的一個函數(shù)。

hive的基本原理

HIve只是一個工具，他將HQL轉(zhuǎn)換成MapReduce程序運行在Yarn上面，進(jìn)行處理HDFS上存儲的數(shù)據(jù)，
這樣就可以讓我們對于簡單的數(shù)據(jù)處理，只是編寫一下HQL就可以了，不用在編寫MapReduce程序。

Hive架構(gòu)

Hive初識
用戶在使用Hive的過程中，通過CLI、JDBC/ODBC、WebUI等方式，提供HQL語句到hive中，hive通過編譯、優(yōu)化、執(zhí)行，將經(jīng)過優(yōu)化的HQL語句進(jìn)行轉(zhuǎn)換成MapReduce程序放到y(tǒng)arn上運行。
針對開始提出的查詢成績最高的那一行，我們只需要寫如下的HQL就可以了：
select * from table order by sorce desc limit 0,1

到此，整個hive的介紹就個大家講解完成了，在下一篇中，我們講會講解hive的安裝

當(dāng)前標(biāo)題：Hive初識
網(wǎng)頁網(wǎng)址：http://muchs.cn/article38/jpicpp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、域名注冊、關(guān)鍵詞優(yōu)化、品牌網(wǎng)站制作、自適應(yīng)網(wǎng)站、網(wǎng)站收錄

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容