Hbase架構(gòu)入門知識(shí)點(diǎn)有哪些

本篇內(nèi)容介紹了“Hbase架構(gòu)入門知識(shí)點(diǎn)有哪些”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)建站-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比安順網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式安順網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋安順地區(qū)。費(fèi)用合理售后完善，10多年實(shí)體公司更值得信賴。

Hbase結(jié)構(gòu)圖

Hbase本身包含三部分,Zookeeper,HMaster,HRegionServer

• Zookeeper: 1.保證任何時(shí)候只有一個(gè)活躍的Master 2.存儲(chǔ)所有的Region的地址,知道哪個(gè)Region存儲(chǔ)在哪臺(tái)機(jī)器上 3.時(shí)刻監(jiān)控RegionServer的狀態(tài),將RegionServer的上下線信息,RegionServer不直接向HMaster匯報(bào)，減輕HMaster的壓力，通過(guò)Zookeeoer發(fā)送信息 4.存儲(chǔ)Hbase的元數(shù)據(jù)結(jié)構(gòu)(Schema),知道集群中有哪些Table,每個(gè)Table有哪些Column Family

• HMaster: 1.為所有的RegionServer分配Region 2.負(fù)責(zé)RegionServer的負(fù)載均衡 3.發(fā)現(xiàn)失效的RegionServer,重新分配上面的Region 4.HDFS的垃圾文件 5.處理Schema請(qǐng)求(表的創(chuàng)建,刪除,修改,列族的增加等)

• HRegionServer:負(fù)責(zé)數(shù)據(jù)的讀寫(xiě)操作,客戶端直接和RegionServer交互

RegionServer介紹

• 一個(gè)RegionServer會(huì)有多個(gè)Region,

• 每個(gè)Region有多個(gè)Store

• 每個(gè)Store有多個(gè)StoreFile(HFile)

• 每個(gè)Store有一個(gè)Memstore

客戶端通過(guò)發(fā)請(qǐng)求到RegionServer端，寫(xiě)入的時(shí)候會(huì)先寫(xiě)入WAL日志中，其次會(huì)將數(shù)據(jù)寫(xiě)入memstore內(nèi)存，當(dāng)數(shù)據(jù)達(dá)到一定大小后會(huì)flush成一個(gè)個(gè)的StoreFile(HFile)文件，當(dāng)文件達(dá)到一定數(shù)量后，通過(guò)compaction的操作合并成更大文件，這樣數(shù)據(jù)讀取會(huì)更快。

1）HRegion：

（1）、簡(jiǎn)介：Table在行的方向上分隔為多個(gè)Region，Region是HBase中分布式存儲(chǔ)和負(fù)載均衡的最小單元，即不同的Region可以分在不同的RegionServer上面，但同一個(gè)Region是不會(huì)拆分到多個(gè)Server上面的。隨著數(shù)據(jù)的增多，某個(gè)列族的達(dá)到一個(gè)閾值就會(huì)分成兩個(gè)新的Region。結(jié)構(gòu)：<表名，startRowkey，創(chuàng)建時(shí)間>，由目錄表（-ROOT-，.META.）記錄該Region的endRowkey （2）、Store：

（1）簡(jiǎn)介：每一個(gè)Region由一個(gè)或則多個(gè)Store組成，至少是一個(gè)Store，HBase會(huì)把訪問(wèn)的數(shù)據(jù)存放在Store中，即每一個(gè)列族建一個(gè)Store，如果有多個(gè)ColumnFamily，就多多個(gè)Store，一個(gè)Store由一個(gè)MemStore和0或則多個(gè)StoreFile組成。HBase通過(guò)Store的大小判斷是否需要切分Region。

（2）MemStore：它是放在內(nèi)存中的，保存修改的數(shù)據(jù)，即key/values。當(dāng)MemStore的大小達(dá)到一定的閾值的時(shí)候（默認(rèn)128M），MemStore會(huì)被Flush到文件，即生成一個(gè)快照StoreFile，F(xiàn)lush過(guò)程由一個(gè)線程完成。

（3）StoreFile：StoreFile底層是HFile，HFile是Hadoop的二進(jìn)制格式文件，

（2）HLog：WAL文件，用來(lái)災(zāi)難恢復(fù)使用，HLog記錄數(shù)據(jù)的所有變更，一旦RegionServer宕機(jī)，就從HLog中進(jìn)行恢復(fù)，HLog文件就是一個(gè)普通的Hadoop Sequence File，Sequence File記錄了寫(xiě)入數(shù)據(jù)的歸屬信息，除了Table和Region名字外，還同時(shí)包括了Sequence Number和TimeStamp，Sequence File的value是HBase的key/value對(duì)象，即對(duì)應(yīng)的HFile中的key/value。

Hbase 中的 Compaction

其實(shí)Compaction操作屬于資源密集型操作特別是IO密集型，這點(diǎn)后面也會(huì)提及到，Compaction本質(zhì)上其實(shí)就是犧牲了部分IO，以換取相對(duì)穩(wěn)定的讀取性能。 compaction的核心作用是：通過(guò)合并大量小文件為一個(gè)大文件來(lái)減少hfile的總數(shù)量，進(jìn)而保證讀延遲的穩(wěn)定。

HBase Compaction分為兩種：Minor Compaction 與 Major Compaction，通常我們簡(jiǎn)稱為小合并、大合并

“Hbase架構(gòu)入門知識(shí)點(diǎn)有哪些”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

新聞名稱：Hbase架構(gòu)入門知識(shí)點(diǎn)有哪些
文章地址：http://muchs.cn/article46/jcpeeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、域名注冊(cè)、App開(kāi)發(fā)、虛擬主機(jī)、做網(wǎng)站、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)