Hadoop基礎(chǔ)入門(mén)學(xué)習(xí)筆記（基本概念）

一、數(shù)據(jù)塊(blck)

創(chuàng)新互聯(lián)專注于滄縣網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供滄縣營(yíng)銷型網(wǎng)站建設(shè)，滄縣網(wǎng)站制作、滄縣網(wǎng)頁(yè)設(shè)計(jì)、滄縣網(wǎng)站官網(wǎng)定制、微信小程序定制開(kāi)發(fā)服務(wù)，打造滄縣網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供滄縣網(wǎng)站排名全網(wǎng)營(yíng)銷落地服務(wù)。

HDFS(Hadp Distributed File System)默認(rèn)的最基本的存儲(chǔ)單位是64M的數(shù)據(jù)塊。 

和普通文件系統(tǒng)相同的是，HDFS中的文件是被分成64M一塊的數(shù)據(jù)塊存儲(chǔ)的。 

不同于普通文件系統(tǒng)的是，HDFS中，如果一個(gè)文件小于一個(gè)數(shù)據(jù)塊的大小，并不占用整個(gè)數(shù)據(jù)塊存儲(chǔ)空間。

二、元數(shù)據(jù)節(jié)點(diǎn)(Namende)和數(shù)據(jù)節(jié)點(diǎn)(datande)

元數(shù)據(jù)節(jié)點(diǎn)用來(lái)管理文件系統(tǒng)的命名空間 

其將所有的文件和文件夾的元數(shù)據(jù)保存在一個(gè)文件系統(tǒng)樹(shù)中。 

這些信息也會(huì)在硬盤(pán)上保存成以下文件：命名空間鏡像(namespace p_w_picpath)及修改日志(edit lg) 

其還保存了一個(gè)文件包括哪些數(shù)據(jù)塊，分布在哪些數(shù)據(jù)節(jié)點(diǎn)上。然而這些信息并不存儲(chǔ)在硬盤(pán)上，而是在系統(tǒng)啟動(dòng)的時(shí)候從數(shù)據(jù)節(jié)點(diǎn)收集而成的。

數(shù)據(jù)節(jié)點(diǎn)是文件系統(tǒng)中真正存儲(chǔ)數(shù)據(jù)的地方。 

客戶端(client)或者元數(shù)據(jù)信息(namende)可以向數(shù)據(jù)節(jié)點(diǎn)請(qǐng)求寫(xiě)入或者讀出數(shù)據(jù)塊。 

其周期性的向元數(shù)據(jù)節(jié)點(diǎn)回報(bào)其存儲(chǔ)的數(shù)據(jù)塊信息。

從元數(shù)據(jù)節(jié)點(diǎn)(secndary namende) 

從元數(shù)據(jù)節(jié)點(diǎn)并不是元數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)候的備用節(jié)點(diǎn)，它和元數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)不同的事情。 

其主要功能就是周期性將元數(shù)據(jù)節(jié)點(diǎn)的命名空間鏡像文件和修改日志合并，以防日志文件過(guò)大。這點(diǎn)在下面會(huì)詳細(xì)敘述。 

合并過(guò)后的命名空間鏡像文件也在從元數(shù)據(jù)節(jié)點(diǎn)保存了一份，以防元數(shù)據(jù)節(jié)點(diǎn)失敗的時(shí)候，可以恢復(fù)。

1、元數(shù)據(jù)節(jié)點(diǎn)文件夾結(jié)構(gòu)

VERSIN文件是java prperties文件，保存了HDFS的版本號(hào)。 

layutVersin是一個(gè)負(fù)整數(shù)，保存了HDFS的持續(xù)化在硬盤(pán)上的數(shù)據(jù)結(jié)構(gòu)的格式版本號(hào)。 

namespaceID是文件系統(tǒng)的唯一標(biāo)識(shí)符，是在文件系統(tǒng)初次格式化時(shí)生成的。 

cTime此處為0 

strageType表示此文件夾中保存的是元數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)。

namespaceID=1232737062
cTime=0
strageType=NAME_NDE
layutVersin=-18

2、文件系統(tǒng)命名空間映像文件及修改日志

當(dāng)文件系統(tǒng)客戶端(client)進(jìn)行寫(xiě)操作時(shí)，首先把它記錄在修改日志中(edit lg) 

元數(shù)據(jù)節(jié)點(diǎn)在內(nèi)存中保存了文件系統(tǒng)的元數(shù)據(jù)信息。在記錄了修改日志后，元數(shù)據(jù)節(jié)點(diǎn)則修改內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)。 

每次的寫(xiě)操作成功之前，修改日志都會(huì)同步(sync)到文件系統(tǒng)。 

fsp_w_picpath文件，也即命名空間映像文件，是內(nèi)存中的元數(shù)據(jù)在硬盤(pán)上的checkpint，它是一種序列化的格式，并不能夠在硬盤(pán)上直接修改。 

同數(shù)據(jù)的機(jī)制相似，當(dāng)元數(shù)據(jù)節(jié)點(diǎn)失敗時(shí)，則最新checkpint的元數(shù)據(jù)信息從fsp_w_picpath加載到內(nèi)存中，然后逐一重新執(zhí)行修改日志中的操作。 

從元數(shù)據(jù)節(jié)點(diǎn)就是用來(lái)幫助元數(shù)據(jù)節(jié)點(diǎn)將內(nèi)存中的元數(shù)據(jù)信息checkpint到硬盤(pán)上的 

checkpint的過(guò)程如下： 

從元數(shù)據(jù)節(jié)點(diǎn)通知元數(shù)據(jù)節(jié)點(diǎn)生成新的日志文件，以后的日志都寫(xiě)到新的日志文件中。 

從元數(shù)據(jù)節(jié)點(diǎn)用http get從元數(shù)據(jù)節(jié)點(diǎn)獲得fsp_w_picpath文件及舊的日志文件。 

從元數(shù)據(jù)節(jié)點(diǎn)將fsp_w_picpath文件加載到內(nèi)存中，并執(zhí)行日志文件中的操作，然后生成新的fsp_w_picpath文件。 

從元數(shù)據(jù)節(jié)點(diǎn)將新的fsp_w_picpath文件用http pst傳回元數(shù)據(jù)節(jié)點(diǎn) 

元數(shù)據(jù)節(jié)點(diǎn)可以將舊的fsp_w_picpath文件及舊的日志文件，換為新的fsp_w_picpath文件和新的日志文件(第一步生成的)，然后更新fstime文件，寫(xiě)入此次checkpint的時(shí)間。 

這樣元數(shù)據(jù)節(jié)點(diǎn)中的fsp_w_picpath文件保存了最新的checkpint的元數(shù)據(jù)信息，日志文件也重新開(kāi)始，不會(huì)變的很大了。

3、從元數(shù)據(jù)節(jié)點(diǎn)的目錄結(jié)構(gòu)

4、數(shù)據(jù)節(jié)點(diǎn)的目錄結(jié)構(gòu)

數(shù)據(jù)節(jié)點(diǎn)的VERSION文件格式如下：

namespaceID=1232737062
storageID=DS-1640411682-127.0.1.1-50010-1254997319480
cTime=0
storageType=DATA_NODE
layoutVersion=-18

blk_<id>保存的是HDFS的數(shù)據(jù)塊，其中保存了具體的二進(jìn)制數(shù)據(jù)。 

blk_<id>.meta保存的是數(shù)據(jù)塊的屬性信息：版本信息，類型信息，和checksum 

當(dāng)一個(gè)目錄中的數(shù)據(jù)塊到達(dá)一定數(shù)量的時(shí)候，則創(chuàng)建子文件夾來(lái)保存數(shù)據(jù)塊及數(shù)據(jù)塊屬性信息。

網(wǎng)頁(yè)題目：Hadoop基礎(chǔ)入門(mén)學(xué)習(xí)筆記（基本概念）
分享鏈接：http://www.muchs.cn/article34/jpjspe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、建站公司、定制開(kāi)發(fā)、微信公眾號(hào)、商城網(wǎng)站、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)