HDFS總結(jié)

                                                  HDFS最近學(xué)習(xí)總結(jié)

一. hdfs整體運(yùn)行機(jī)制：

創(chuàng)新互聯(lián)主營(yíng)石家莊網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,app軟件開(kāi)發(fā),石家莊h5成都小程序開(kāi)發(fā)搭建,石家莊網(wǎng)站營(yíng)銷推廣歡迎石家莊等地區(qū)企業(yè)咨詢

1. 客戶把一個(gè)文件存入HDFS中，其實(shí)HDFS會(huì)把文件切成塊進(jìn)行存儲(chǔ)，會(huì)分散存儲(chǔ)到N臺(tái)Linux系統(tǒng)中（存儲(chǔ)文件塊的角色是:datanode）(重要的是切塊的行為是由客戶端決定的)
2. 一旦文件被切塊切塊存儲(chǔ)，HDFS一定要有個(gè)機(jī)制，需要記錄每一個(gè)文件的切塊信息和每個(gè)切塊具體的存儲(chǔ)機(jī)器。（記錄塊信息的是namenode）
3. 需要保證數(shù)據(jù)的安全性，HDFS將每一個(gè)塊都在集群中存放多個(gè)副本（副本數(shù)是由存儲(chǔ)時(shí)的客戶端決定的）。
4. 總結(jié) : 一個(gè)HDFS系統(tǒng)是由一臺(tái)運(yùn)行了namenode的服務(wù)器和N臺(tái)運(yùn)行了datanode的服務(wù)器組成。

二. 知識(shí)點(diǎn)：

1. 元數(shù)據(jù)由namenode管理
2. 元數(shù)據(jù)：HDFS的目錄結(jié)構(gòu)及每一個(gè)文件的塊信息（塊的id，副本數(shù)量，存放位置等）

三. namenode元數(shù)據(jù)記錄位置 ：

1. namenode把實(shí)時(shí)的完整元數(shù)據(jù)存放到內(nèi)存中
2. namenode還會(huì)在磁盤中存儲(chǔ)內(nèi)存元數(shù)據(jù)在某個(gè)時(shí)間上的鏡像文件fsimage
3. namenode會(huì)把讓元數(shù)據(jù)變化的客戶端操作記錄（類似添加）在edits日志文件中。

四. secondarynamenode 責(zé)任 ：

1. secondarynamenode會(huì)定期從namenode上下載fsimage鏡像和新生成的edits日志，然后加載fsimage鏡像到內(nèi)存中，然后順序解析edits文件，對(duì)內(nèi)存中的元數(shù)據(jù)對(duì)象進(jìn)行修改（整合）整合完成后，將內(nèi)存元數(shù)據(jù)序列化成一個(gè)新的fsimage，并將這個(gè)fsimage鏡像文件上傳給namenode。這個(gè)過(guò)程叫checkpoint
2. secondary namenode每次做checkpoint操作時(shí)，第一次checkpoint需要下載fsimage，以后就不用下載了，因?yàn)樽约旱臋C(jī)器上就已經(jīng)有了。
3. 總結(jié)：secondarynamenode 會(huì)把fsimage 和 edits 下載過(guò)到自己的機(jī)器上，進(jìn)行序列化成元數(shù)據(jù)在傳給namenode,可以記性單點(diǎn)故障處理。所以 secondarynamenode最好也配置下。

文章名稱：HDFS總結(jié)
網(wǎng)頁(yè)URL：http://www.muchs.cn/article46/iidgeg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開(kāi)發(fā)、品牌網(wǎng)站設(shè)計(jì)、全網(wǎng)營(yíng)銷推廣、搜索引擎優(yōu)化、營(yíng)銷型網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)