Java大數(shù)據(jù)開發(fā)中Hadoop的HDFS內(nèi)部原理是什么

這篇文章將為大家詳細(xì)講解有關(guān)Java大數(shù)據(jù)開發(fā)中Hadoop的HDFS內(nèi)部原理是什么，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

成都創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),桐廬企業(yè)網(wǎng)站建設(shè),桐廬品牌網(wǎng)站建設(shè),網(wǎng)站定制,桐廬網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,桐廬網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力。可充分滿足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

1、客戶端向NameNode請求上傳文件，NameNode會檢查目標(biāo)文件是否已存在，父目錄是否存在。所以NameNode起到了統(tǒng)一管理的作用。

2、NameNode返回是否可以上傳，NameNode知道每一個數(shù)據(jù)節(jié)點的情況。

3、客戶端請求第一個塊( block)上傳到集群上哪幾個DataNode服務(wù)器上。

4、NameNode返回3個DataNode節(jié)點，分別為dn1、dn2、dn3三個節(jié)點。集群在啟動的時候NameNode就已經(jīng)知道DataNode節(jié)點了、

5、客戶端請求dn1上傳數(shù)據(jù)，dn1收到請求會繼續(xù)調(diào)用dn2，然后dn2調(diào)用dn3，將這個通信管道建立完成。

6、dn1、dn2、dn3依次逐級應(yīng)答客戶端。

7、客戶端開始往dn1上傳第一個block（先從磁盤讀取數(shù)據(jù)放到一個本地內(nèi)存緩存），以packet為單位，dn1收到一個packet就會傳給dn2，dn2傳給dn3；dn1每傳一個packet會放入一個應(yīng)答隊列等待應(yīng)答。

8、當(dāng)一個block傳輸完成之后，客戶端再次請求NameNode上傳第二個block的服務(wù)器。（重復(fù)執(zhí)行3-7步）。

網(wǎng)絡(luò)拓?fù)涓拍?/strong>

在數(shù)據(jù)處理中，兩個節(jié)點間的帶寬作為距離的衡量標(biāo)準(zhǔn)。

節(jié)點距離：兩個節(jié)點到達(dá)最近的共同祖先的距離總和。

例如，假設(shè)有數(shù)據(jù)中心d1（d1為集群）機(jī)架r1中的節(jié)點n1。該節(jié)點可以表示為/d1/r1/n1。利用這種標(biāo)記，這里給出四種距離描述。

Range(/d1/r1/n1, /d1/r1/n1)=0（同一節(jié)點上的進(jìn)程）

Range(/d1/r1/n1, /d1/r1/n2)=2（同一機(jī)架上的不同節(jié)點）

Range(/d1/r1/n1, /d1/r3/n2)=4（同一數(shù)據(jù)中心不同機(jī)架上的節(jié)點）

Range(/d1/r1/n1, /d2/r4/n2)=6（不同數(shù)據(jù)中心的節(jié)點）

注意：

對于n0 n1 n2 ，機(jī)架r1是共同祖先
對于機(jī)架r1 機(jī)架r12 機(jī)架r13，集群d1是共同祖先

依次類推......

舉例：為什么Range(/d1/r1/n1, /d2/r4/n2)=6？

副本存儲節(jié)點選擇

第一個副本在集群節(jié)點上，隨機(jī)選一個。

第二個副本和第一個副本位于相同機(jī)架上，但節(jié)點是隨機(jī)的。

第三個副本位于不同機(jī)架的隨機(jī)節(jié)點上。

HDFS讀數(shù)據(jù)的流程

1、客戶端向NameNode請求下載文件，NameNode會通過查詢元數(shù)據(jù)，找到DataNode地址，即文件塊所在的地址。

2、挑選一臺DataNode服務(wù)器，至于選哪一臺機(jī)器是就近原則，然后隨機(jī) ，請求讀取數(shù)據(jù)。

3、DataNode開始傳輸數(shù)據(jù)給客戶端，從磁盤里面讀取數(shù)據(jù)輸入流，以packet為單位來做校驗。

4、客戶端以packet為單位接收，先在本地緩存，然后寫入目標(biāo)文件。

關(guān)于“Java大數(shù)據(jù)開發(fā)中Hadoop的HDFS內(nèi)部原理是什么”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。