HDFS的基礎(chǔ)組成部分及基礎(chǔ)操作

HDFS組件結(jié)構(gòu)圖解說：

創(chuàng)新互聯(lián)長(zhǎng)期為數(shù)千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺(tái)，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為息烽企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站，息烽網(wǎng)站改版等技術(shù)服務(wù)。擁有十多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開發(fā)。

1、如圖所示中，NameNode充當(dāng)master角色，職責(zé)包括：管理文檔系統(tǒng)的命名空間(namespace)；調(diào)節(jié)客戶端訪問到需要的文件(存儲(chǔ)在DateNode中的文件)

2、DataNodes充當(dāng)slaves角色，通常情況下，一臺(tái)機(jī)器只部署一個(gè)Datenode，用來存儲(chǔ)MapReduce程序需要的數(shù)據(jù)

3、Namenode會(huì)定期從DataNodes那里收到Heartbeat和Blockreport反饋

4、Heartbeat反饋用來確保DataNode沒有出現(xiàn)功能異常；

5、Blockreport包含DataNode所存儲(chǔ)的Block集合

二、HDFS設(shè)計(jì)原則

1、文件以塊(block)方式存儲(chǔ)

2、每個(gè)塊帶下遠(yuǎn)比多數(shù)文件系統(tǒng)來的大(預(yù)設(shè)64M)

3、通過副本機(jī)制提高可靠度和讀取吞吐量

4、每個(gè)區(qū)塊至少分到三臺(tái)DataNode上（一般，對(duì)namenode進(jìn)行raid1配置，對(duì)datanode進(jìn)行raid5配置）

5、單一 master (NameNode)來協(xié)調(diào)存儲(chǔ)元數(shù)據(jù)(metadata)

6、客戶端對(duì)文件沒有緩存機(jī)制 (No data caching)

三、NameNode（NN）

NameNode主要功能提供名稱查詢服務(wù)，它是一個(gè)jetty服務(wù)器(一個(gè)開源的servlet容器，嵌入式的web服務(wù)器)

NameNode保存metadate信息包括

文件owership和permissions

文件包含哪些塊

Block保存在哪個(gè)DataNode（由DataNode啟動(dòng)時(shí)上報(bào)）

1、NameNode的metadate信息在啟動(dòng)后會(huì)加載到內(nèi)存

2、metadata存儲(chǔ)到磁盤文件名為”fsp_w_picpath” 

Block的位置信息不會(huì)保存到fsp_w_picpath

四.DataNode（DN）

保存Block

啟動(dòng)DN線程的時(shí)候會(huì)向NN匯報(bào)block信息

hadoop fs -cmd 

cmd :為具體的操作，基本上于UNIX的命令相同

args:參數(shù)

hdfs資源URL格式：scheme://bigdata/path

scheme:協(xié)議名，file或hdfs

bigdata:namenode主機(jī)名

path:路徑

eg:hdfs://localhost:9000/user/chunk/test.txt

假設(shè)已經(jīng)在core-site.xml設(shè)置了fs.default.name=hdfs://localhost:9000,

則僅使用/user/chunk/test.txt即可

hdfs命令示例：存放的數(shù)據(jù)以文件的形式存儲(chǔ)，使用絕對(duì)路徑來區(qū)分每個(gè)資源，在創(chuàng)建目錄來存儲(chǔ)資源時(shí)候要加/

#創(chuàng)建目錄

hadoop fs -mkidr /myFirstDir 

#查看創(chuàng)建的目錄

hadoop fs -ls /myFirstDir #返回為空，目前還沒存放數(shù)據(jù)

#對(duì)當(dāng)前創(chuàng)建目錄存放文件

hadoop fs -put /etc/shadow /myFirstDir

#查看目錄下的文件

hadoop fs -ls /myFirstDir

#復(fù)制文件到指定的位置

hadoop fs -get /hadoop目下的文件  /本地文件路徑

hadoop fs -get /myFirstDir/shadow /home/#下載shadow到/home目錄下

#新建一個(gè)空文件

 hadoop fs -touchz /myFirstDir/newFile.txt

#將hadoop上某個(gè)文件重命名

hadoop fs -mv /myFirstDir/newFile.txt /myFirstDir/bigdata.txt

#將hadoop指定目錄下所有內(nèi)容保存為一個(gè)文件，同時(shí)down至本地

 hadoop dfs -getmerge /myFirstDir/bigdata.txt /home/a

#查看文件里的內(nèi)容

hadoop fs -cat /myFirstDir/shadow

#查看最后1000字節(jié)數(shù)據(jù)

hadoop fs -tail /myFirsDir/shadow

#刪除文件\目錄

hadoop fs -rm -R /myFirstDir/shadow

hadoop fs -rm -R /myFirstDir/Secondary

#查看HDFS下的文件

 hadoop fs -ls /

#查看集群數(shù)據(jù)的信息，登陸master節(jié)點(diǎn)查看

http://192.168.1.114:50070

管理與更新

#查看HDFS的基本統(tǒng)計(jì)信息

hadoop dfsadmin -report

#進(jìn)出安全模式

hadoop dfsadmin -safemode enter

hadoop dfsadmin -safemode leave

#節(jié)點(diǎn)添加

添加一個(gè)新的DataNode節(jié)點(diǎn)，先在新加節(jié)點(diǎn)上安裝好Hadoop，

要和NameNode使用相同的配置（可以直接從NameNode復(fù)制），修改$HADOOP_HOME/conf/master文件，加入NameNode主機(jī)名。

然后在NameNode節(jié)點(diǎn)上修改$HADOOP_HOME/conf/slaves文件，加入新節(jié)點(diǎn)名，再建立新加節(jié)點(diǎn)無密碼的SSH連接，運(yùn)行啟動(dòng)命令為：

/bin/start-all.sh

#負(fù)載均衡

HDFS的數(shù)據(jù)在各個(gè)DataNode中的分布可能很不均勻，尤其是在DataNode節(jié)點(diǎn)出現(xiàn)故障或新增DataNode節(jié)點(diǎn)時(shí)。

新增數(shù)據(jù)塊時(shí)NameNode對(duì)DataNode節(jié)點(diǎn)的選擇策略也有可能導(dǎo)致數(shù)據(jù)塊分布不均勻。

用戶可以使用命令重新平衡DataNode上的數(shù)據(jù)塊的分布：

start-balancer.sh

文章題目：HDFS的基礎(chǔ)組成部分及基礎(chǔ)操作
文章轉(zhuǎn)載：http://muchs.cn/article30/joosso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、網(wǎng)站維護(hù)、面包屑導(dǎo)航、App設(shè)計(jì)、虛擬主機(jī)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)