HDFS怎么操作

這篇文章主要介紹了HDFS怎么操作，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

創(chuàng)新互聯(lián)專注于霍城企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,成都商城網(wǎng)站開發(fā)?；舫蔷W(wǎng)站建設(shè)公司,為霍城等地區(qū)提供建站服務(wù)。全流程按需搭建網(wǎng)站，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

①必須要知道的

盜來的圖：HDFS架構(gòu)體系

1、Client

在咱們這就是Linux命令或者Java代碼。

2、NameNode

整個HDFS集群只有一個NameNode，它存儲整個集群文件分別的元數(shù)據(jù)信息。這些信息以fsimage和editlog兩個文件存儲在本地磁 盤，Client通過這些元數(shù)據(jù)信息可以找到相應(yīng)的文件。此外，NameNode還負責監(jiān)控DataNode的健康情況，一旦發(fā)現(xiàn)DataNode異常， 就將其踢出，并拷貝其上數(shù)據(jù)至其它DataNode。雖然Client是與NameNode通信，但是最終操作文件還是連接Datenode

3、Secondary NameNode

Secondary NameNode負責定期合并NameNode的fsimage和editlog。這里特別注意，它不是NameNode的熱備，所以NameNode依 然是Single Point of Failure。它存在的主要目的是為了分擔一部分NameNode的工作（特別是消耗內(nèi)存的工作，因為內(nèi)存資源對NameNode來說非常珍貴）。

4、DataNode

DataNode負責數(shù)據(jù)的實際存儲。當一個文件上傳至HDFS集群時，它以Block為基本單位分布在各個DataNode中，同時，為了保證數(shù)據(jù)的可靠性，每個Block會同時寫入多個DataNode中（默認為3，咱們搞成了2）。DataNode通過心跳向node匯報自己的狀態(tài)，同時拿到namedode指派下來的command執(zhí)行。

5、Block

默認64M一塊，一塊存三分，童叟無欺。

②Linux操作HDFS

        HDFS 命令基本就是 Linux命令前面加上 "Hadoop fs -"，官方文檔入口。

        下面是具有代表性的命令：

            hadoop dfsadmin -safemode leave  //退出安全模式，不然無法put

            hadoop fs -mkdir /user/kitten     //建文件夾，創(chuàng)建HDFS的用戶

                 hadoop fs -chown kitten  /user/kitten   //更改文件夾的所有權(quán)

            hadoop fs -ls /user   //羅列文件

            hadoop fs -lsr /user //遞歸羅列文件

            hadoop fs -put test.txt  /user/kitten  //從Linux復(fù)制到HDFS

            hadoop fs -get /user/kitten   /test.txt  //從HDFS取到Linux

            hadoop fs -cat /user/kitten/test.txt   //建文件

            hadoop fs -tail /user/kitten/test.txt  //查看最后1000字節(jié)

            hadoop fs -rm /user/kitten/test.txt //刪除

            hadoop fs -help ls   //國際慣例，查看ls命令的幫助文檔

   

感謝你能夠認真閱讀完這篇文章，希望小編分享的“HDFS怎么操作”這篇文章對大家有幫助，同時也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學習!

網(wǎng)站標題：HDFS怎么操作
鏈接地址：http://muchs.cn/article46/gedieg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗、做網(wǎng)站、品牌網(wǎng)站制作、靜態(tài)網(wǎng)站、網(wǎng)站設(shè)計公司、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)