如何使用Hadoop存檔工具

這篇文章給大家分享的是有關(guān)如何使用Hadoop存檔工具的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來(lái)看看吧。

我們提供的服務(wù)有：成都網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、微信公眾號(hào)開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、崇信ssl等。為數(shù)千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的崇信網(wǎng)站制作公司

• 每個(gè)文件按塊方式存儲(chǔ), 每個(gè)塊的元數(shù)據(jù)存儲(chǔ)在namenode的內(nèi)存中

• Hadoop存檔文件或HAR文件是一個(gè)更高效的文件存檔工具,它將文件存入HDFS塊,在減少內(nèi)存使用的同時(shí),允許對(duì)文件進(jìn)行透明地訪問

• Hadoop存檔文件可以用作MapReduce的輸入

使用Hadoop存檔工具

• Hadoop存檔是通過archive工具根據(jù)一組文件創(chuàng)建而來(lái)的,該存檔工具運(yùn)行一個(gè)MapReduce作業(yè)來(lái)并行處理所有的輸入文件

• 使用archive

hadoop archive -archiveName files.har /my/files /my

• 第一個(gè)選項(xiàng)是存檔文件的名稱,這里是第一個(gè)參數(shù) file.har

• 第二個(gè)參數(shù)是需要存檔的文件

• 第三個(gè)參數(shù)是HAR文件的輸出目錄

• 列出HAR文件中的文件

hadoop fs -ls /my/files.har

• 遞歸列出HAR文件中的文件

  hadoop fs -lsr /my/files.har

• 其他文件系統(tǒng)中引用HAR文件,則需要使用不同的URI路徑格式,示例如下

 hadoop fs -lsr 
	不足
		新建一個(gè)存檔文件會(huì)創(chuàng)建原始文件的一個(gè)副本	
		一旦創(chuàng)建,不能修改	
		InputFormat不知道文件已經(jīng)存檔	

感謝各位的閱讀！關(guān)于“如何使用Hadoop存檔工具”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

網(wǎng)頁(yè)名稱：如何使用Hadoop存檔工具
分享URL：http://muchs.cn/article44/johcee.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供自適應(yīng)網(wǎng)站、商城網(wǎng)站、用戶體驗(yàn)、響應(yīng)式網(wǎng)站、外貿(mào)建站、手機(jī)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)