Hadoop3.x新特性-創(chuàng)新互聯(lián)

Hadoop3.x概述

Hadoop3.x中增強(qiáng)了很多特性，并且也改進(jìn)了很多地方，是Hadoop2.x的升級（這不是廢話嗎）。需要注意的是，在Hadoop3.x中，不能再使用jdk1.7，而是需要升級到j(luò)dk1.8以上版本。這是因?yàn)镠adoop 2.0是基于JDK 1.7開發(fā)的，而JDK 1.7在2015年4月已停止更新，這直接迫使Hadoop社區(qū)基于JDK 1.8重新發(fā)布一個(gè)新的Hadoop版本，而這正是Hadoop3.x。Hadoop3.x以后將會調(diào)整方案架構(gòu)，將Mapreduce 基于內(nèi)存+io+磁盤，共同處理數(shù)據(jù)。

在建平等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作 網(wǎng)站設(shè)計(jì)制作按需求定制開發(fā),公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),網(wǎng)絡(luò)營銷推廣,外貿(mào)網(wǎng)站制作,建平網(wǎng)站建設(shè)費(fèi)用合理。

Hadoop 3.x中引入了一些重要的功能和優(yōu)化，包括HDFS 可擦除編碼、多Namenode支持、MR Native Task優(yōu)化、YARN基于cgroup的內(nèi)存和磁盤IO隔離、YARN container resizing等。

Hadoop3.x官方文檔地址如下：

http://hadoop.apache.org/docs/r3.0.1/

Hadoop3.x新特性之Common改進(jìn)

Hadoop Common改進(jìn)：

  1. 精簡Hadoop內(nèi)核，包括剔除過期的API和實(shí)現(xiàn)，將默認(rèn)組件實(shí)現(xiàn)替換成最高效的實(shí)現(xiàn)（比如將FileOutputCommitter缺省實(shí)現(xiàn)換為v2版本，廢除hftp轉(zhuǎn)由webhdfs替代，移除Hadoop子實(shí)現(xiàn)序列化庫org.apache.hadoop.Records

  2. lasspath isolation以防止不同版本jar包沖突，比如google Guava在混合使用Hadoop、HBase和Spark時(shí)，很容易產(chǎn)生沖突。（https://issues.apache.org/jira/browse/HADOOP-11656）

  3. Shell腳本重構(gòu)。 Hadoop 3.0對Hadoop的管理腳本進(jìn)行了重構(gòu)，修復(fù)了大量bug，增加了新特性，支持動態(tài)命令等。使用方式上則和之前版本的一致。（https://issues.apache.org/jira/browse/HADOOP-9902）

Hadoop3.x新特性之HDFS改進(jìn)

Hadoop3.x中大改變的是HDFS，HDFS通過最近black塊計(jì)算，根據(jù)最近計(jì)算原則，本地black塊，加入到內(nèi)存，先計(jì)算，通過IO，共享內(nèi)存計(jì)算區(qū)域，最后快速形成計(jì)算結(jié)果。

  1. HDFS支持?jǐn)?shù)據(jù)的擦除編碼，這使得HDFS在不降低可靠性的前提下，節(jié)省一半存儲空間。（https://issues.apache.org/jira/browse/HDFS-7285）

  2. 多NameNode支持，即支持一個(gè)集群中，一個(gè)active、多個(gè)standby namenode部署方式。注：多ResourceManager特性在hadoop 2.0中已經(jīng)支持。（https://issues.apache.org/jira/browse/HDFS-6440）

關(guān)于這兩個(gè)特性的官方文檔地址：

http://hadoop.apache.org/docs/r3.0.1/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html
http://hadoop.apache.org/docs/r3.0.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

Hadoop3.x新特性之YARN改進(jìn)

  1. 基于cgroup的內(nèi)存隔離和IO Disk隔離（https://issues.apache.org/jira/browse/YARN-2619）
  2. 用curator實(shí)現(xiàn)RM leader選舉（https://issues.apache.org/jira/browse/YARN-4438）
  3. containerresizing（https://issues.apache.org/jira/browse/YARN-1197）
  4. Timelineserver next generation （https://issues.apache.org/jira/browse/YARN-2928）

官方文檔地址：

http://hadoop.apache.org/docs/r3.0.1/hadoop-yarn/hadoop-yarn-site/TimelineServiceV2.html

Hadoop3.x新特性之MapReduce改進(jìn)

  1. Tasknative優(yōu)化。為MapReduce增加了C/C++的map output collector實(shí)現(xiàn)（包括Spill，Sort和IFile等），通過作業(yè)級別參數(shù)調(diào)整就可切換到該實(shí)現(xiàn)上。對于shuffle密集型應(yīng)用，其性能可提高約30%。（https://issues.apache.org/jira/browse/MAPREDUCE-2841）

  2. MapReduce內(nèi)存參數(shù)自動推斷。在Hadoop 2.0中，為MapReduce作業(yè)設(shè)置內(nèi)存參數(shù)非常繁瑣，涉及到兩個(gè)參數(shù)：mapreduce.{map,reduce}.memory.mb和mapreduce.{map,reduce}.java.opts，一旦設(shè)置不合理，則會使得內(nèi)存資源浪費(fèi)嚴(yán)重，比如將前者設(shè)置為4096MB，但后者卻是“-Xmx2g”，則剩余2g實(shí)際上無法讓java heap使用到。（https://issues.apache.org/jira/browse/MAPREDUCE-5785）

Hadoop3.x新特性之其他

  1. 添加新的 hadoop-client-api 和 hadoop-client-runtime 組件到一個(gè)單獨(dú)的jar包里，以此解決依賴不兼容的問題。 （https://issues.apache.org/jira/browse/HADOOP-11804）
  2. 支持微軟的Azure分布式文件系統(tǒng)和阿里的aliyun分布式文件系統(tǒng)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁名稱：Hadoop3.x新特性-創(chuàng)新互聯(lián)
分享路徑：http://muchs.cn/article26/dhdhcg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、ChatGPT、建站公司、標(biāo)簽優(yōu)化、做網(wǎng)站、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

商城網(wǎng)站建設(shè)