對(duì)話Hadoop之父DougCutting：Spark與Hadoop互補(bǔ)共生

8月5日是個(gè)特殊的日子，為了推動(dòng)大數(shù)據(jù)技術(shù)在中國大范圍應(yīng)用，同時(shí)將本土技術(shù)回饋到國際開源社區(qū)，Cloudera與清華大學(xué)合作達(dá)成儀式。說到Cloudera，相信業(yè)內(nèi)人士并不陌生，大數(shù)據(jù)市場(chǎng)的飛速發(fā)展使得Hadoop深受歡迎，許多公司都推出了各自版本的Hadoop，也有一些公司則圍繞Hadoop開發(fā)產(chǎn)品。而在Hadoop生態(tài)系統(tǒng)中，規(guī)模大、知名度最高的公司則是Cloudera。

成都創(chuàng)新互聯(lián)公司成立于2013年，先為改則等服務(wù)建站，改則等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為改則企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

儀式結(jié)束后，Hadoop之父、Cloudera首席架構(gòu)師、Apache軟件基金會(huì)理事Doug Cutting應(yīng)邀接受了互聯(lián)網(wǎng)IDC圈記者的采訪，談及了Hadoop在安全方面的措施，Spark與Hadoop之間的微妙關(guān)系以及Hadoop未來的發(fā)展等一系列問題。

Hadoop之父、Cloudera首席架構(gòu)師、Apache軟件基金會(huì)理事Doug Cutting

Hadoop已成為非常安全的平臺(tái)

當(dāng)今時(shí)代，社交媒體、網(wǎng)絡(luò)、移動(dòng)定位等諸多技術(shù)的廣泛應(yīng)用使得數(shù)據(jù)急速增長。Hadoop作為大數(shù)據(jù)利器，一直被大肆宣傳。憶往昔，Hadoop為搜索引擎建立的網(wǎng)頁索引，并不是處理信用卡號(hào)，所以其安全問題被擱置。如此一來，許多企業(yè)對(duì)其態(tài)度也從原來的淺嘗輒止變成了望而卻步。

關(guān)于安全方面，Doug Cutting指出，在Hadoop創(chuàng)立的時(shí)候是沒有做安全這塊的，但是我們后來不斷的加強(qiáng)對(duì)安全模塊的研發(fā)，現(xiàn)在Hadoop也成為了非常安全的平臺(tái)。在安全方面有：身份識(shí)別—保登錄的人群是被合法認(rèn)證的；用戶授權(quán)—控制用戶能夠讀取的信息；審計(jì)—提供滿足監(jiān)管需求的文檔支持，查看是否有違規(guī)操作靜態(tài)數(shù)據(jù)以及動(dòng)態(tài)數(shù)據(jù)的加密。

Spark與Hadoop相輔相成、互補(bǔ)共生

Hadoop主要包括三方面的功能：以HDFS為主的存儲(chǔ)功能，以MapReduce為代表的Batch處理功能以及以YARN為代表的scheduling功能。

說到Hadoop自然而然會(huì)讓人聯(lián)想到Spark，作為實(shí)時(shí)處理工具Spark在batch processing和streaming代表著下一代技術(shù)，并且在某些方面優(yōu)于MapReduce。那么，假以時(shí)日Spark會(huì)不會(huì)有取代Hadoop的可能，Doug Cutting給出的答案當(dāng)然是否定的：“我覺得Spark不可能取代Hadoop，它能夠取代部分Hadoop的功能，比如說取代MapReduce，二者之間更多的是互補(bǔ)的關(guān)系而不是競(jìng)爭的關(guān)系。在存儲(chǔ)和scheduling不可能取代Hadoop，Hadoop在batch或streaming處理方面比Spark更強(qiáng)大；在搜索方面很多又是Spark搜不到的，所以Spark只是相當(dāng)于開源集群計(jì)算的框架，它并不能完全取代Hadoop。Cloudera不光是支持Hadoop，也支持Spark，我們是Hadoop+Spark這樣的公司。”

Cloudera現(xiàn)在參與的項(xiàng)目有20多個(gè)，包括Hadoop、Spark、HBace等生態(tài)系統(tǒng)內(nèi)的項(xiàng)目，也擁有超過100個(gè)對(duì)于技術(shù)和系統(tǒng)都非常資深的技術(shù)開發(fā)者。其實(shí)用戶特別希望開源社區(qū)以開源形式開發(fā)軟件，開源社區(qū)要進(jìn)一步發(fā)展需要這些廠商來提供支持。作為開源廠商，到底是不是一個(gè)商業(yè)模式放之四海皆準(zhǔn)，現(xiàn)在整個(gè)行業(yè)都在探索這個(gè)問題。Doug Cutting指出：“Cloudera的核心平臺(tái)是開源的，但是我們可以賣一些加載在核心平臺(tái)上的軟件，這種軟件可以讓客戶更好的管理他的數(shù)據(jù)，更多地對(duì)管理工具進(jìn)行優(yōu)化，包括優(yōu)化、監(jiān)控?cái)?shù)據(jù)的管理工具，以收費(fèi)的方式可以進(jìn)行出售，我相信是比較成功的。”

中國企業(yè)為整個(gè)Hadoop的開源社區(qū)做了大量的貢獻(xiàn)

Doug Cutting不僅任職于Cloudera，同時(shí)也是Apache軟件基金會(huì)的理事。在基金會(huì)里，有很多企業(yè)參與Hadoop的研發(fā)，整個(gè)Hadoop版本發(fā)布速度非?？臁．?dāng)然，這其中的也不乏來自中國的代碼貢獻(xiàn)者，Doug Cutting表示：“中國的企業(yè)為整個(gè)Hadoop的開源社區(qū)做了大量的貢獻(xiàn)，例如華為、阿里巴巴、騰訊等企業(yè)不但是Hadoop的使用者，同時(shí)也是Hadoop技術(shù)的貢獻(xiàn)者。”目前，90%的Hadoop軟件運(yùn)行于Hadoop系統(tǒng)平臺(tái)上，其中很多軟件都是基于Hadoop平臺(tái)之外的開發(fā)。Doug Cutting強(qiáng)調(diào)：“在整個(gè)生態(tài)系統(tǒng)環(huán)境內(nèi)我們會(huì)打造一個(gè)非常豐富的生態(tài)系統(tǒng)，讓更多的參與者能夠進(jìn)行開發(fā)。”

Cloudera除了與清華大學(xué)合作之外，在海外也跟其他大學(xué)展開了合作，其中包括美國、新加坡等地的大學(xué)，也包括歐洲的一些大學(xué)和研究機(jī)構(gòu)。Doug Cutting表示：“我們合作的主要形式就是提供免費(fèi)的課程，這些全套免費(fèi)的課程我們開發(fā)了很多年，免費(fèi)提供給這樣的大學(xué)共同展開合作。我們?cè)谥袊x取的第一個(gè)合作方是清華大學(xué)，今后將會(huì)與更多的中國大學(xué)展開合作。”

本文標(biāo)題：對(duì)話Hadoop之父DougCutting：Spark與Hadoop互補(bǔ)共生
文章網(wǎng)址：http://muchs.cn/article20/socpjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、App設(shè)計(jì)、企業(yè)建站、品牌網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)