MapReduce Service引爆大數(shù)據(jù)時(shí)代

2012年以來，大數(shù)據(jù)（big data）成為人們耳熟能詳?shù)脑~語，這也是隨著互聯(lián)網(wǎng)信息的發(fā)展產(chǎn)生的新型行業(yè)，人們用它來描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。

大數(shù)據(jù)是人類進(jìn)入互聯(lián)網(wǎng)時(shí)代以來面臨的一個(gè)巨大問題：社會(huì)生產(chǎn)生活產(chǎn)生的數(shù)據(jù)量越來越大，數(shù)據(jù)種類越來越多，數(shù)據(jù)產(chǎn)生的速度越來越快。傳統(tǒng)的數(shù)據(jù)處理技術(shù)，比如說單機(jī)存儲(chǔ)，關(guān)系數(shù)據(jù)庫已經(jīng)無法解決這些新的大數(shù)據(jù)問題。

針對(duì)上述問題，華為云提供了大數(shù)據(jù) MapReduce 服務(wù)（MRS），MRS 是一個(gè)在華為云上部署和管理 Hadoop 系統(tǒng)的服務(wù)，一鍵即可部署 Hadoop 集群。MRS 提供租戶完全可控的企業(yè)級(jí)大數(shù)據(jù)集群云服務(wù)，輕松運(yùn)行 Hadoop、Spark、HBase、Kafka、Storm 等大數(shù)據(jù)組件。

MRS是 Hadoop 中一種面向大規(guī)模數(shù)據(jù)處理的并行計(jì)算模型和方法。從定義上看，MapReduce 是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)，其中它隱含了以下三層含義：

1.MapReduce 是一個(gè)基于集群的高性能并行計(jì)算平臺(tái)（Cluster Infrastructure）。它允許用市場上普通的商用服務(wù)器構(gòu)成一個(gè)包含數(shù)十、數(shù)百至數(shù)千個(gè)節(jié)點(diǎn)的分布和并行計(jì)算集群。

2.MapReduce 是一個(gè)并行計(jì)算與運(yùn)行軟件框架（Software Framework）。它提供了一個(gè)龐大但設(shè)計(jì)精良的并行計(jì)算軟件框架，能自動(dòng)完成計(jì)算任務(wù)的并行化處理，自動(dòng)劃分計(jì)算數(shù)據(jù)和計(jì)算任務(wù)，在集群節(jié)點(diǎn)上自動(dòng)分配和執(zhí)行任務(wù)以及收集計(jì)算結(jié)果，將數(shù)據(jù)分布存儲(chǔ)、數(shù)據(jù)通信、容錯(cuò)處理等并行計(jì)算涉及到的很多系統(tǒng)底層的復(fù)雜細(xì)節(jié)交由系統(tǒng)負(fù)責(zé)處理，大大減少了軟件開發(fā)人員的負(fù)擔(dān)。

3.MapReduce 是一個(gè)并行程序設(shè)計(jì)模型與方法（Programming Model & Methodology）。它借助于函數(shù)式程序設(shè)計(jì)語言 Lisp 的設(shè)計(jì)思想，提供了一種簡便的并行程序設(shè)計(jì)方法，用 Map 和 Reduce 兩個(gè)函數(shù)編程實(shí)現(xiàn)基本的并行計(jì)算任務(wù)，提供了抽象的操作和并行編程接口，以簡單方便地完成大規(guī)模數(shù)據(jù)的編程和計(jì)算處理。

標(biāo)題名稱：MapReduce Service引爆大數(shù)據(jù)時(shí)代
文章來源：http://www.muchs.cn/news/775.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、企業(yè)網(wǎng)站制作、響應(yīng)式網(wǎng)站、網(wǎng)站改版、網(wǎng)站內(nèi)鏈、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)