淺聊Spark的應(yīng)用場(chǎng)景有哪些？

Spark 是一種與 Hadoop 相似的開(kāi)源集群計(jì)算環(huán)境，是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎，現(xiàn)已形成一個(gè)高速發(fā)展應(yīng)用廣泛的生態(tài)系統(tǒng)，主要應(yīng)用場(chǎng)景如下：

創(chuàng)新互聯(lián)公司成立以來(lái)不斷整合自身及行業(yè)資源、不斷突破觀念以使企業(yè)策略得到完善和成熟，建立了一套“以技術(shù)為基點(diǎn)，以客戶需求中心、市場(chǎng)為導(dǎo)向”的快速反應(yīng)體系。對(duì)公司的主營(yíng)項(xiàng)目，如中高端企業(yè)網(wǎng)站企劃 / 設(shè)計(jì)、行業(yè) / 企業(yè)門戶設(shè)計(jì)推廣、行業(yè)門戶平臺(tái)運(yùn)營(yíng)、成都APP應(yīng)用開(kāi)發(fā)、手機(jī)網(wǎng)站制作設(shè)計(jì)、微信網(wǎng)站制作、軟件開(kāi)發(fā)、遂寧聯(lián)通機(jī)房等實(shí)行標(biāo)準(zhǔn)化操作，讓客戶可以直觀的預(yù)知到從創(chuàng)新互聯(lián)公司可以獲得的服務(wù)效果。

1. Spark是基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場(chǎng)合。需要反復(fù)操作的次數(shù)越多，所需讀取的數(shù)據(jù)量越大，受益越大，數(shù)據(jù)量小但是計(jì)算密集度較大的場(chǎng)合，受益就相對(duì)較小;

2. 由于RDD的特性，Spark不適用那種異步細(xì)粒度更新?tīng)顟B(tài)的應(yīng)用，例如web服務(wù)的存儲(chǔ)或者是增量的web爬蟲(chóng)和索引。就是對(duì)于那種增量修改的應(yīng)用模型不適合：

3. 數(shù)據(jù)量不是特別大，但是要求實(shí)時(shí)統(tǒng)計(jì)分析需求。

滿足以上條件的均可采用Spark技術(shù)進(jìn)行處理，在實(shí)際應(yīng)用中，目前大數(shù)據(jù)在互聯(lián)網(wǎng)公司主要應(yīng)用在廣告、報(bào)表、推薦系統(tǒng)等業(yè)務(wù)上，在廣告業(yè)務(wù)方面需要大數(shù)據(jù)做應(yīng)用分析、效果分析、定向優(yōu)化等，在推薦系統(tǒng)方面則需要大數(shù)據(jù)優(yōu)化相關(guān)排名、個(gè)性化推薦以及熱點(diǎn)點(diǎn)擊分析等。

這些應(yīng)用場(chǎng)景的普遍特點(diǎn)是計(jì)算量大、效率要求高，Spark恰恰可以滿足這些要求，該項(xiàng)目一經(jīng)推出便受到開(kāi)源社區(qū)的廣泛關(guān)注和好評(píng)，并在近兩年內(nèi)發(fā)展成為大數(shù)據(jù)處理領(lǐng)域炙手可熱的開(kāi)源項(xiàng)目。

Spark使用Scala語(yǔ)言進(jìn)行實(shí)現(xiàn)，它是一種面向?qū)ο?、函?shù)式編程語(yǔ)言，能夠像操作本地集合對(duì)象一樣輕松地操作分布式數(shù)據(jù)集，具有運(yùn)行速度快、易用性好、通用性強(qiáng)以及隨處運(yùn)行等特點(diǎn)，適合大多數(shù)批處理工作，并已成為大數(shù)據(jù)時(shí)代企業(yè)大數(shù)據(jù)處理優(yōu)選技術(shù)，其中有代表性企業(yè)有騰訊、Yahoo、淘寶以及優(yōu)酷土豆等。

本文名稱：淺聊Spark的應(yīng)用場(chǎng)景有哪些？
網(wǎng)頁(yè)路徑：http://muchs.cn/article14/igecge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、自適應(yīng)網(wǎng)站、網(wǎng)站建設(shè)、面包屑導(dǎo)航、定制網(wǎng)站、網(wǎng)站維護(hù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)