五個(gè)不容忽視的“非主流”大數(shù)據(jù)技術(shù)工具

大數(shù)據(jù)的生態(tài)系統(tǒng)如今已經(jīng)非常龐大，涌現(xiàn)大量主流數(shù)據(jù)處理框架如Hadoop、Spark、Flink、Google的Tensorflow以及其他不計(jì)其數(shù)的Apache開源項(xiàng)目(最受歡迎的十個(gè)開源大數(shù)據(jù)技術(shù))。

創(chuàng)新互聯(lián)是專業(yè)的樺川網(wǎng)站建設(shè)公司，樺川接單;提供成都做網(wǎng)站、網(wǎng)站制作,網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行樺川網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!

今天我們要推薦的五個(gè)“非主流”開源大數(shù)據(jù)技術(shù)項(xiàng)目，在某些特定的應(yīng)用場(chǎng)合，往往能助您出奇制勝。

一、Luigi

Luigi是Spotify開發(fā)的數(shù)據(jù)管線批處理工具，熱度正在不斷飆升。Luigi的定位不是取代底層數(shù)據(jù)處理工具如Hive或者Pig，而是在眾多任務(wù)間創(chuàng)建工作流。Luigi原生支持Hadoop，這對(duì)于很多用戶來說非常有吸引力。

近日創(chuàng)業(yè)公司Mortar就將Spotify開發(fā)的開源大數(shù)據(jù)工具Luigi搬上云端，在亞馬遜云上提供復(fù)雜的，涉及大量工具和數(shù)據(jù)庫的大數(shù)據(jù)流水線處理服務(wù)，不論是否使用Hadoop，用戶都可以用Luigi管理復(fù)雜的大數(shù)據(jù)工作流。

二、Lumify

Lumify是一個(gè)開源大數(shù)據(jù)分析和可視化平臺(tái)，開發(fā)者Altamira認(rèn)為當(dāng)前的大數(shù)據(jù)分析工具并不完善，因此開發(fā)了Lumify來聚合、管理和洞察數(shù)據(jù)，此外，Lumify還可以用來分析數(shù)據(jù)內(nèi)部之間的關(guān)系，進(jìn)行地理圖形數(shù)據(jù)分析，并實(shí)時(shí)組織和協(xié)調(diào)數(shù)據(jù)。Lumify的官網(wǎng)由比較完整的文檔和介紹視頻，還提供了了一個(gè)在線應(yīng)用示例。

三、Google 云平臺(tái)Hadoop互操作工具

這個(gè)技術(shù)項(xiàng)目來自Google Cloud Platform的官方Github賬號(hào)，描述如下：

為實(shí)現(xiàn)Hadoop相關(guān)開源軟件、Google云平臺(tái)之間互操作的代碼庫和工具集。如果你打算在Google云平臺(tái)上運(yùn)行基于HDFS數(shù)據(jù)的Map-Reduce任務(wù)，那么這些工具值得投資。

四、Presto

Presto是一個(gè)分布式的大數(shù)據(jù)SQL查詢引擎，支持所有數(shù)據(jù)源格式，以及從GB到PB級(jí)別的數(shù)據(jù)規(guī)模。Presto主打的賣點(diǎn)是速度和可擴(kuò)展性，如果你想提升SQL查詢速度又不愿對(duì)數(shù)據(jù)源存儲(chǔ)系統(tǒng)進(jìn)行投資或改動(dòng)，或者需要對(duì)存儲(chǔ)在多個(gè)平臺(tái)的數(shù)據(jù)源進(jìn)行查詢，Presto都是值得考慮的選擇。Presto的官網(wǎng)由比較詳細(xì)的資料，這里還有一個(gè)Teradata的五分鐘視頻介紹(youtube)，以及Facebook的Presto設(shè)置應(yīng)用指南(youtube)。

五、Clusterize

來自Denis Lukov的這個(gè)項(xiàng)目是今天介紹的“非主流”中的非主流，與前面介紹的四個(gè)后端數(shù)據(jù)科學(xué)/工程工具不同，Clusterize是一個(gè)Javascript寫成的前端開發(fā)小項(xiàng)目，目的是提高大數(shù)據(jù)集的瀏覽效率，降低延遲，這算得上是一個(gè)大數(shù)據(jù)工具嗎？也許吧，至少對(duì)于很多開發(fā)者來說是如此。

網(wǎng)站標(biāo)題：五個(gè)不容忽視的“非主流”大數(shù)據(jù)技術(shù)工具
當(dāng)前鏈接：http://www.muchs.cn/article10/sopogo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、網(wǎng)頁設(shè)計(jì)公司、定制網(wǎng)站、網(wǎng)站營銷、動(dòng)態(tài)網(wǎng)站、網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)