大數(shù)據(jù)文本并行計算實現(xiàn)方式是什么-創(chuàng)新互聯(lián)

本篇文章為大家展示了大數(shù)據(jù)文本并行計算實現(xiàn)方式是什么，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

員工經(jīng)過長期磨合與沉淀，具備了協(xié)作精神，得以通過團隊的力量開發(fā)出優(yōu)質(zhì)的產(chǎn)品。成都創(chuàng)新互聯(lián)堅持“專注、創(chuàng)新、易用”的產(chǎn)品理念，因為“專注所以專業(yè)、創(chuàng)新互聯(lián)網(wǎng)站所以易用所以簡單”。公司專注于為企業(yè)提供成都網(wǎng)站設(shè)計、網(wǎng)站建設(shè)、微信公眾號開發(fā)、電商網(wǎng)站開發(fā)，成都小程序開發(fā)，軟件按需網(wǎng)站制作等一站式互聯(lián)網(wǎng)企業(yè)服務(wù)。

對于大數(shù)據(jù)文件的處理，可以充分利用現(xiàn)代計算機的多核CPU，實施多線程并行計算，從而達到提速的目的。然而，要在程序語言中編寫多線程并行程序，并不是一件容易的事。

要并行處理就需要將源文件分段，每個線程處理其中一段。文本文件一般是每一行對應(yīng)一條記錄，每一行長度不一定相同。所以，不能按行數(shù)分段，因為每次都從頭遍歷，起不到提高性能的目標(biāo)；若按字節(jié)分段則不需要遍歷，但有可能分段點正好落在行的中間，造成一行被拆進兩段，導(dǎo)致數(shù)據(jù)錯誤。有效的解決辦法是采用自動去頭補尾的字節(jié)分段機制，即分段開始點所在的行被舍棄，分段結(jié)束點所在的行會被補齊，這樣將確保每一段都由完整的行構(gòu)成，不會有數(shù)據(jù)錯誤。另外，還有線程的管理和控制等問題，如果管理不當(dāng)，則會出現(xiàn)越界的情況。

如果有集算器SPL就簡單多了，它對多線程并行計算進行了封裝，代碼寫起來不僅更短而且更容易理解，這樣在獲得高性能的同時，讓程序員把注意力更多地放在計算的整體邏輯上，而不必糾纏于為了提高性能而采用的并行細節(jié)。用集算器SPL寫出并行計算代碼：

	A	B	C
1	=file(“data.txt”)		/源文件
2	fork 4	=A1.cursor@t(amount;A2:4)	/分作4段并行，分別建立游標(biāo)
3		=B2.groups(;sum(amount):am)	/遍歷游標(biāo)計算amount之和
4	=A2.conj().sum(am)		/匯總每個線程的結(jié)果

文本解析的時間經(jīng)常比計算要長得多，有時候只要解析能夠并行，計算本身是否并行并不重要。所以SPL對于讀取數(shù)據(jù)提供了簡單的內(nèi)置并行選項，如果對數(shù)據(jù)讀取次序不關(guān)心，比如分組、求和運算就不在乎次序，可以更簡單地寫出代碼：

	A	B
1	=file("orders.txt").cursor@mt()	/@m選項將自動根據(jù)系統(tǒng)配置決定并行的線程數(shù)量
2	=A1.select(month(Date)==10)	/過濾
3	=A2.groups(ID;sum(COST*WEIGHT):VALUE)	/分組、匯總（串行）

上述內(nèi)容就是大數(shù)據(jù)文本并行計算實現(xiàn)方式是什么，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。

網(wǎng)頁題目：大數(shù)據(jù)文本并行計算實現(xiàn)方式是什么-創(chuàng)新互聯(lián)
轉(zhuǎn)載來于：http://muchs.cn/article42/djpohc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、商城網(wǎng)站、網(wǎng)站建設(shè)、全網(wǎng)營銷推廣、云服務(wù)器、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)