說說這些年做的云計算和大數(shù)據(jù)項目-創(chuàng)新互聯(lián)

  入行十幾年了,做了不少分布計算、并行計算、內(nèi)存計算、海量數(shù)據(jù)處理的項目,按照現(xiàn)在的分類,這些都屬于云計算/大數(shù)據(jù)范疇。今天說說我做過的其中三個項目,只三個。     第一個是我們接到的視頻分享網(wǎng)站的視頻轉(zhuǎn)碼的訂單,網(wǎng)站名字就不說了,有替人宣傳嫌疑。他們情況是這樣,視頻網(wǎng)站的內(nèi)容用MP4格式在網(wǎng)頁上播放,但是上傳的格式多種多樣,我們必須把這些視頻統(tǒng)一轉(zhuǎn)換成MP4格式,視頻轉(zhuǎn)碼的工作想必大家都在自己的電腦上試過,通常一個100M左右的視頻轉(zhuǎn)碼需要20分鐘以上(CPU是Pentium IV)。為了提高轉(zhuǎn)碼效率,讓用戶以接近實時得到結(jié)果,必須在收完視頻后,立即將一個視頻拆分成多個單元,分散到多臺計算機上進行轉(zhuǎn)碼,然后回收所有轉(zhuǎn)碼視頻,按照順序再次組合成一個新視頻。我估計現(xiàn)在視頻網(wǎng)站都是這個套路。我們這個團隊最早是做流媒體起家的,工作沒什么難度,輕車熟路,很快就完成了。只要機器足夠多,視頻差不多可以以接近實時的狀態(tài)完成轉(zhuǎn)碼。后來又再一次改進,從用戶上傳視頻開始立即進行轉(zhuǎn)碼,收到一段轉(zhuǎn)一段,用戶的視頻上傳完畢,我們的轉(zhuǎn)碼工作也完成,用戶可以馬上看到自己上傳的轉(zhuǎn)碼后視頻,基本上是零延時,并且穩(wěn)定性、效率都高于對方提出的要求。做完這個,合作方老板很滿意,接著又給了一個CDN的項目?,F(xiàn)在我們?nèi)员3种献鞯年P(guān)系。   

成都創(chuàng)新互聯(lián)服務(wù)項目包括洛寧網(wǎng)站建設(shè)、洛寧網(wǎng)站制作、洛寧網(wǎng)頁制作以及洛寧網(wǎng)絡(luò)營銷策劃等。多年來,我們專注于互聯(lián)網(wǎng)行業(yè),利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等,向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案,洛寧網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前,我們服務(wù)的客戶以成都為中心已經(jīng)輻射到洛寧省份的部分城市,未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任!

      第二個有點玄乎,項目可以寫一篇論文,題目是《關(guān)于空中移動目標(biāo)運行軌跡和落點的問題》。這個項目是XXX發(fā)下來的,實質(zhì)就是炮彈打×××,大概是想看看能不能打著,論證技術(shù)可行性。當(dāng)時人還在某單位,因為研究領(lǐng)域和空氣動力學(xué)毫不相關(guān),所以這方面的知識基本屬于文盲,知道的也就是那么幾個有限的名詞和數(shù)學(xué)公式,但是這正好符合XXX的要求,不需要我們懂這些高深的理論,他們派人和我們合作這個項目。我們的工作就是把很多傳感器(他們沒明說,但是地球人都明白這東西應(yīng)該是雷達)接收的數(shù)據(jù),包括當(dāng)前多少公里范圍內(nèi)的空氣的風(fēng)速、風(fēng)向、地表的曲面率,還有其它一些指標(biāo)在收集后(這些瞬間產(chǎn)生的三維數(shù)據(jù)的數(shù)據(jù)量非常大),分散到一大堆計算機上去執(zhí)行(測試時準備了100個節(jié)點),并且要很快計算出結(jié)果(必須比空中運動的目標(biāo)快)。這其實和現(xiàn)在的SPARK、STORM做的工作很象,要依賴大內(nèi)存、高性能CPU、和高速網(wǎng)絡(luò),跳過硬盤這個瓶頸,才能得以實現(xiàn)快速計算。這個項目花了很長時間,主要是與合作方的溝通改進,然后是再溝通再改進,循環(huán)往復(fù),周而復(fù)始。后來終于完成了,據(jù)說做了試驗,可行性很高,上面領(lǐng)導(dǎo)很滿意,還擺了慶功酒。反正我沒見著也沒喝著。其實他們怎么計算的,我到最后也沒有搞明白,問過一次,說是秘密。  

      第三個和兩桶油的頁巖氣有關(guān)。當(dāng)前的背景是在四川涪陵(這個地方還產(chǎn)榨菜)發(fā)現(xiàn)了大面積的天然氣,按照自然規(guī)律,油氣是共生的,所以兩桶油想通過采集頁巖樣本,分析這個地區(qū)地下有沒有石油資源,如果有,是不是具有開采價值。這套程序原本已經(jīng)是有的,艾克森.美孚石油公司開發(fā)的,跑在CARY-1向量機上。那套機器是上世紀七八十年代的超級計算機,在當(dāng)時已經(jīng)不能滿足需要,屬于進博物館之列。有些數(shù)據(jù)分析理論已經(jīng)過時,需要調(diào)整。兩桶油最不滿意的還是速度太慢,計算一次要幾小時幾天才能出結(jié)果。這一次又是合作,兩桶油出熟悉采油的技術(shù)專家,我們出并行計算的碼農(nóng),前前后后合作弄了大半年,算是完成了。這次我們用了新的并行算法,效率提高了一大截。和上次炮彈打×××一樣,整個項目靜悄悄開始,靜悄悄結(jié)束,后面怎么樣就不知道了。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當(dāng)前文章:說說這些年做的云計算和大數(shù)據(jù)項目-創(chuàng)新互聯(lián)
本文鏈接:http://muchs.cn/article18/ceesgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供建站公司、外貿(mào)網(wǎng)站建設(shè)、商城網(wǎng)站App開發(fā)、網(wǎng)站建設(shè)、關(guān)鍵詞優(yōu)化

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

小程序開發(fā)