如何評估一項(xiàng)技術(shù)是否值得長期投入-創(chuàng)新互聯(lián)

十多年的新吳網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對設(shè)計(jì)、前端、開發(fā)、售后、文案、推廣等六對一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。營銷型網(wǎng)站建設(shè)的優(yōu)勢是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整新吳建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)建站從事“新吳網(wǎng)站設(shè)計(jì)”,“新吳網(wǎng)站推廣”以來，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

Photo @  intheblack.com 

文  |  簡鋒

“每個(gè)人的時(shí)間都是有限的，在有限的時(shí)間里選擇一項(xiàng)值得投入的技術(shù)會(huì)變得尤為重要?！?/p>筆者從 2008 年開始工作到現(xiàn)在也有 12 個(gè)年頭了，一路走來都在和數(shù)據(jù)打交道，做過很多大數(shù)據(jù)底層框架內(nèi)核的開發(fā)（Hadoop，Pig，Hive，Tez，Spark），也做過多年上層數(shù)據(jù)計(jì)算框架（Livy,  Zeppelin）以及數(shù)據(jù)應(yīng)用開發(fā)，包括數(shù)據(jù)處理，數(shù)據(jù)分析以及機(jī)器學(xué)習(xí)?，F(xiàn)在是 Apache Member 以及多個(gè) Apache 項(xiàng)目的 PMC 。2018 年加入阿里巴巴實(shí)時(shí)計(jì)算團(tuán)隊(duì)專注在 Flink 的研發(fā)。
        今天我想結(jié)合自己過去的職業(yè)經(jīng)歷來聊聊如何評估一項(xiàng)技術(shù)是否值得學(xué)習(xí)。我一直在大數(shù)據(jù)這個(gè)圈子，從最初的 Hadoop 到后來的 Hadoop 生態(tài)項(xiàng)目 Pig，Hive，Tez，然后又到新一代的計(jì)算引擎 Spark ，再到最近在做的 Flink ，大數(shù)據(jù)計(jì)算引擎貫穿我的整個(gè)職業(yè)生涯。我個(gè)人來說是比較幸運(yùn)的，在每個(gè)階段都在做比較火的技術(shù)，當(dāng)時(shí)更多的是憑著自己的興趣和直覺在選擇技術(shù)類型?，F(xiàn)在回過頭來看我覺得需要從下面 3 個(gè)大的緯度來評估一項(xiàng)技術(shù)是否值得學(xué)習(xí)。 1、技術(shù)深度2、生態(tài)廣度3、進(jìn)化能力     

   
技術(shù)深度

---

技術(shù)深度是指這項(xiàng)技術(shù)的根基是否扎實(shí)，護(hù)城河是否夠?qū)拤蛏?，是否很容易被其他技術(shù)所替代。通俗的來說就是這項(xiàng)技術(shù)是否解決了其他技術(shù)所不能解決的有重要價(jià)值的問題。這里有兩個(gè)要點(diǎn)：

 1、這個(gè)問題沒有人能解，是這項(xiàng)技術(shù)首先解決了這個(gè)問題。2、解決這個(gè)問題能夠帶來重大價(jià)值。 拿我職業(yè)生涯開始階段學(xué)習(xí)的 Hadoop 為例。當(dāng)時(shí) Hadoop 剛出來的時(shí)候是一項(xiàng)革命性的技術(shù)，因?yàn)楫?dāng)時(shí)除了 Google 宣稱自己內(nèi)部有一套 GFS 和 MapReduce 系統(tǒng)外，業(yè)界其他公司都沒有一套完整的海量數(shù)據(jù)解決方案。而隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)量與日俱增，處理海量數(shù)據(jù)的能力迫在眉睫。Hadoop 的誕生正好解決了這一燃眉之急。 隨著技術(shù)的發(fā)展， Hadoop 的處理海量數(shù)據(jù)能力的優(yōu)勢慢慢被人習(xí)慣，相反 Hadoop 存在的缺陷被人不斷詬?。ㄐ阅懿?，MapReduce 編寫復(fù)雜等等）。而這時(shí)候Spark應(yīng)運(yùn)而生，解決了 Hadoop MapReduce 計(jì)算引擎的頑疾。Spark 遠(yuǎn)超過 Hadoop 的計(jì)算性能以及極其優(yōu)雅簡單的 API 迎合了當(dāng)時(shí)用戶的需求，受到了廣大大數(shù)據(jù)工程師的熱捧。 現(xiàn)在我在阿里巴巴從事的是關(guān)于 Flink 的研發(fā)工作，主要原因是我看到了工業(yè)界對實(shí)時(shí)性的需求以及 Flink 在實(shí)時(shí)計(jì)算這個(gè)領(lǐng)域的霸主地位。之前大數(shù)據(jù)遇到的大挑戰(zhàn)在于數(shù)據(jù)規(guī)模大（所以大家會(huì)稱之為“大數(shù)據(jù)”），經(jīng)過工業(yè)界多年的努力和實(shí)踐，規(guī)模大這個(gè)問題基本已經(jīng)解決了。接下來幾年，更大的挑戰(zhàn)在于速度，也就是實(shí)時(shí)性。而大數(shù)據(jù)的實(shí)時(shí)性并不是指簡單的傳輸數(shù)據(jù)或者處理數(shù)據(jù)的實(shí)時(shí)性，而是從端到端的實(shí)時(shí)，任何一個(gè)步驟速度慢了，就影響整個(gè)大數(shù)據(jù)系統(tǒng)的實(shí)時(shí)性。 在 Flink 看來， Everything is stream 。Flink 的以 Stream 為核心的架構(gòu)是業(yè)界獨(dú)一無二的，由此而產(chǎn)生的性能優(yōu)越，高擴(kuò)展性，端到端 Exactly Once 等特性，更是使得 Flink 在流計(jì)算領(lǐng)域是當(dāng)之無愧的王者。 目前主流的流計(jì)算引擎有 3 個(gè)：Flink、Storm 和 SparkStreaming 。 

注：Spark Streaming 只能選擇搜索字詞，理論上這樣的對比是不嚴(yán)謹(jǐn)?shù)摹５鳛橼厔?，我們更關(guān)注的是其變化曲線，實(shí)際影響應(yīng)該不大。

 從上面的 Google trends 曲線可以看出，F(xiàn)link 處在一個(gè)快速增長期， Storm 的熱度在逐年下降，而 Spark Streaming 幾乎進(jìn)入了平臺(tái)期。這就證明了 Flink 在流計(jì)算領(lǐng)域的根基之深，目前來看還沒有誰可以超越 Flink 在流計(jì)算領(lǐng)域的霸主地位。 
生態(tài)廣度

---

一項(xiàng)技術(shù)只有技術(shù)深度是不夠的，因?yàn)橐豁?xiàng)技術(shù)只能專注于做好一件事情，如果要解決實(shí)際生活中的復(fù)雜問題，必定要和其他技術(shù)整合聯(lián)動(dòng)，這就要求這項(xiàng)技術(shù)具有足夠?qū)挼纳鷳B(tài)廣度。生態(tài)的廣度有 2 個(gè)緯度可以衡量： 1、上下游生態(tài)。上下游生態(tài)指從數(shù)據(jù)流的角度來說的數(shù)據(jù)上下游。2、垂直領(lǐng)域生態(tài)。垂直領(lǐng)域生態(tài)是指某個(gè)細(xì)分領(lǐng)域或者應(yīng)用場景的整合。 

 
當(dāng) Hadoop 剛出來的時(shí)候只有 2 個(gè)基本的組件：HDFS 和 MapReduce ，分別解決了海量存儲(chǔ)和分布式計(jì)算的問題。但隨著發(fā)展，需要解決的問題越來越復(fù)雜，HDFS 和 MapReduce 已經(jīng)不能很方便的解決一些復(fù)雜問題，這時(shí)候 Hadoop 的其他生態(tài)項(xiàng)目應(yīng)運(yùn)而生，比如 Pig，Hive，HBase 等等從垂直領(lǐng)域生態(tài)這個(gè)角度解決了 Hadoop 不容易或者不能解決的問題。 Spark 亦是如此，一開始的 Spark 是要替換原來的 MapReduce 計(jì)算引擎，后來 Spark 發(fā)展了各種語言接口，各種上層框架，比如 Spark SQL，Spark Structured Streaming，MLlib，GraphX 等等，大大豐富了 Spark 的使用場景，擴(kuò)展了Spark的垂直領(lǐng)域生態(tài)。Spark 對各種 Data Source 的支持，更是讓 Spark 這個(gè)計(jì)算引擎和存儲(chǔ)結(jié)成了聯(lián)盟，建立了強(qiáng)大的上下游生態(tài)系統(tǒng)，為端到端的解決方案奠定了基礎(chǔ)。
我現(xiàn)在做的 Flink 項(xiàng)目的生態(tài)仍然處于起步階段，當(dāng)時(shí)我加入阿里巴巴正不僅僅是看到了 Flink 作為流計(jì)算引擎的霸主地位，更是因?yàn)榭吹搅?Flink 生態(tài)的機(jī)會(huì)。大家如果從我的職業(yè)生涯來看，會(huì)發(fā)現(xiàn)些許變化，我在從一開始專注于大數(shù)據(jù)的核心框架層慢慢在往周邊生態(tài)項(xiàng)目發(fā)展。一個(gè)主要的原因是我對整個(gè)大數(shù)據(jù)行業(yè)的判斷：大數(shù)據(jù)上半場戰(zhàn)斗集中在底層框架，目前已經(jīng)接近尾聲，未來的底層大數(shù)據(jù)生態(tài)圈中將不再有那么多的新的技術(shù)和框架，每個(gè)細(xì)分領(lǐng)域都將優(yōu)勝劣汰，走向成熟，更加集中化。下半場戰(zhàn)斗的重點(diǎn)講從底層走向上層，走向生態(tài)。之前的大數(shù)據(jù)創(chuàng)新更偏向于 IAAS 和 PAAS ，未來你將看到更多 SAAS 類型的大數(shù)據(jù)產(chǎn)品和創(chuàng)新。 

每次談到大數(shù)據(jù)的生態(tài)，我都拿出上面這張圖。這張圖基本上把你日常需要處理的大數(shù)據(jù)場景都包括進(jìn)來。從最左邊的數(shù)據(jù)生產(chǎn)者，到數(shù)據(jù)收集，數(shù)據(jù)處理，然后再到數(shù)據(jù)應(yīng)用（BI + AI）。你會(huì)發(fā)現(xiàn) Flink 可以應(yīng)用在每一個(gè)步驟。不僅涉及到大數(shù)據(jù)，也涉及到 AI ，但是 Flink 的強(qiáng)項(xiàng)在于流計(jì)算處理，在其他領(lǐng)域的生態(tài)仍在起步階段，我個(gè)人正在做的工作就是完善 Flink 在上面這張圖上端到端的能力。       進(jìn)化能力

---

 一項(xiàng)技術(shù)如果技術(shù)深度和生態(tài)廣度都沒有問題，那么至少說明這項(xiàng)技術(shù)在當(dāng)下是值得學(xué)習(xí)的。但是投資一項(xiàng)技術(shù)還需要從時(shí)間這個(gè)緯度上考量。你肯定不希望自己學(xué)習(xí)的技術(shù)很快就被淘汰，每年都要去學(xué)習(xí)一項(xiàng)新技術(shù)。所以一項(xiàng)值得投資學(xué)習(xí)的技術(shù)必定需要具有持久的進(jìn)化能力。 我最初學(xué)的 Hadoop 到現(xiàn)在已經(jīng) 10 多年了，現(xiàn)在仍然被廣泛使用著。雖然現(xiàn)在有很多公有云廠商在搶占 Hadoop 的市場，但你不得不承認(rèn)如果一家公司要成立一個(gè)大數(shù)據(jù)部門，第一件事恐怕就是建一個(gè) Hadoop 集群吧。當(dāng)我們現(xiàn)在談?wù)?Hadoop 的時(shí)候，他已經(jīng)不是當(dāng)初的 Hadoop 了，他更多的是 Hadoop 生態(tài)圈的統(tǒng)稱。大家有空可以看看 Cloudera CPO Arun 的這篇文章【1】，我對其中的觀點(diǎn)非常認(rèn)同。
【1】：https://medium.com/@acmurthy/hadoop-is-dead-long-live-hadoop-f22069b264ac Spark 項(xiàng)目就更不用多說了。Spark 經(jīng)過 14，15 年爆發(fā)，現(xiàn)在已經(jīng)進(jìn)入平穩(wěn)期。但是 Spark 仍在進(jìn)化，仍在擁抱變化。Spark on K8s 就是 Spark 擁抱云原生的最好佐證?，F(xiàn)在 Spark 社區(qū)炙手可熱的Delta，MLFlow 更是 Spark 的強(qiáng)大的進(jìn)化能力的佐證?，F(xiàn)在的 Spark 也不僅僅是當(dāng)年要取代 MapReduce 的那個(gè) Spark ，更多是一個(gè)適用于多種場景的通用計(jì)算引擎。 我從 18 年加入阿里巴巴到現(xiàn)在差不多 1 年半時(shí)間，在這一年半的時(shí)間了，我正好見證了 Flink 的進(jìn)化能力。
首先 Flink 經(jīng)過幾個(gè)大版本的發(fā)布，融入了 Blink 的大部分功能，將 Flink SQL 的能力提升了一大截。

其次 Flink 對 K8s 的支持，對 Python 的支持，對 AI 的支持都在向人們證明這Flink自身強(qiáng)大的進(jìn)化能力。
 小 Tips
除了以上的 3 大維度，在這里我還想分享下我在評估一項(xiàng)新技術(shù)時(shí)候的一些小技巧。
1、利用 Google trends 。Google trends 能很好的反映一項(xiàng)技術(shù)的發(fā)展勢頭，上面提到的趨勢圖很好的比較了 3 大流計(jì)算引擎 Flink ， Spark Streaming 和 Storm ，我們不難得出結(jié)論：Flink 是流計(jì)算領(lǐng)域的王者。
2、查看 GitHub 上的awesome。一項(xiàng)技術(shù)受歡迎的一個(gè)指標(biāo)是 GitHub 上的 awesome list，你可以看看這個(gè) awesome list 的 GitHub star 數(shù)。此外你可以抽一個(gè)周末的時(shí)間看看這個(gè) awesome list 上的內(nèi)容，因?yàn)樯厦婊旧鲜顷P(guān)于這項(xiàng)技術(shù)的精華內(nèi)容，通過這些內(nèi)容你大致可以判斷出這項(xiàng)技術(shù)的價(jià)值。
3、看看技術(shù)網(wǎng)站上是否有一些技術(shù)布道者為這項(xiàng)技術(shù)背書（我個(gè)人經(jīng)常會(huì)看medium.com）。技術(shù)圈里通常有這樣一群人，他們對技術(shù)很執(zhí)著，也很有品位。如果一項(xiàng)技術(shù)真的很好，那么就會(huì)有技術(shù)布道者無償?shù)臑檫@項(xiàng)技術(shù)背書，分享如何這項(xiàng)技術(shù)的使用心得。

總結(jié)

---

每個(gè)人的時(shí)間都是有限的，在有限的時(shí)間里選擇一項(xiàng)值得投入的技術(shù)會(huì)變得尤為重要。

 以上是我對如何評估一項(xiàng)技術(shù)是否值得學(xué)習(xí)的一些思考，也算是對我自己事業(yè)生涯在技術(shù)選型方面的一個(gè)小小的總結(jié)和回顧，希望我的這些思考能對大家的職業(yè)生涯有所幫助。

文章標(biāo)題：如何評估一項(xiàng)技術(shù)是否值得長期投入-創(chuàng)新互聯(lián)
鏈接分享：http://www.muchs.cn/article22/dsjecc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、定制開發(fā)、企業(yè)網(wǎng)站制作、響應(yīng)式網(wǎng)站、ChatGPT、網(wǎng)站設(shè)計(jì)公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)