java轉(zhuǎn)大數(shù)據(jù)的學習路線-創(chuàng)新互聯(lián)

一、大數(shù)據(jù)相關(guān)的工作介紹
二、大數(shù)據(jù)工程師的技能要求
三、大數(shù)據(jù)學習規(guī)劃

創(chuàng)新互聯(lián)公司歡迎聯(lián)系：18982081108，為您提供成都網(wǎng)站建設(shè)網(wǎng)頁設(shè)計及定制高端網(wǎng)站建設(shè)服務(wù)，創(chuàng)新互聯(lián)公司網(wǎng)頁制作領(lǐng)域10年，包括成都葡萄架等多個領(lǐng)域擁有多年的網(wǎng)站維護經(jīng)驗，選擇創(chuàng)新互聯(lián)公司，為企業(yè)保駕護航。

大數(shù)據(jù)介紹

針對以上主要的4個特征我們需要考慮以下問題：

數(shù)據(jù)來源廣，該如何采集匯總？，對應(yīng)出現(xiàn)了Sqoop，Cammel，Datax等工具。

數(shù)據(jù)采集之后，該如何存儲？，對應(yīng)出現(xiàn)了GFS，HDFS，TFS等分布式文件存儲系統(tǒng)。

由于數(shù)據(jù)增長速度快，數(shù)據(jù)存儲就必須可以水平擴展。

數(shù)據(jù)存儲之后，該如何通過運算快速轉(zhuǎn)化成一致的格式，該如何快速運算出自己想要的結(jié)果？

對應(yīng)的MapReduce這樣的分布式運算框架解決了這個問題；但是寫MapReduce需要Java代碼量很大，所以出現(xiàn)了Hive，Pig等將SQL轉(zhuǎn)化成MapReduce的解析引擎；

普通的MapReduce處理數(shù)據(jù)只能一批一批地處理，時間延遲太長，為了實現(xiàn)每輸入一條數(shù)據(jù)就能得到結(jié)果，于是出現(xiàn)了Storm/JStorm這樣的低時延的流式計算框架；

但是如果同時需要批處理和流處理，按照如上就得搭兩個集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出現(xiàn)了Spark這樣的一站式的計算框架，既可以進行批處理，又可以進行流處理（實質(zhì)上是微批處理）。

而后Lambda架構(gòu)，Kappa架構(gòu)的出現(xiàn)，又提供了一種業(yè)務(wù)處理的通用架構(gòu)。

為了提高工作效率，加快運速度，出現(xiàn)了一些輔助工具：

Ozzie，azkaban：定時任務(wù)調(diào)度的工具。
Hue，Zepplin：圖形化任務(wù)執(zhí)行管理，結(jié)果查看工具。
Scala語言：編寫Spark程序的最佳語言，當然也可以選擇用Python。
Python語言：編寫一些腳本時會用到。
Allluxio，Kylin等：通過對存儲的數(shù)據(jù)進行預(yù)處理，加快運算速度的工具。
以上大致就把整個大數(shù)據(jù)生態(tài)里面用到的工具所解決的問題列舉了一遍，知道了他們?yōu)槭裁炊霈F(xiàn)或者說出現(xiàn)是為了解決什么問題，進行學習的時候就有的放矢了。

正文
一、大數(shù)據(jù)相關(guān)工作介紹

大數(shù)據(jù)方向的工作目前主要分為三個主要方向:

大數(shù)據(jù)工程師
數(shù)據(jù)分析師
大數(shù)據(jù)科學家
其他（數(shù)據(jù)挖掘等）
二、大數(shù)據(jù)工程師的技能要求

附上大數(shù)據(jù)工程師技能圖：

必須掌握的技能11條

Java高級(虛擬機、并發(fā))
Linux 基本操作
Hadoop（HDFS+MapReduce+Yarn ）
HBase（JavaAPI操作+Phoenix ）
Hive(Hql基本操作和原理理解）
Kafka
Storm/JStorm
Scala
Python
Spark (Core+sparksql+Spark streaming ）
輔助小工具(Sqoop/Flume/Oozie/Hue等)

高階技能6條

機器學習算法以及mahout庫加MLlib
R語言
Lambda 架構(gòu)
Kappa架構(gòu)
Kylin
Alluxio
三、學習路徑

假設(shè)每天可以抽出3個小時的有效學習時間，加上周末每天保證10個小時的有效學習時間；

3個月會有（213+4210）3=423小時的學習時間。

第一階段（基礎(chǔ)階段）

1）Linux學習（跟鳥哥學就ok了）—–20小時

Linux操作系統(tǒng)介紹與安裝。
Linux常用命令。
Linux常用軟件安裝。
Linux網(wǎng)絡(luò)。
防火墻。
Shell編程等。
2）Java 高級學習（《深入理解Java虛擬機》、《Java高并發(fā)實戰(zhàn)》）—30小時

掌握多線程。
掌握并發(fā)包下的隊列。
了解JMS。
掌握JVM技術(shù)。
掌握反射和動態(tài)代理。
3）Zookeeper學習
Zookeeper分布式協(xié)調(diào)服務(wù)介紹。
Zookeeper集群的安裝部署。
Zookeeper數(shù)據(jù)結(jié)構(gòu)、命令。
Zookeeper的原理以及選舉機制。

第二階段（攻堅階段）

4）Hadoop （《Hadoop 權(quán)威指南》）—80小時

HDFS

HDFS的概念和特性。
HDFS的shell操作。
HDFS的工作機制。
HDFS的Java應(yīng)用開發(fā)。
MapReduce

運行WordCount示例程序。
了解MapReduce內(nèi)部的運行機制。
MapReduce程序運行流程解析。
MapTask并發(fā)數(shù)的決定機制。
MapReduce中的combiner組件應(yīng)用。
MapReduce中的序列化框架及應(yīng)用。
MapReduce中的排序。
MapReduce中的自定義分區(qū)實現(xiàn)。
MapReduce的shuffle機制。
MapReduce利用數(shù)據(jù)壓縮進行優(yōu)化。
MapReduce程序與YARN之間的關(guān)系。
MapReduce參數(shù)優(yōu)化。
MapReduce的Java應(yīng)用開發(fā)
5）Hive（《Hive開發(fā)指南》）–20小時

Hive 基本概念

Hive 應(yīng)用場景。
Hive 與hadoop的關(guān)系。
Hive 與傳統(tǒng)數(shù)據(jù)庫對比。
Hive 的數(shù)據(jù)存儲機制。
Hive 基本操作

Hive 中的DDL操作。
在Hive 中如何實現(xiàn)高效的JOIN查詢。
Hive 的內(nèi)置函數(shù)應(yīng)用。
Hive shell的高級使用方式。
Hive 常用參數(shù)配置。
Hive 自定義函數(shù)和Transform的使用技巧。
Hive UDF/UDAF開發(fā)實例。
Hive 執(zhí)行過程分析及優(yōu)化策略
6）HBase（《HBase權(quán)威指南》）—20小時

hbase簡介。
habse安裝。
hbase數(shù)據(jù)模型。
hbase命令。
hbase開發(fā)。
hbase原理。

7）Scala（《快學Scala》）–20小時

Scala概述。
Scala編譯器安裝。
Scala基礎(chǔ)。
數(shù)組、映射、元組、集合。
類、對象、繼承、特質(zhì)。
模式匹配和樣例類。
了解Scala Actor并發(fā)編程。
理解Akka。
理解Scala高階函數(shù)。
理解Scala隱式轉(zhuǎn)換。

8）Spark （《Spark 權(quán)威指南》）—60小時

enter image description here

Spark core

Spark概述。
Spark集群安裝。
執(zhí)行第一個Spark案例程序（求PI）。
RDD

enter image description here

RDD概述。
創(chuàng)建RDD。
RDD編程API（Transformation 和 Action Operations）。
RDD的依賴關(guān)系
RDD的緩存
DAG（有向無環(huán)圖）
Spark SQL and DataFrame/DataSet

enter image description here

Spark SQL概述。
DataFrames。
DataFrame常用操作。
編寫Spark SQL查詢程序。
Spark Streaming

enter image description here

enter image description here

park Streaming概述。
理解DStream。
DStream相關(guān)操作（Transformations 和 Output Operations）。
Structured Streaming

其他（MLlib and GraphX ）

這個部分一般工作中如果不是數(shù)據(jù)挖掘，機器學習一般用不到，可以等到需要用到的時候再深入學習。

9）Python
10）自己用虛擬機搭建一個集群，把所有工具都裝上，自己開發(fā)一個小demo —30小時

可以自己用VMware搭建4臺虛擬機，然后安裝以上軟件，搭建一個小集群（本人親測，I7，64位，16G內(nèi)存，完全可以運行起來）

大數(shù)據(jù)的未來前景可期，入行的人也非常的多，而如何快速的完成轉(zhuǎn)型，如何快速的進入大數(shù)據(jù)領(lǐng)域，就需要轉(zhuǎn)型者、小白去進行深刻的思考。

對于小白學習大數(shù)據(jù)需要注意的點有很多，但無論如何，既然你選擇了進入大數(shù)據(jù)行業(yè)，那么便只顧風雨兼程。正所謂不忘初心、方得始終，學習大數(shù)據(jù)你最需要的還是一顆持之以恒的心。
在這里還是要推薦下我自己建的大數(shù)據(jù)學習交流群:529867072，群里都是學大數(shù)據(jù)開發(fā)的，如果你正在學習大數(shù)據(jù) ，小編歡迎你加入,大家都是軟件開發(fā)黨，不定期分享干貨（只有大數(shù)據(jù)軟件開發(fā)相關(guān)的），包括我自己整理的一份最新的大數(shù)據(jù)進階資料和高級開發(fā)教程，歡迎進階中和進想深入大數(shù)據(jù)的小伙伴加入。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)頁名稱：java轉(zhuǎn)大數(shù)據(jù)的學習路線-創(chuàng)新互聯(lián)
路徑分享：http://muchs.cn/article42/egohc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、建站公司、關(guān)鍵詞優(yōu)化、定制網(wǎng)站、搜索引擎優(yōu)化、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)