web數(shù)據(jù)工程師必備的技能有哪些

1-精通一種編程語言

是的，編程語言是數(shù)據(jù)工程的必備技能。多數(shù)職位概況要求精通至少一種編程語言。這些語言是ETL或數(shù)據(jù)管道框架所必需的。通用編程語言是總體上掌握數(shù)據(jù)工程和管道所需的核心編程技能。比如，Java和Scala用于在Hadoop上編寫MapReduce作業(yè)。Python是數(shù)據(jù)分析和管道的流行選擇，而Ruby也是廣泛流行的應(yīng)用程序粘合劑。

2- Python是最受關(guān)注的技能

Python！Python！Python！是的，大約70％的工作簡介中具有Python作為必備技能，其次是SQL，Java，Scala和其他編程技能，例如R，.Net，Perl，Shell腳本等。

3- Apache Spark在數(shù)據(jù)處理層的頂部

數(shù)據(jù)處理是將數(shù)據(jù)收集和處理為可用的所需形式。Apache Spark排在數(shù)據(jù)處理層的首位，其次是AWS Lambda，Elasticsearch，MapReduce，Oozie，Pig，AWS EMR等。ApacheSpark是一個功能強大的開源框架，可提供交互式處理，實時流處理，批處理，并以非?？斓乃俣?，標(biāo)準(zhǔn)接口和易用性進(jìn)行內(nèi)存處理。

4- Rest API通常用于數(shù)據(jù)收集

對于需要分析或處理的任何數(shù)據(jù)，首先需要將其收集或吸收到數(shù)據(jù)管道中。REST API是用于此目的的常用工具，其次是Sqoop，Nifi，Azure Data Factory，F(xiàn)lume，Hue等。

5-數(shù)據(jù)緩沖最常見的是Apache Kafka

數(shù)據(jù)緩沖是數(shù)據(jù)工程框架中的關(guān)鍵部分，在將數(shù)據(jù)從一個地方移到另一個地方以適應(yīng)大量數(shù)據(jù)時，需要臨時存儲數(shù)據(jù)。Apache Kafka是常用的分布式數(shù)據(jù)存儲，經(jīng)過優(yōu)化可實時攝取和處理流數(shù)據(jù)。流數(shù)據(jù)是由數(shù)千個數(shù)據(jù)源連續(xù)生成的數(shù)據(jù)，這些數(shù)據(jù)源通常同時發(fā)送數(shù)據(jù)記錄。流平臺需要處理這種不斷涌入的數(shù)據(jù)，并按順序和增量地處理數(shù)據(jù)。此類別中的其他工具是Kinesis，redis Cache, GCP Pub/Sub等。

6-存儲數(shù)據(jù)– SQL或NOSQL

數(shù)據(jù)需要存儲以進(jìn)行處理，分析或可視化，以生成有價值的結(jié)果。數(shù)據(jù)存儲可以采用數(shù)據(jù)倉庫，Hadoop，數(shù)據(jù)庫（RDBMS和NoSQL），數(shù)據(jù)集市的形式。緊隨其后的是Hive，AWS Redshift，MongoDB，AWS S3，Cassandra，GCP BigQuery等SQL技能。

7-使用Tableau或PowerBI進(jìn)行數(shù)據(jù)可視化

數(shù)據(jù)可視化是以圖形，圖表或其他可視格式表示數(shù)據(jù)或信息。它傳達(dá)數(shù)據(jù)與圖像的關(guān)系。Tableau和PowerBI領(lǐng)先于競爭對手，其次是SAP Business Objects，Qlik，SPSS，QuickSight，MicroStrategy等。

8-數(shù)據(jù)工程云平臺

有不同的基于云或內(nèi)部部署的平臺，可用于不同的數(shù)據(jù)工程工具集。列出的典型代表是Hadoop，Google Cloud Platform，AWS，Azure和Apprenda。

好吧，并非一定要精通所有技能和工具，但是通常需要在每個數(shù)據(jù)管道框架類別中至少掌握其中一個，例如針對云平臺的GCP，針對開發(fā)的Python，針對數(shù)據(jù)處理的Apache Spark，針對數(shù)據(jù)收集的Rest API，針對數(shù)據(jù)緩沖的Apache Kafka，針對數(shù)據(jù)存儲的Hive，用于數(shù)據(jù)可視化的PowerBI。