淺談實(shí)時(shí)計(jì)算框架Flink集群搭建與運(yùn)行機(jī)制

目錄一、Flink概述1.1、基礎(chǔ)簡介

我們提供的服務(wù)有：成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認(rèn)證、廬江ssl等。為成百上千企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務(wù)，是有科學(xué)管理、有技術(shù)的廬江網(wǎng)站制作公司

主要特性包括：批流一體化、精密的狀態(tài)管理、事件時(shí)間支持以及精確一次的狀態(tài)一致性保障等。Flink不僅可以運(yùn)行在包括YARN、Mesos、Kubernetes在內(nèi)的多種資源管理框架上，還支持在裸機(jī)集群上獨(dú)立部署。在啟用高可用選項(xiàng)的情況下，它不存在單點(diǎn)失效問題。

這里要說明兩個(gè)概念：

邊界：無邊界和有邊界數(shù)據(jù)流，可以理解為數(shù)據(jù)的聚合策略或者條件； 狀態(tài)：即執(zhí)行順序上是否存在依賴關(guān)系，即下次執(zhí)行是否依賴上次結(jié)果；1.2、應(yīng)用場景

Data Driven

事件驅(qū)動(dòng)型應(yīng)用無須查詢遠(yuǎn)程數(shù)據(jù)庫，本地?cái)?shù)據(jù)訪問使得它具有更高的吞吐和更低的延遲，以反欺詐案例來看，DataDriven把處理的規(guī)則模型寫到DatastreamAPI中，然后將整個(gè)邏輯抽象到Flink引擎，當(dāng)事件或者數(shù)據(jù)流入就會(huì)觸發(fā)相應(yīng)的規(guī)則模型，一旦觸發(fā)規(guī)則中的條件后，DataDriven會(huì)快速處理并對業(yè)務(wù)應(yīng)用進(jìn)行通知。

Data Analytics

和批量分析相比，由于流式分析省掉了周期性的數(shù)據(jù)導(dǎo)入和查詢過程，因此從事件中獲取指標(biāo)的延遲更低。不僅如此，批量查詢必須處理那些由定期導(dǎo)入和輸入有界性導(dǎo)致的人工數(shù)據(jù)邊界，而流式查詢則無須考慮該問題，F(xiàn)link為持續(xù)流式分析和批量分析都提供了良好的支持，實(shí)時(shí)處理分析數(shù)據(jù)，應(yīng)用較多的場景如實(shí)時(shí)大屏、實(shí)時(shí)報(bào)表。

Data Pipeline

與周期性的ETL作業(yè)任務(wù)相比，持續(xù)數(shù)據(jù)管道可以明顯降低將數(shù)據(jù)移動(dòng)到目的端的延遲，例如基于上游的StreamETL進(jìn)行實(shí)時(shí)清洗或擴(kuò)展數(shù)據(jù)，可以在下游構(gòu)建實(shí)時(shí)數(shù)倉，確保數(shù)據(jù)查詢的時(shí)效性，形成高時(shí)效的數(shù)據(jù)查詢鏈路，這種場景在媒體流的推薦或者搜索引擎中十分常見。

二、環(huán)境部署2.1、安裝包管理

[root@hop01 opt]# tar -zxvf flink-1.7.0-bin-hadoop27-scala_2.11.tgz

[root@hop02 opt]# mv flink-1.7.0 flink1.7

2.2、集群配置

管理節(jié)點(diǎn)

[root@hop01 opt]# cd /opt/flink1.7/conf

[root@hop01 conf]# vim flink-conf.yaml

jobmanager.rpc.address: hop01

分布節(jié)點(diǎn)

[root@hop01 conf]# vim slaves

hop02

hop03

兩個(gè)配置同步到所有集群節(jié)點(diǎn)下面。

2.3、啟動(dòng)與停止

/opt/flink1.7/bin/start-cluster.sh

/opt/flink1.7/bin/stop-cluster.sh

啟動(dòng)日志：

[root@hop01 conf]# /opt/flink1.7/bin/start-cluster.sh

Starting cluster.

Starting standalonesession daemon on host hop01.

Starting taskexecutor daemon on host hop02.

Starting taskexecutor daemon on host hop03.

2.4、Web界面

訪問：http://hop01:8081/

三、開發(fā)入門案例3.1、數(shù)據(jù)腳本

分發(fā)一個(gè)數(shù)據(jù)腳本到各個(gè)節(jié)點(diǎn)：

/var/flink/test/word.txt

3.2、引入基礎(chǔ)依賴

這里基于Java寫的基礎(chǔ)案例。

<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.7.0</version> </dependency> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId> <version>1.7.0</version> </dependency></dependencies>3.3、讀取文件數(shù)據(jù)

這里直接讀取文件中的數(shù)據(jù)，經(jīng)過程序流程分析出每個(gè)單詞出現(xiàn)的次數(shù)。

public class WordCount { public static void main(String[] args) throws Exception { // 讀取文件數(shù)據(jù) readFile () ; } public static void readFile () throws Exception { // 1、執(zhí)行環(huán)境創(chuàng)建 ExecutionEnvironment environment = ExecutionEnvironment.getExecutionEnvironment(); // 2、讀取數(shù)據(jù)文件 String filePath = "/var/flink/test/word.txt" ; DataSet<String> inputFile = environment.readTextFile(filePath); // 3、分組并求和 DataSet<Tuple2<String, Integer>> wordDataSet = inputFile.flatMap(new WordFlatMapFunction( )).groupBy(0).sum(1); // 4、打印處理結(jié)果 wordDataSet.print(); } // 數(shù)據(jù)讀取個(gè)切割方式 static class WordFlatMapFunction implements FlatMapFunction<String, Tuple2<String, Integer>> { @Override public void flatMap(String input, Collector<Tuple2<String, Integer>> collector){ String[] wordArr = input.split(","); for (String word : wordArr) { collector.collect(new Tuple2<>(word, 1)); } } }}3.4、讀取端口數(shù)據(jù)

在hop01服務(wù)上創(chuàng)建一個(gè)端口，并模擬一些數(shù)據(jù)發(fā)送到該端口：

[root@hop01 ~]# nc -lk 5566

c++,java

通過Flink程序讀取并分析該端口的數(shù)據(jù)內(nèi)容：

public class WordCount { public static void main(String[] args) throws Exception { // 讀取端口數(shù)據(jù) readPort (); } public static void readPort () throws Exception { // 1、執(zhí)行環(huán)境創(chuàng)建 StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(); // 2、讀取Socket數(shù)據(jù)端口 DataStreamSource<String> inputStream = environment.socketTextStream("hop01", 5566); // 3、數(shù)據(jù)讀取個(gè)切割方式 SingleOutputStreamOperator<Tuple2<String, Integer>> resultDataStream = inputStream.flatMap( new FlatMapFunction<String, Tuple2<String, Integer>>() { @Override public void flatMap(String input, Collector<Tuple2<String, Integer>> collector) { String[] wordArr = input.split(","); for (String word : wordArr) { collector.collect(new Tuple2<>(word, 1)); } } }).keyBy(0).sum(1); // 4、打印分析結(jié)果 resultDataStream.print(); // 5、環(huán)境啟動(dòng) environment.execute(); }}四、運(yùn)行機(jī)制4.1、FlinkClient

客戶端用來準(zhǔn)備和發(fā)送數(shù)據(jù)流到JobManager節(jié)點(diǎn)，之后根據(jù)具體需求，客戶端可以直接斷開連接，或者維持連接狀態(tài)等待任務(wù)處理結(jié)果。

4.2、JobManager

在Flink集群中，會(huì)啟動(dòng)一個(gè)JobManger節(jié)點(diǎn)和至少一個(gè)TaskManager節(jié)點(diǎn)，JobManager收到客戶端提交的任務(wù)后，JobManager會(huì)把任務(wù)協(xié)調(diào)下發(fā)到具體的TaskManager節(jié)點(diǎn)去執(zhí)行，TaskManager節(jié)點(diǎn)將心跳和處理信息發(fā)送給JobManager。

4.3、TaskManager

任務(wù)槽（slot）是TaskManager中最小的資源調(diào)度單位，在啟動(dòng)的時(shí)候就設(shè)置好了槽位數(shù)，每個(gè)槽位能啟動(dòng)一個(gè)Task，接收J(rèn)obManager節(jié)點(diǎn)部署的任務(wù)，并進(jìn)行具體的分析處理。

五、源代碼地址

GitHub·地址

GitEE·地址

以上就是淺談實(shí)時(shí)計(jì)算框架Flink集群搭建與運(yùn)行機(jī)制的詳細(xì)內(nèi)容，更多關(guān)于實(shí)時(shí)計(jì)算框架 Flink集群搭建與運(yùn)行機(jī)制的資料請關(guān)注腳本之家其它相關(guān)文章！

分享標(biāo)題：淺談實(shí)時(shí)計(jì)算框架Flink集群搭建與運(yùn)行機(jī)制
轉(zhuǎn)載注明：http://muchs.cn/article28/dijcp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站排名、面包屑導(dǎo)航、微信公眾號、靜態(tài)網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)