文本教你如何在Flink集群部署Alink

在 Flink 集群部署 Alink，需要部署三個(gè) Jar 包（本文會(huì)有一個(gè)部分專門講述如何獲?。?，對于不同 Flink 集群環(huán)境，方式有些區(qū)別，本文主要討論 Standalone 集群和 Kubernetes 集群。

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于網(wǎng)站制作、網(wǎng)站建設(shè)、南皮網(wǎng)絡(luò)推廣、小程序開發(fā)、南皮網(wǎng)絡(luò)營銷、南皮企業(yè)策劃、南皮品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供南皮建站搭建服務(wù)，24小時(shí)服務(wù)熱線：18980820575，官方網(wǎng)址：muchs.cn

獲取集群部署所需 Jar 包

由于 Alink 可以通過 Java 和 Python 兩種方式提交，建議在集群部署的時(shí)候?qū)⑾嚓P(guān) Jar 包一起部署上去。Alink 雖然沒有單獨(dú)提供集群部署 Jar 包的下載，但是所需 Jar 包與 PyAlink 所用的相同。所以可以從 PyAlink 的安裝 whl 包中獲取。具體方式如下：

1.下載 PyAlink 1.10 的 whl 包，相關(guān)鏈接：

https://github.com/alibaba/Alink/releases/tag/v1.1.0

2.解壓 PyAlink 1.10 的 whl 包

解壓后的文件結(jié)構(gòu)如下圖所示，在 pyalink/lib 下為集群部署所需的三個(gè) jar 包。

在 Standalone 集群上部署

將前面獲取的三個(gè) Jar 包拷貝到 Flink 目錄下，再啟動(dòng) Flink 集群即可。

• 在 Flink 配置中增加：classloader.resolve-order: parent-first
• 在 flink-[版本號]目錄下，運(yùn)行 bin/start-cluster.sh 啟動(dòng)集群
• bin/taskmanager.sh start 可以增加 TM

更多內(nèi)容可以參考：

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/cluster_setup.html

在 Kubernetes 集群上部署

將前面獲取的三個(gè) Jar 包放置進(jìn) Docker 鏡像中，并將以下三個(gè)命令添加進(jìn) DockerFile，打包鏡像即可。

ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jarADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jarADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar

使用 Flink 官方提供的部署方式，其中增加 classloader.resolve-order: parent-first 配置項(xiàng)。參考:

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

創(chuàng)新互聯(lián)面向全國提供域名注冊、虛擬主機(jī)、云服務(wù)器、服務(wù)器托管與租用，如需了解，請聯(lián)系QQ:171356849微信：zh18159893430 咨詢，謝謝！

本文標(biāo)題：文本教你如何在Flink集群部署Alink
當(dāng)前地址：http://muchs.cn/article44/djjhe.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、微信小程序、App設(shè)計(jì)、品牌網(wǎng)站建設(shè)、定制開發(fā)、微信公眾號

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)