Flink監(jiān)控腳本-創(chuàng)新互聯

Flink監(jiān)控腳本 提前準備好Flink任務的啟動腳本
vim start01.sh

#!/bin/bash
path=$(hadoop fs -ls -t /flink/checkpoints/* | grep "chk-[0-9]"|sort -r -k 6,7|awk '{print $8}' |head -n 1)
if [ ! $path ]; then
 nohup /home/hadoop/flink-1.13.5/bin/flink run -m yarn-cluster -ys 1 -ynm etl-AE6ss -yjm 4096 -ytm 4096 -yD env.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" -d -c com.talkingdata.feilong.app.impl.ETLApplication etl.jar /home/hadoop/nfs/config/feilong/flink-etl/etl-config.properties >ae6log.out 2>&1 &
else
 nohup  /home/hadoop/flink-1.13.5/bin/flink run --allowNonRestoredState -s hdfs://172.23.4.223:8020$path -m yarn-cluster -ys 1 -ynm etl-AE6ss -yjm 4096 -ytm 4096 -yD env.java.opts="-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8" -d -c com.talkingdata.feilong.app.impl.ETLApplication etl.jar /home/hadoop/nfs/config/feilong/flink-etl/etl-config.properties >ae6log.out 2>&1 &
fi
監(jiān)控腳本
#! /bin/bash
source ~/.bash_profile
##flink 啟動腳本里的名稱,多余名稱的一定要注釋掉
feilong_name="feilong_flink-streaming-etl"
ae6_name="ae6_flink-streaming-etl"
ae3_name="ae3_flink-streaming-etl"


flink_name="${feilong_name} ${ae6_name} ${ae3_name}" ##列表名稱參照flink啟動腳本里的名稱，多個flink任務時，名稱不能重復
#list=$(yarn application -list | awk 'NR >2{print $1,$2}')
#echo $list
flink_running_name=$(yarn application -list | awk 'NR >2{print $2}')
TIME=`date "+%Y-%m-%d %H:%M:%S"`

##執(zhí)行相應的flink名稱重啟任務，#####判斷名稱要與flink_name的名稱以及個數保持一致
restart_flink(){
if [[ ${file} == "${feilong_name}" ]];then
  echo "重啟feilong的flink任務"
nohup sh /home/hadoop/flink-1.13.5/etl/start01.sh >/home/hadoop/flink-1.13.5/etl/feilong_restart_log.out 2>&1
elif [[ ${file} == "${ae6_name}" ]];then
  echo "重啟AE6的flink任務"
nohup sh /home/hadoop/flink-1.13.5/etl/start02.sh >/home/hadoop/flink-1.13.5/etl/ae6_restart_log.out 2>&1
else
  echo "${file} 不在列表內請調整腳本，增加判斷"
fi
}

##執(zhí)行全部flink重啟任務
restart_all_flink(){
for file in ${flink_name}
do
restart_flink
done
}


##執(zhí)行部分flink重啟任務
restart_part_flink(){
for file in ${flink_name}
do
##判斷是否在任務列表內，未在列表內時進行重啟
if [[ ${flink_running_name} =~ ${file} ]];then
echo "${file} 任務正常"
else
echo "${file}未在列表內，需要重啟"
restart_flink
fi
done
}

if [[ ! -n "$flink_running_name" ]];then
   echo "[ -flink任務列表為空，執(zhí)行全部重啟flink命令 :$TIME]"
   restart_all_flink
else
   echo "[ -flink任務列表不為空，存在正在運行的flink任務 :$TIME]"
   restart_part_flink
fi

瘋

成都創(chuàng)新互聯公司長期為上1000+客戶提供的網站建設服務，團隊從業(yè)經驗10年，關注不同地域、不同群體，并針對不同對象提供差異化的產品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯網生態(tài)環(huán)境。為安次企業(yè)提供專業(yè)的成都網站制作、成都做網站，安次網站改版等技術服務。擁有10多年豐富建站經驗和眾多成功案例,為您定制開發(fā)。

所有打不死你的，都會使你變得更強大！

你是否還在尋找穩(wěn)定的海外服務器提供商？創(chuàng)新互聯www.cdcxhl.cn海外機房具備T級流量清洗系統配攻擊溯源，準確流量調度確保服務器高可用性，企業(yè)級服務器適合批量采購，新人活動首月15元起，快前往官網查看詳情吧

網頁名稱：Flink監(jiān)控腳本-創(chuàng)新互聯
文章鏈接：http://muchs.cn/article4/ceceoe.html

成都網站建設公司_創(chuàng)新互聯，為您提供網站制作、外貿建站、網站收錄、搜索引擎優(yōu)化、網站維護、企業(yè)建站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯

網站建設網站維護公司