開源分布式任務(wù)工作流調(diào)度系統(tǒng)EasySchedulerRelease1.0.2

Easy Scheduler Release 1.0.2

Easy Scheduler 1.0.2是1.x系列中的第三個(gè)版本。此版本增加了調(diào)度開放接口、worker分組(指定任務(wù)運(yùn)行的機(jī)器組)、任務(wù)流程及服務(wù)監(jiān)控以及對oracle、clickhouse等支持，具體如下：

創(chuàng)新互聯(lián)建站于2013年創(chuàng)立，先為綏化等服務(wù)建站，綏化等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為綏化企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

新特性：

• [EasyScheduler-79] 調(diào)度通過token方式對外開放接口，可以通過api進(jìn)行操作
• [EasyScheduler-138] 可以指定任務(wù)運(yùn)行的機(jī)器(組)
• [EasyScheduler-139] 任務(wù)流程監(jiān)控及Master、Worker、Zookeeper運(yùn)行狀態(tài)監(jiān)控
• [EasyScheduler-140] 工作流定義—增加流程超時(shí)報(bào)警
• [EasyScheduler-134] 任務(wù)類型支持Oracle、CLICKHOUSE、SQLSERVER、IMPALA
• [EasyScheduler-136] Sql任務(wù)節(jié)點(diǎn)可以獨(dú)立選取抄送郵件用戶
• [EasyScheduler-141] 用戶管理—用戶可以綁定隊(duì)列,用戶隊(duì)列級別高于租戶隊(duì)列級別，如果用戶隊(duì)列為空，則尋找租戶隊(duì)列

增強(qiáng)：

• [EasyScheduler-154] 租戶編碼允許純數(shù)字或者下劃線這種的編碼

修復(fù)：

• [EasyScheduler-135] Python任務(wù)可以指定python版本

• [EasyScheduler-125] 用戶賬號中手機(jī)號無法識別聯(lián)通最新號碼166開頭

• [EasyScheduler-178] 修復(fù)ProcessDao里細(xì)微的拼寫錯(cuò)誤

• [EasyScheduler-129] 租戶管理中，租戶編碼帶下劃線等特殊字符無法通過校驗(yàn)

感謝：

最后但最重要的是，沒有以下伙伴的貢獻(xiàn)就沒有新版本的誕生：

Baoqi , chubbyjiang , coreychen , chgxtony, cmdares , datuzi , dingchao, fanguanqun , 風(fēng)清揚(yáng), gaojun416 , googlechorme, hyperknob , hujiang75277381 , huanzui , kinssun, ivivi727 ,jimmy, jiangzhx , kevin5210 , lidongdai , lshmouse , lenboo, lyf198972 , lgcareer , lzy305 , moranrr , millionfor , mazhong8808, programlief, qiaozhanwei , roy110 , swxchappy , sherlock111 , samz406 , swxchappy, qq389401879 , lzy305, vkingnew, William-GuoWei , woniulinux, yyl861, zhangxin1988, yangjiajun2014, yangqinlong, yangjiajun2014, zhzhenqin, zhangluck, zhanghaicheng1, zhuyizhizhi

以及微信群里眾多的熱心伙伴！在此非常感謝！

---

---

Easy Scheduler介紹

1、背景

在多位技術(shù)小伙伴的努力下，經(jīng)過近2年的研發(fā)迭代、內(nèi)部業(yè)務(wù)剝離及重構(gòu)，也經(jīng)歷一批種子用戶試用一段時(shí)間后，EasyScheduler終于迎來了第一個(gè)正式開源發(fā)布版本 -- 1.0.0。
相信做過數(shù)據(jù)處理的伙伴們對開源的調(diào)度系統(tǒng)如oozie、azkaban、airflow應(yīng)該都不陌生，在使用這些調(diào)度系統(tǒng)中可能會有這樣的體驗(yàn)：比如配置工作流任務(wù)不能可視化、任務(wù)的運(yùn)行狀態(tài)不能實(shí)時(shí)在線查看、
任務(wù)運(yùn)行時(shí)不能暫停、不能支持參數(shù)傳遞、不能補(bǔ)數(shù)、不能多租戶使用、調(diào)度系統(tǒng)不高可用等等問題所煩擾過。Easy Scheduler正是在這種背景下應(yīng)運(yùn)而生，其目標(biāo)就是為使調(diào)度更加easy，更可以從其中文名“易調(diào)度”看出我們的初衷。

2、設(shè)計(jì)特點(diǎn)

Easy Scheduler是一個(gè)分布式工作流任務(wù)調(diào)度系統(tǒng)，主要解決數(shù)據(jù)研發(fā)ETL錯(cuò)綜復(fù)雜的依賴關(guān)系所帶來的各種問題。
其主要目標(biāo)如下：

• 以DAG圖的方式將Task按照任務(wù)的依賴關(guān)系關(guān)聯(lián)起來，可實(shí)時(shí)可視化監(jiān)控任務(wù)的運(yùn)行狀態(tài)
• 支持豐富的任務(wù)類型：Shell、MR、Spark、SQL(MySQL、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
• 支持工作流定時(shí)調(diào)度、依賴調(diào)度、手動調(diào)度、手動暫停/停止/恢復(fù)，同時(shí)支持失敗重試/告警、從指定節(jié)點(diǎn)恢復(fù)失敗、Kill任務(wù)等操作
• 支持工作流優(yōu)先級、任務(wù)優(yōu)先級及任務(wù)的故障轉(zhuǎn)移及任務(wù)超時(shí)告警/失敗
• 支持工作流全局參數(shù)及節(jié)點(diǎn)自定義參數(shù)設(shè)置
• 支持資源文件的在線上傳/下載，管理等，支持在線文件創(chuàng)建、編輯
• 支持任務(wù)日志在線查看及滾動、在線下載日志等
• 實(shí)現(xiàn)集群HA，通過Zookeeper實(shí)現(xiàn)Master集群和Worker集群去中心化
• 支持對Master/Worker cpu load，memory，cpu在線查看
• 支持工作流運(yùn)行歷史樹形/甘特圖展示、支持任務(wù)狀態(tài)統(tǒng)計(jì)、流程狀態(tài)統(tǒng)計(jì)
• 支持補(bǔ)數(shù)
• 支持多租戶
• 支持國際化
• 還有更多等待伙伴們探索

4、與同類調(diào)度系統(tǒng)的對比

5、系統(tǒng)部分截圖

6、文檔

• Easy Scheduler后端部署文檔
• Easy Scheduler前端部署文檔
• Easy Scheduler使用手冊

更多文檔請參考:
Easy Scheduler中文在線文檔

7、感謝

Easy Scheduler使用了很多優(yōu)秀的開源項(xiàng)目，比如google的guava、guice、grpc，netty，ali的bonecp，quartz,以及apache的眾多開源項(xiàng)目等等，我們也非常感謝oozie、azkaban、airflow等優(yōu)秀調(diào)度作品的出現(xiàn)帶給我們的啟發(fā)，
正是由于站在這些開源項(xiàng)目的肩膀上，才有Easy Scheduler的誕生的可能。對此我們對使用的所有開源軟件表示非常的感謝！我們也希望自己不僅是開源的受益者，也能成為開源的
貢獻(xiàn)者，于是我們決定把易調(diào)度貢獻(xiàn)出來，并承諾長期維護(hù)。也希望對開源有同樣熱情和信念的伙伴加入進(jìn)來，一起為開源獻(xiàn)出一份力！

8、后記

Easy Scheduler于2019.03.28號正式開源后，僅僅一周時(shí)間，我們就感受到了伙伴們對Easy Scheduler的極大熱情，很多伙伴提出使用反饋，還有一些伙伴是直接就找到相應(yīng)的源代碼來提問題或給出更好的建議、甚至直接在Easy Scheduler上擼袖子寫代碼，
這給我們目前的主要開發(fā)者予以極大的精神鼓舞，非常感謝伙伴們這么熱情和信任我們，我們會和大家一道繼續(xù)奔走在使調(diào)度系統(tǒng)開箱即用這條大道上，為使"數(shù)據(jù)能力平民化"添磚加瓦，為數(shù)據(jù)時(shí)代貢獻(xiàn)自己的激情和汗水！

開源github地址：https://github.com/analysys/EasyScheduler

在線文檔地址：https://analysys.github.io/easyscheduler_docs_cn

貢獻(xiàn)代碼

非常歡迎大家來參與貢獻(xiàn)代碼，提交代碼流程請參考：
https://github.com/analysys/EasyScheduler/blob/master/CONTRIBUTING.md

感謝

Easy Scheduler使用了很多優(yōu)秀的開源項(xiàng)目，比如google的guava、guice、grpc，netty，ali的bonecp，quartz，以及apache的眾多開源項(xiàng)目等等，
正是由于站在這些開源項(xiàng)目的肩膀上，才有Easy Scheduler的誕生的可能。對此我們對使用的所有開源軟件表示非常的感謝！我們也希望自己不僅是開源的受益者，也能成為開源的
貢獻(xiàn)者，于是我們決定把易調(diào)度貢獻(xiàn)出來，并承諾長期維護(hù)。也希望對開源有同樣熱情和信念的伙伴加入進(jìn)來，一起為開源獻(xiàn)出一份力！

幫助

The fastest way to get response from our developers is to submit issues, or add our wechat : 510570367

另外我們部署了一個(gè)單機(jī)版本的小demo，想體驗(yàn)的伙伴，請?jiān)L問 http://52.82.13.76:8888 歡迎聯(lián)系體驗(yàn)(wechat : 510570367)， 涉及多人修改的問題，管理員登錄暫不開放！歡迎提建議！

名稱欄目：開源分布式任務(wù)工作流調(diào)度系統(tǒng)EasySchedulerRelease1.0.2
網(wǎng)頁鏈接：http://muchs.cn/article24/gcepce.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、定制開發(fā)、面包屑導(dǎo)航、品牌網(wǎng)站制作、網(wǎng)站排名、網(wǎng)站內(nèi)鏈

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)