DataPipeline聯(lián)合ConfluentKafka
Confluent作為國際數(shù)據(jù)“流”處理技術(shù)領(lǐng)先者，提供實(shí)時(shí)數(shù)據(jù)處理解決方案，在市場(chǎng)上擁有大量企業(yè)客戶，幫助企業(yè)輕松訪問各類數(shù)據(jù)。DataPipeline作為國內(nèi)首家原生支持Kafka解決方案的“iPaaS+AI”一站式大數(shù)據(jù)融合服務(wù)提供商，在零售、金融、互聯(lián)網(wǎng)和制造等行業(yè)擁有著豐富實(shí)踐經(jīng)驗(yàn)和解決方案能力。
成都創(chuàng)新互聯(lián)公司始終堅(jiān)持【策劃先行，效果至上】的經(jīng)營理念，通過多達(dá)10年累計(jì)超上千家客戶的網(wǎng)站建設(shè)總結(jié)了一套系統(tǒng)有效的全網(wǎng)推廣解決方案，現(xiàn)已廣泛運(yùn)用于各行各業(yè)的客戶，其中包括：咖啡廳設(shè)計(jì)等企業(yè)，備受客戶贊許。
此次上海DataPipeline & Confluent Kafka Meetup，我們邀請(qǐng)到了Confluent流數(shù)據(jù)處理系統(tǒng)架構(gòu)師和技術(shù)負(fù)責(zé)人王國璋、DataPipeline架構(gòu)師呂鵬、攜程大數(shù)據(jù)平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)負(fù)責(zé)人潘國慶、阿里巴巴實(shí)時(shí)計(jì)算平臺(tái)高級(jí)技術(shù)專家秦江杰、網(wǎng)易云大數(shù)據(jù)平臺(tái)架構(gòu)師歐陽武林等大數(shù)據(jù)領(lǐng)域六位行業(yè)大咖分享Kafka最新研究成果以及行業(yè)應(yīng)用案例。
活動(dòng)流程
演講嘉賓
王國璋
Confluent流數(shù)據(jù)處理系統(tǒng)架構(gòu)師和技術(shù)負(fù)責(zé)人
Apache Kafka PMC，Kafka Streams 作者。于康奈爾大學(xué)計(jì)算機(jī)系取得博士學(xué)位，主要研究方向?yàn)閿?shù)據(jù)庫管理和分布式數(shù)據(jù)系統(tǒng)?，F(xiàn)就職于Confluent，任流數(shù)據(jù)處理系統(tǒng)架構(gòu)師和技術(shù)負(fù)責(zé)人。此前曾就職于 LinkedIn 數(shù)據(jù)架構(gòu)組，主要負(fù)責(zé)實(shí)時(shí)數(shù)據(jù)處理平臺(tái)，包括 Apache Kafka 和 Apache Samza 系統(tǒng)的開發(fā)與維護(hù)。
演講主題：《Apache Kafka，從0.7到2.0：那些年我們踩過的坑》
自從 2011年被捐獻(xiàn)給Apache基金會(huì)到現(xiàn)在，Kafka項(xiàng)目已經(jīng)走過了七個(gè)年頭。從最早的“分布式消息系統(tǒng)”，到現(xiàn)在集成了分發(fā)、存儲(chǔ)和計(jì)算的“流式數(shù)據(jù)平臺(tái)”，Kafka經(jīng)歷了哪些挑戰(zhàn)？又經(jīng)過了什么樣的演進(jìn)變化？
1. 從硬件的發(fā)展趨勢(shì)，展現(xiàn) Kafka 架構(gòu)的演進(jìn)過程；
2. 從Kafka開發(fā)和維護(hù)經(jīng)驗(yàn)，分享分布式系統(tǒng)工程實(shí)踐的通理；
3. 開源數(shù)據(jù)系統(tǒng)的開發(fā)經(jīng)驗(yàn)，如何維護(hù)和發(fā)展一個(gè)開源社區(qū)。
潘國慶
攜程大數(shù)據(jù)平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)負(fù)責(zé)人
攜程大數(shù)據(jù)平臺(tái)實(shí)時(shí)計(jì)算平臺(tái)負(fù)責(zé)人，2016年加入攜程，主要從事攜程實(shí)時(shí)計(jì)算平臺(tái)的構(gòu)建與演進(jìn)、以及攜程實(shí)時(shí)特征平臺(tái)的搭建，在實(shí)時(shí)計(jì)算領(lǐng)域擁有豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。
演講主題：《攜程實(shí)時(shí)計(jì)算平臺(tái)架構(gòu)與實(shí)踐》
1. 攜程實(shí)時(shí)計(jì)算平臺(tái)的演進(jìn)之路；
2. 實(shí)時(shí)架構(gòu)設(shè)計(jì)與曾經(jīng)踩過的坑；
3. 實(shí)時(shí)計(jì)算在攜程的實(shí)踐；
4. 未來規(guī)劃。
呂鵬
DataPipeline 架構(gòu)師
呂鵬，目前擔(dān)任DataPipeline架構(gòu)師一職，負(fù)責(zé)數(shù)據(jù)傳輸和ETL方面的架構(gòu)和優(yōu)化工作。曾就職于Talend和銷售易大數(shù)據(jù)部，擁有5余年大數(shù)據(jù)平臺(tái)和數(shù)據(jù)倉庫架構(gòu)搭建經(jīng)驗(yàn)，在ETL 領(lǐng)域擁有豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)。
演講主題：《DataPipeline在大數(shù)據(jù)平臺(tái)的實(shí)時(shí)數(shù)據(jù)流實(shí)踐》
1. 大數(shù)據(jù)時(shí)代下企業(yè)級(jí)數(shù)據(jù)面臨的主要問題和挑戰(zhàn)；
2. kafka connect 在大數(shù)據(jù)時(shí)代的數(shù)據(jù)流的優(yōu)勢(shì)和不足；
3. 大數(shù)據(jù)平臺(tái)上的kafka connect 實(shí)踐案例：
1）kafka connect 下數(shù)據(jù)倉庫greenplum 同步實(shí)踐以及優(yōu)化策略；
2）kafka connect 下 hive 同步實(shí)踐；
4. DataPipeline 做了哪些大數(shù)據(jù)相關(guān)工作，遇到的坑以及相應(yīng)的解決方案；
5. 總結(jié)以及DataPipeline 未來在大數(shù)據(jù)領(lǐng)域的相關(guān)工作。
張勇華
唯品會(huì)消息平臺(tái)架構(gòu)師
畢業(yè)于武漢大學(xué)，目前擔(dān)任唯品會(huì)消息平臺(tái)架構(gòu)師。從事消息系統(tǒng)的設(shè)計(jì)和研發(fā)有4年多的時(shí)間，對(duì)Kafka、RabbitMQ、RocketMQ等消息中間件產(chǎn)品擁有較豐富的實(shí)踐經(jīng)驗(yàn)。
演講主題：《基于Kafka1.0建立企業(yè)級(jí)消息系統(tǒng)平臺(tái)的思考及實(shí)現(xiàn)》
1. 隨著業(yè)務(wù)系統(tǒng)接入增多，對(duì)集群和元數(shù)據(jù)資源(Topic/Group)的管理顯得尤為重要，急需建立統(tǒng)一平臺(tái)來管理系統(tǒng)資源及認(rèn)證授權(quán)接入服務(wù)；
2. 提升并發(fā)消費(fèi)場(chǎng)景下的高可靠，及消費(fèi)異常后如何優(yōu)雅解決消費(fèi)重試問題；
3. 如何實(shí)現(xiàn)延時(shí)消息的投遞功能，改善延時(shí)精度的方式；
4. 原生kafka支持組間廣播對(duì)動(dòng)態(tài)增長的業(yè)務(wù)組申請(qǐng)?jiān)斐衫Ь?，如何?shí)現(xiàn)組內(nèi)廣播來改善現(xiàn)狀；
5. 集群故障時(shí)如何快速有效遷移服務(wù)等問題介紹。
秦江杰
阿里巴巴實(shí)時(shí)計(jì)算平臺(tái)高級(jí)技術(shù)專家
秦江杰，阿里巴巴實(shí)時(shí)計(jì)算平臺(tái)高級(jí)技術(shù)專家。碩士畢業(yè)于卡耐基梅隆大學(xué)，曾任職于LinkedIn參與Apache Kafka開發(fā)，Apache Kafka PMC member。
演講主題：《詳解Flink基于Kafka事務(wù)的嚴(yán)格一次語義實(shí)現(xiàn)》
在流處理系統(tǒng)中，端到端的嚴(yán)格一次的語義只有當(dāng)輸出的Sink支持時(shí)才可以實(shí)現(xiàn)。在Kafka 0.11中增加了對(duì)事物的支持，使得其他系統(tǒng)可以利用這一特性實(shí)現(xiàn)嚴(yán)格一次的語義。本次分享將詳細(xì)介紹Flink是如何利用這Kafka一特性來實(shí)現(xiàn)端到端的嚴(yán)格一次語義的。
歐陽武林
網(wǎng)易大數(shù)據(jù)平臺(tái)架構(gòu)師
曾就職于中國移動(dòng)、51信用卡，主要從事云計(jì)算平臺(tái)開發(fā)相關(guān)工作。目前就職于網(wǎng)易，主要從事大數(shù)據(jù)平臺(tái)開發(fā)。
演講主題：《Kafka 在網(wǎng)易云上的實(shí)踐》
1.Kafka上云面臨的挑戰(zhàn)和機(jī)遇；
2.網(wǎng)易云Kafka架構(gòu)實(shí)現(xiàn)；
3.網(wǎng)易云Kafka的關(guān)鍵問題解決之法；
4.未來規(guī)劃。
時(shí)間&地點(diǎn)
時(shí)間：2018年10月21日，13:30簽到
詳細(xì)地址：上海市長寧區(qū)金鐘路968號(hào)凌空SOHO12號(hào)樓11層
活動(dòng)報(bào)名
添加DataPipeline君微信：datapipelien2018，拉你進(jìn)現(xiàn)場(chǎng)活動(dòng)群。
本文題目：DataPipeline聯(lián)合ConfluentKafka
網(wǎng)頁鏈接：http://muchs.cn/article12/gdeggc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、云服務(wù)器、移動(dòng)網(wǎng)站建設(shè)、Google、ChatGPT、網(wǎng)站營銷
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)
