DataPipeline的常見(jiàn)問(wèn)題和解題思路-創(chuàng)新互聯(lián)

這篇文章給大家分享的是有關(guān)DataPipeline的常見(jiàn)問(wèn)題和解題思路。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧。

成都創(chuàng)新互聯(lián)公司秉承實(shí)現(xiàn)全網(wǎng)價(jià)值營(yíng)銷的理念，以專業(yè)定制企業(yè)官網(wǎng)，成都網(wǎng)站建設(shè)、成都做網(wǎng)站，小程序設(shè)計(jì)，網(wǎng)頁(yè)設(shè)計(jì)制作，手機(jī)網(wǎng)站開(kāi)發(fā)，成都營(yíng)銷網(wǎng)站建設(shè)幫助傳統(tǒng)企業(yè)實(shí)現(xiàn)“互聯(lián)網(wǎng)+”轉(zhuǎn)型升級(jí)專業(yè)定制企業(yè)官網(wǎng),公司注重人才、技術(shù)和管理，匯聚了一批優(yōu)秀的互聯(lián)網(wǎng)技術(shù)人才,對(duì)客戶都以感恩的心態(tài)奉獻(xiàn)自己的專業(yè)和所長(zhǎng)。

Q1: DataPipeline支持的讀取方式

A：DataPipeline在成立之初只有一種模式，只支持實(shí)時(shí)流同步，在我們看來(lái)這是未來(lái)的一種趨勢(shì)。

但在后來(lái)發(fā)現(xiàn)，很多客戶實(shí)際上有批量同步的需求。比如，銀行在每天晚上可能會(huì)有一些月結(jié)、日結(jié)，證券公司也有類似的結(jié)算服務(wù)。基于一些歷史原因，或出于對(duì)性能、數(shù)據(jù)庫(kù)配置的考慮，可能有的數(shù)據(jù)庫(kù)本身不能開(kāi)change log。所以實(shí)際上并不是所有情況下都能從源端獲取實(shí)時(shí)的流數(shù)據(jù)。

考慮到上述問(wèn)題，我們認(rèn)為一個(gè)產(chǎn)品在支撐數(shù)據(jù)融合過(guò)程中，必須能同時(shí)支撐批量和流式兩種處理模式，且在產(chǎn)品里面出于性能和穩(wěn)定性考慮提供不同的處理策略，這才是一個(gè)相對(duì)來(lái)說(shuō)比較合理的基礎(chǔ)架構(gòu)。

詳情參見(jiàn)：DataPipeline CTO陳肅：構(gòu)建批流一體數(shù)據(jù)融合平臺(tái)的一致性語(yǔ)義保證

Q2：目標(biāo)端的連接方式是什么

A：對(duì)于關(guān)系型數(shù)據(jù)庫(kù)，寫入方式為JDBC，未來(lái)版本將通過(guò)文件加載的方式提高吞吐率。其它類型的目的地，根據(jù)具體類型各不相同。例如FTP目的地用的是FTP Client，Kafka目的地用的是Kafka Producer。

Q3：采集和寫入能否對(duì)數(shù)據(jù)進(jìn)行加密

A：如果是要對(duì)數(shù)據(jù)內(nèi)容加密可以使用高級(jí)清洗。

Q4：DataPipeline安裝部署模式

A：DataPipeline 產(chǎn)品是采用Docker容器的部署方式，支持Docker集群；支持虛擬環(huán)境（VMW）部署，但不推薦，DataPipeline正在研發(fā)支持非Docker部署。

Q5：DataPipeline是否支持圖形化監(jiān)控

A：DataPipeline支持讀寫速率、數(shù)據(jù)量、任務(wù)進(jìn)度、錯(cuò)誤隊(duì)列、操作記錄、表結(jié)構(gòu)等圖形化監(jiān)控。

Q6：數(shù)據(jù)庫(kù)日志保留策略多久合適

A：如，MySQL Binlog保留策略，建議保留日志策略>=3天。

Q7: 后續(xù)增量導(dǎo)入數(shù)據(jù)如何保證一致性

A：DataPipeline默認(rèn)支持at least once同步機(jī)制，保證數(shù)據(jù)不會(huì)在同步過(guò)程中丟失。這適合源端有主鍵、目的地有主鍵去重能力的場(chǎng)景，例如關(guān)系型數(shù)據(jù)庫(kù)到關(guān)系型數(shù)據(jù)庫(kù)的同步。

如果類似Hive這樣沒(méi)有主鍵去重能力的目的地，DataPipeline支持開(kāi)啟任務(wù)級(jí)別的端到端一致性選項(xiàng)，通過(guò)多階段提交協(xié)議來(lái)保證數(shù)據(jù)一致性。

Q8：監(jiān)控報(bào)警一般在項(xiàng)目上如何使用

A：DataPipeline的數(shù)據(jù)任務(wù)有監(jiān)控看板和報(bào)警兩種方式，報(bào)警會(huì)發(fā)送到指定的郵箱，根據(jù)錯(cuò)誤類型，可以選擇重啟或通知技術(shù)支持，DataPipeline會(huì)有工程師協(xié)助客戶排查錯(cuò)誤。

Q9：是否方便擴(kuò)容

A：DataPipeline支持動(dòng)態(tài)擴(kuò)容，當(dāng)集群資源緊張時(shí)，無(wú)需暫?，F(xiàn)有任務(wù)，增加新節(jié)點(diǎn)后，即可以實(shí)現(xiàn)集群的擴(kuò)容。

Q10：如果一條數(shù)據(jù)多次、頻繁變化，DataPipeline如何保證數(shù)據(jù)的并行和順序？

A：DataPipeline源端會(huì)將任務(wù)按照一定原則拆分為多個(gè)互不干擾的子任務(wù)進(jìn)行并行執(zhí)行。例如：在JDBC源讀取場(chǎng)景下，如果任務(wù)包括多張表，每個(gè)表是由一個(gè)獨(dú)立線程進(jìn)行順序讀取的，線程并行度可以在任務(wù)屬性中進(jìn)行設(shè)置。

為了保證順序?qū)懭牒妥x取，默認(rèn)每個(gè)單獨(dú)子任務(wù)會(huì)創(chuàng)建一個(gè)獨(dú)立的topic，設(shè)置一個(gè)分區(qū)，這樣目標(biāo)端消費(fèi)的時(shí)候，同一個(gè)topic只有一個(gè)consumer在進(jìn)行消費(fèi)，從而保證消費(fèi)的順序性。如果可以接受非順序消費(fèi)，也可以為一個(gè)topic創(chuàng)建多個(gè)分區(qū)，這樣目的端可以更好地利用Kafka的并行能力提高吞吐量。

以上就是DataPipeline的常見(jiàn)問(wèn)題和解題思路的詳細(xì)內(nèi)容了，看完之后是否有所收獲呢？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

本文題目：DataPipeline的常見(jiàn)問(wèn)題和解題思路-創(chuàng)新互聯(lián)
標(biāo)題鏈接：http://muchs.cn/article20/dpopjo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、網(wǎng)站制作、微信公眾號(hào)、網(wǎng)站維護(hù)、外貿(mào)建站、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)