太平洋保險(xiǎn)集團(tuán)
“家園項(xiàng)目”大數(shù)據(jù)平臺(tái)DSG應(yīng)用(oracle&kafka)
創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供達(dá)拉特網(wǎng)站建設(shè)、達(dá)拉特做網(wǎng)站、達(dá)拉特網(wǎng)站設(shè)計(jì)、達(dá)拉特網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)與制作、達(dá)拉特企業(yè)網(wǎng)站模板建站服務(wù),10年達(dá)拉特做網(wǎng)站經(jīng)驗(yàn),不只是建網(wǎng)站,更提供有價(jià)值的思路和整體網(wǎng)絡(luò)服務(wù)。
項(xiàng)目背景
根據(jù)太平洋保險(xiǎn)集團(tuán)的IT建設(shè)規(guī)劃,在2017年年底,需要完成“一個(gè)太保,共同的家園”項(xiàng)目(簡(jiǎn)稱家園項(xiàng)目),旨在給客戶提供更加便攜、全面的服務(wù),通過一個(gè)家園平臺(tái),就能夠完成所有的服務(wù)。
眾所周知,太平洋保險(xiǎn)的業(yè)務(wù)范圍非常廣泛,囊括了產(chǎn)險(xiǎn)、壽險(xiǎn)、車險(xiǎn)等業(yè)務(wù),同時(shí),一個(gè)險(xiǎn)種又由多個(gè)系統(tǒng)共同提供服務(wù)?,F(xiàn)在要在一個(gè)平臺(tái)上完成這些服務(wù),數(shù)據(jù)的匯聚、集中、轉(zhuǎn)換就成了整個(gè)項(xiàng)目的核心與難點(diǎn)。
項(xiàng)目需求
根據(jù)太保家園項(xiàng)目的最終目標(biāo),在一期建設(shè)中,需要將太平洋保險(xiǎn)集團(tuán)下屬的壽險(xiǎn),產(chǎn)險(xiǎn),車險(xiǎn)等30多個(gè)核心系統(tǒng)數(shù)據(jù),通過實(shí)時(shí)同步復(fù)制的方式,統(tǒng)一集中到大數(shù)據(jù)平臺(tái)。其中涉及數(shù)據(jù)的轉(zhuǎn)換,標(biāo)化,清洗,去重等一系列過程,具體需求如下:
1、 需要將核心數(shù)據(jù)從30多個(gè)系統(tǒng)同步到大數(shù)據(jù)平臺(tái)的kafka組件。
2、 確保數(shù)據(jù)復(fù)制的實(shí)時(shí)性(秒級(jí))和數(shù)據(jù)的準(zhǔn)確性
3、 復(fù)制的數(shù)據(jù)需要加上時(shí)間,操作類型等標(biāo)簽,便于后端應(yīng)用識(shí)別
4、 以生產(chǎn)環(huán)境的dg庫(kù)作為數(shù)據(jù)的匯聚源端,減輕對(duì)生產(chǎn)庫(kù)的影響
5、 入kafka的數(shù)據(jù)格式可靈活配置,以便更好的適配后端應(yīng)用
6、 需要具備數(shù)據(jù)操作統(tǒng)計(jì)和數(shù)據(jù)比對(duì)功能,便于核對(duì)數(shù)據(jù)的準(zhǔn)確性
項(xiàng)目難點(diǎn)
在實(shí)現(xiàn)整個(gè)家園項(xiàng)目的數(shù)據(jù)匯聚中,根據(jù)項(xiàng)目需求和實(shí)際的生產(chǎn)環(huán)境情況,要完成整個(gè)數(shù)據(jù)同步,主要存在以下一些難點(diǎn):
數(shù)據(jù)準(zhǔn)確性要求高。家園平臺(tái)承載著所有的查詢、部分業(yè)務(wù)辦理,如果數(shù)據(jù)不準(zhǔn)確,必然引起業(yè)務(wù)邏輯混亂,無法為用戶提供服務(wù)等問題。
解決方案
在此方案中,采用DSG SuperSync產(chǎn)品完成oracle到kafka的數(shù)據(jù)復(fù)制,方案架構(gòu)如上圖所示。在太保的系統(tǒng)架構(gòu)中,生產(chǎn)中心位于上海,災(zāi)備中心位于成都。所有核心系統(tǒng)在本地生產(chǎn)中心均建有一級(jí)DG庫(kù),在成都災(zāi)備中心建有二級(jí)DG庫(kù)。同時(shí),此次項(xiàng)目的大數(shù)據(jù)中心也位于成都災(zāi)備中心?;谶@種架構(gòu)考慮,把數(shù)據(jù)量較大的全量同步放在成都的二級(jí)DG庫(kù)上,這樣可以節(jié)省上海到成都的帶寬資源,同時(shí)提高同步效率。同時(shí)增量同步放在上海本地的一級(jí)DG庫(kù),以滿足實(shí)時(shí)同步的要求。
方案優(yōu)勢(shì)
該方案具有以下優(yōu)勢(shì):
DSG SuperSync產(chǎn)品的數(shù)據(jù)復(fù)制效率,在該領(lǐng)域中是最高的。在kafka的投遞端,可以采用多線程、多并發(fā)等方式進(jìn)行加速投遞,現(xiàn)場(chǎng)效率可以達(dá)到每秒2萬條的
DSG簡(jiǎn)介
DSG是領(lǐng)先的致力于數(shù)據(jù)存儲(chǔ)管理的專業(yè)廠商,提供優(yōu)秀的大數(shù)據(jù)管理軟件和數(shù)據(jù)安全、災(zāi)難恢復(fù)、數(shù)據(jù)抽取共享、數(shù)據(jù)歸檔檢索和一體化管理平臺(tái)在內(nèi)的解決方案,產(chǎn)品包括:備份、容災(zāi)、數(shù)據(jù)同步復(fù)制/抽取/共享、數(shù)據(jù)歸檔、數(shù)據(jù)稽核等,在國(guó)內(nèi)得到了廣泛的應(yīng)用。目前公司擁有員工近300余人、全國(guó)設(shè)有3個(gè)研發(fā)中心、20多個(gè)辦事處和分支機(jī)構(gòu),服務(wù)網(wǎng)點(diǎn)覆蓋全國(guó),在中國(guó)市場(chǎng)擁有數(shù)百家電信、金融和政府行業(yè)的高端用戶。
SuperSync數(shù)據(jù)同步復(fù)制軟件應(yīng)用:(國(guó)內(nèi)800余家客戶,在原有強(qiáng)大的Oracle的實(shí)時(shí)同步復(fù)制/災(zāi)備外,還可以支持Mysql/Sql/DB2/PostgreSql/Hana/Qcubic/redis/Teradata/浪潮K-DB/達(dá)夢(mèng)/南大Gbase等國(guó)內(nèi)外各類數(shù)據(jù)庫(kù)與Hadoop、HBase、Phoneix、Storm、Flume、Spark、Kafka、tibc、阿里云間的實(shí)時(shí)同步復(fù)制,可根據(jù)kafka等格式需求定制(添加字段/數(shù)據(jù)轉(zhuǎn)換/分類等),應(yīng)用在大數(shù)據(jù)共享、讀寫分離和實(shí)時(shí)災(zāi)備等方面。
當(dāng)前題目:太平洋保險(xiǎn)家園大數(shù)據(jù)項(xiàng)目DSG應(yīng)用(30多個(gè)Oracle等實(shí)時(shí)同步到KAFKA)
本文鏈接:http://muchs.cn/article18/ijocdp.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供手機(jī)網(wǎng)站建設(shè)、域名注冊(cè)、全網(wǎng)營(yíng)銷推廣、做網(wǎng)站、商城網(wǎng)站、企業(yè)網(wǎng)站制作
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)