基于DAYU如何搭建企業(yè)個(gè)性化推薦平臺(tái)

本篇文章為大家展示了基于DAYU如何搭建企業(yè)個(gè)性化推薦平臺(tái)，內(nèi)容簡(jiǎn)明扼要并且容易理解，絕對(duì)能使你眼前一亮，通過(guò)這篇文章的詳細(xì)介紹希望你能有所收獲。

創(chuàng)新互聯(lián)專注于唐縣企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站建設(shè),商城系統(tǒng)網(wǎng)站開(kāi)發(fā)。唐縣網(wǎng)站建設(shè)公司,為唐縣等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站設(shè)計(jì)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

摘要：搭建這個(gè)平臺(tái)最費(fèi)時(shí)耗力的事莫過(guò)于對(duì)批、流作業(yè)的編排，作業(yè)組織管理以及任務(wù)調(diào)度了。但是這一切，用DAYU的數(shù)據(jù)開(kāi)發(fā)功能幾個(gè)任務(wù)可通通搞定。

大多數(shù)電商類企業(yè)都會(huì)搭建自己的個(gè)性化推薦系統(tǒng)，利用自己擁有的用戶數(shù)據(jù)、商品數(shù)據(jù)、用戶行為數(shù)據(jù)以及各種維度計(jì)算得來(lái)的標(biāo)簽畫(huà)像計(jì)算用戶偏好，推薦最佳商品給用戶，最大化地促進(jìn)交易。

一個(gè)典型的推薦系統(tǒng)包括批處理計(jì)算、實(shí)時(shí)處理層、推薦應(yīng)用3部分，是典型的Lamda架構(gòu)。

搭建這個(gè)平臺(tái)最費(fèi)時(shí)耗力的事莫過(guò)于對(duì)批、流作業(yè)的編排，作業(yè)組織管理以及任務(wù)調(diào)度了。但是這一切，用DAYU的數(shù)據(jù)開(kāi)發(fā)功能幾個(gè)任務(wù)可通通搞定。當(dāng)然，你可能會(huì)說(shuō)，不是有專門(mén)的個(gè)性化推薦云服務(wù)嗎，直接用它不香嗎？這里我們不比賽舉杠鈴，如果企業(yè)還不具備利用各種推薦算法的能力，那直接花點(diǎn)錢(qián)買(mǎi)推薦服務(wù)是最佳選擇；但是你如果想最大化地、持續(xù)地優(yōu)化推薦算法的效果，框架還是自己搭比較靠譜。這里給一個(gè)例子，展示如何利用DAYU快速完成一個(gè)簡(jiǎn)單的推薦系統(tǒng)。除了DAYU的數(shù)據(jù)開(kāi)發(fā)，還需要搭配華為云的DLI、DIS、MRS-HBase。

首先介紹下DAYU開(kāi)發(fā)的兩種作業(yè)類型：

• 批作業(yè)
  批作業(yè)只能被調(diào)度觸發(fā)，任務(wù)執(zhí)行一段時(shí)間必須結(jié)束，換句話說(shuō)就是任務(wù)不能無(wú)限時(shí)間持續(xù)運(yùn)行。作業(yè)是多個(gè)算子（一個(gè)也可以）組成的Pipeline，Pipeline作為一個(gè)整體被調(diào)度。

• 實(shí)時(shí)作業(yè)
  實(shí)時(shí)作業(yè)這個(gè)名字其實(shí)不準(zhǔn)確，實(shí)際上它可以是一個(gè)流、批混合的作業(yè)，也可以是個(gè)純實(shí)時(shí)流處理作業(yè)，也可以是個(gè)單純的批作業(yè)。作業(yè)是由多個(gè)算子組成的Pipeline，相對(duì)批作業(yè)，實(shí)時(shí)作業(yè)中每個(gè)算子可單獨(dú)被配置調(diào)度策略，而且算子啟動(dòng)的任務(wù)可以永不下線，這樣就可以調(diào)度那些always online的Flink、SparkStreaming流處理作業(yè)。在實(shí)時(shí)作業(yè)里，帶箭頭的連線僅代表業(yè)務(wù)上的關(guān)系，而非任務(wù)執(zhí)行流程，更不是數(shù)據(jù)流。

這個(gè)推薦系統(tǒng)的后臺(tái)就使用實(shí)時(shí)作業(yè)來(lái)實(shí)現(xiàn)，一個(gè)流、批混合的作業(yè)，直接給個(gè)全景圖：

這里涵蓋了一個(gè)簡(jiǎn)單推薦系統(tǒng)的主要計(jì)算流程。更多算法的任務(wù)流程這里沒(méi)有完全展示出來(lái)，例如基于模型的算法、基于深入學(xué)習(xí)的推薦算法，也不包含各種推薦指標(biāo)的計(jì)算過(guò)程，有興趣的同學(xué)可以百度學(xué)習(xí)。

整個(gè)任務(wù)中包括9組數(shù)據(jù)處理流程，6個(gè)批作業(yè)流程，3個(gè)實(shí)時(shí)作業(yè)：

批處理流程

從上到下，依次計(jì)算：

1）基于個(gè)用戶特征、標(biāo)簽計(jì)算推薦列表

周期：每天一次

計(jì)算：每天通過(guò)CDM從RDS抽取用戶數(shù)據(jù)到DLI，基于每個(gè)用戶的基本信息，年齡、性別、職業(yè)、收入、地域等等各種屬性信息，以及來(lái)自360度畫(huà)像系統(tǒng)的標(biāo)簽信息，生成推薦列表，保存到HBase中。

2）基于商品的相似性特征，計(jì)算推薦列表

周期：每天一次

計(jì)算：每天通過(guò)CDM從RDS抽取新增商品信息到DLI，然后計(jì)算出來(lái)的基于商品相似特征的推薦列表，存入HBase中。

3）計(jì)算當(dāng)天用戶的偏好，生成日推薦列表

周期：每天一次

計(jì)算：通過(guò)DIS dump轉(zhuǎn)儲(chǔ)任務(wù)，把網(wǎng)站實(shí)時(shí)搜集的用戶行為信息轉(zhuǎn)儲(chǔ)到OBS中，通過(guò)一批Spark算法（批量的用戶協(xié)同、商品協(xié)同、基于內(nèi)容相似性、LR等算法），基于一天的行為數(shù)據(jù)計(jì)算推薦列表。然后把列表推到HBase中。

4）計(jì)算本周用戶的偏好，生成周推薦列表

周期：每天一次

計(jì)算：計(jì)算行為同上，區(qū)別是基于一周的行為數(shù)據(jù)計(jì)算推薦列表。

5）計(jì)算3個(gè)月內(nèi)的偏好，生成長(zhǎng)期偏好推薦列表

周期：每天一次

計(jì)算：計(jì)算行為同上，區(qū)別是基于3個(gè)月的行為數(shù)據(jù)計(jì)算推薦列表。

6）計(jì)算流行產(chǎn)品的列表

周期：每天或者數(shù)小時(shí)

計(jì)算：通過(guò)用戶總體商品的點(diǎn)擊、搜索、評(píng)分等行為，基于OBS上用戶的行為數(shù)據(jù)，按類別計(jì)算熱門(mén)商品Top50。這個(gè)列表也可作為補(bǔ)齊列表，當(dāng)其他推薦列表還不足以填滿網(wǎng)站的推薦位，可以用這個(gè)列表補(bǔ)齊。

實(shí)時(shí)流處理流程

1）實(shí)時(shí)計(jì)算用戶偏好--Item-Based協(xié)同算法

計(jì)算：通過(guò)Flink任務(wù)對(duì)DIS用戶行為通道的數(shù)據(jù)進(jìn)行消費(fèi)，先把用戶行為日志轉(zhuǎn)換為標(biāo)準(zhǔn)行為（Time,userid,ItemID,Score)，再通過(guò)流式Item-Based協(xié)同算法計(jì)算推薦列表，更新到HBase中。

2）實(shí)時(shí)計(jì)算用戶偏好--User-Based協(xié)同算法

計(jì)算：同上，區(qū)別是使用流式User-Based協(xié)同算法計(jì)算推薦列表，更新到HBase中。

3）實(shí)時(shí)計(jì)算用戶偏好--Content-Based算法

計(jì)算：同上，區(qū)別是使用流式Content-Based協(xié)同算法計(jì)算推薦列表，更新到HBase中。

以上一頓操作，在HBase中會(huì)有一堆以UserID、Item為Key的推薦列表，形如：

用戶推薦列表結(jié)果：

userid_001:item100, item899, item 433, item 666,....

userid_002:item220, item334, item 720 item 666,....

userid_003:item728, item899, item 333, item 632,....

根據(jù)用戶實(shí)時(shí)行為、歷史行為不同周期，有若干組不同的推薦列表。

基于商品的推薦列表結(jié)果：

Item_0001: Item1000,Item333,time5213,...

Item_0002: Item1000,Item333,time5213,...

Item_0003: Item1000,Item333,time5213,...

另外，推薦系統(tǒng)平臺(tái)還需要一個(gè)提供rest接口的服務(wù)，供web網(wǎng)站推薦位調(diào)用。當(dāng)用戶打開(kāi)網(wǎng)頁(yè)時(shí)，自動(dòng)向該服務(wù)請(qǐng)求當(dāng)前用戶的推薦列表，服務(wù)訪問(wèn)HBase，獲取前面作業(yè)計(jì)算出來(lái)的多個(gè)推薦列表，并按一定策略組合成一個(gè)推薦列表返回給網(wǎng)頁(yè)，就此，完成了一個(gè)端到端的推薦業(yè)務(wù)流程。

一個(gè)完整的推薦系統(tǒng)要更復(fù)雜一些，這里并沒(méi)有討論推薦系統(tǒng)的專題內(nèi)容。從例子可以看出DAYU具備強(qiáng)大的編排和調(diào)度能力，單單一個(gè)任務(wù)就可以涵蓋非常復(fù)雜的場(chǎng)景。實(shí)時(shí)上，大型的推薦系統(tǒng)平臺(tái)還是需要針對(duì)性的定制，因?yàn)樯婕暗揭恍┕芾砩系牧鞒绦枰獞?yīng)對(duì)、閉環(huán)。不過(guò)基于華為云體系下各種平臺(tái)、應(yīng)用，有了DAYU這個(gè)助手，數(shù)據(jù)相關(guān)的方方面面的事務(wù)處理，將變得既簡(jiǎn)潔又高效。

上述內(nèi)容就是基于DAYU如何搭建企業(yè)個(gè)性化推薦平臺(tái)，你們學(xué)到知識(shí)或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前標(biāo)題：基于DAYU如何搭建企業(yè)個(gè)性化推薦平臺(tái)
分享URL：http://muchs.cn/article28/jepojp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、品牌網(wǎng)站建設(shè)、做網(wǎng)站、網(wǎng)站維護(hù)、網(wǎng)站排名、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)