如何理解LR模型

本篇文章給大家分享的是有關(guān)如何理解LR模型，小編覺得挺實用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

創(chuàng)新互聯(lián)專注于企業(yè)成都營銷網(wǎng)站建設(shè)、網(wǎng)站重做改版、零陵網(wǎng)站定制設(shè)計、自適應(yīng)品牌網(wǎng)站建設(shè)、H5高端網(wǎng)站建設(shè)、商城建設(shè)、集團(tuán)公司官網(wǎng)建設(shè)、成都外貿(mào)網(wǎng)站建設(shè)公司、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為零陵等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

為什么是LR

什么是LR大家已經(jīng)知道了，但還有一個問題卻沒有回答。那就是為什么早年的時候LR模型如此受歡迎呢?難道就不能使用其他一些看起來高級一些的模型嗎，比如決策樹、隨機(jī)森林、GBDT?不是說XGBoost在各種比賽的效果都非常好嗎?為什么業(yè)內(nèi)不用來做推薦呢?

尤其是當(dāng)我讀到2014年Facebook推出的GBDT+LR的paper的時候，這種困惑更是明顯。

這篇論文非常經(jīng)典，在業(yè)內(nèi)地位很重，甚至可以說是推薦領(lǐng)域必讀的paper之一。深度學(xué)習(xí)興起之前很多公司和廠商都沿用了這個做法，論文當(dāng)中的做法倒是不難，說是創(chuàng)新的做法，其實本質(zhì)上就是將GBDT預(yù)測的時候樣本落到的節(jié)點作為multi-hot編碼，然后將這個編碼之后的01的數(shù)組看成是新的特征，然后用這個轉(zhuǎn)換過的特征來訓(xùn)練LR。可以說它的本質(zhì)仍然是訓(xùn)練LR，所謂的GBDT只不過是一個編碼器。

我當(dāng)時看這篇paper的時候，里面的意思都已經(jīng)理解了，但是有一個問題怎么也沒想明白。既然都用GBDT了，結(jié)合其他模型不香嗎，非得結(jié)合LR?

我估計這個問題很多在推薦領(lǐng)域的從業(yè)者可能也未必答得上來，我先賣個關(guān)子，把問題記在這里，等會晚點來回答。

推薦領(lǐng)域的特征有什么特點?

在算法領(lǐng)域，提及效果，特征和模型兩者是一體兩面，很難剝離。好的模型也需要好的特征支撐，好的特征需要好的模型才能充分表達(dá)。所以我們先把模型的問題放一放，來思考一下特征。

推薦領(lǐng)域主要的特征只有三塊，以電商為例，分別是item，user和context。也就是商品，用戶以及環(huán)境信息，比如時間，地點，展示位置等等。context特征比較少，來來回回就那么幾樣，我們也先放一放。剩下的就是用戶和商品，圍繞用戶和商品我們形成的特征主要又可以分成兩個部分，一個是基礎(chǔ)特征，另外一個是統(tǒng)計特征。

以商品舉例，基礎(chǔ)特征就是品牌、價格、類目、評價，統(tǒng)計特征就是最近點擊率、最近銷售額、最近轉(zhuǎn)化率等等。這些特征按照類別分又可以分為兩種，一種是浮點型的連續(xù)型特征，一種是類別特征，比如商品的類目，品牌等等。到這里都很正常，沒有什么難理解，或者是不可思議的部分。

我們接著往下，再來看看模型要預(yù)測的目標(biāo)——點擊率。我們結(jié)合一下模型預(yù)測的目標(biāo)再來觀察一下前面列舉的特征，你會發(fā)現(xiàn)，除了歷史點擊率、歷史轉(zhuǎn)化率等少數(shù)幾個指標(biāo)和最終的結(jié)果是強正相關(guān)之外，其他的浮點型的特征沒有特別明顯的正相關(guān)或者是負(fù)相關(guān)。可以說商品的價格和點擊率負(fù)相關(guān)嗎?其實不太行，商品越便宜可能質(zhì)量越差，反而不會有人點。用戶的購買力呢?越有錢點的商品越多嗎?也不成立。

正是因為上面說的這個原因，所以在推薦領(lǐng)域，效果很好的浮點型特征很少，大部分都是類別特征，也就是01特征。

所以你說GBDT、隨機(jī)森林、XGboost這些模型的效果會很好嗎?很難說，因為這些模型的長處往往都在浮點型特征，也就是連續(xù)型特征。這些樹模型會設(shè)計規(guī)則對這些連續(xù)特征進(jìn)行分段，如果大部分特征都是01特征，那還怎么分段呢?

所以，到這里也就回答了，為什么在深度學(xué)習(xí)模型興起之前，推薦領(lǐng)域普遍都使用LR，而不是那些看著很牛的樹模型。

LR模型的原理

LR模型也就是純線性模型，它可以簡單理解成若干個特征的加權(quán)和。每個特征的權(quán)重或大或小，最后累加在一起，得到一個預(yù)測的概率。這毫無毛病，也是學(xué)過的人都知道。

但我們往下一層，有沒有想過這一點在推薦領(lǐng)域意味著什么呢?

意味著模型其實是”記住“了每個特征和最終結(jié)果的關(guān)系，我們把模型擬人化，把它看成一個機(jī)器人的話。機(jī)器人看到樣本有特征A并且點擊了，于是特征A的權(quán)重提升一點，樣本有特征B但是沒點擊，于是把特征B的權(quán)重降低一些。模型就是在這樣一個策略當(dāng)中找到一個最佳的平衡。

這就意味著，一些容易被記憶的特征往往會發(fā)揮比較好的效果。比如男士通常會買煙，女士通常買口紅，那么我們就可以設(shè)計男士_煙和女士_口紅的組合特征。當(dāng)模型看到大部分男士看到煙都點擊了之后，它就能學(xué)到這個組合是一個強特征并給與一個比較高的權(quán)重。這樣只要我們盡可能地找出這些特征的組合，那么模型就可以得到很好的效果。

所以到這里大家就明白了，LR模型在推薦領(lǐng)域發(fā)揮作用，本質(zhì)上就是靠的“記性”。因為它可以記住那些類別特征以及類別特征的組合，所以它往往比那些看起來更高端的樹模型效果要好。這也是為什么到了LR時代的后期，算法工程師們的工作就是整天挖掘一些類別特征的組合，以期望模型達(dá)到很好的效果。

LR模型的優(yōu)缺點

到這里，關(guān)于LR模型在推薦領(lǐng)域的應(yīng)用就差不多說完了，我們做一個簡單的總結(jié)，首先從它的優(yōu)點開始說起。

LR模型的優(yōu)點教科書上已經(jīng)說了很多了，比如訓(xùn)練速度快，由于參數(shù)空間比較小，LR模型可以迅速收斂，它的訓(xùn)練速度要比那些樹模型以及后面的深度學(xué)習(xí)模型快得多。其次是可解釋性強，由于我們可以查閱得到所有特征的權(quán)重，所以我們很容易解釋究竟是什么特征發(fā)揮了作用，或者是什么特征拖了后腿。

但是LR在推薦領(lǐng)域也有一個很大的缺點，是什么呢，就是臟活累活很多。

因為幾乎所有的特征組合都需要人工挖取，需要人工遍歷很多特征組合，甚至是一一嘗試找到最佳的組合。這個過程當(dāng)中需要花費大量的人力，幾乎可以說是純堆人工。所以對于LR時代的算法工程師來說可能螺絲的感覺比現(xiàn)在還要嚴(yán)重得多，什么優(yōu)化模型基本上是不用想了，LR這么簡單的模型也沒什么優(yōu)化的空間，剩下的事情基本上就只有做特征做實驗了。

以上就是如何理解LR模型，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享題目：如何理解LR模型
文章URL：http://muchs.cn/article36/iidopg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機(jī)網(wǎng)站建設(shè)、服務(wù)器托管、外貿(mào)建站、定制網(wǎng)站、軟件開發(fā)、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)