梯度提升決策樹GBDT的方法是什么

這篇文章主要介紹“梯度提升決策樹GBDT的方法是什么”，在日常操作中，相信很多人在梯度提升決策樹GBDT的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”梯度提升決策樹GBDT的方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

為茅箭等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及茅箭網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站建設(shè)、網(wǎng)站制作、茅箭網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

G-B-D-T梯度提升決策樹，顧名思義，是一個與梯度有關(guān)、對決策樹進(jìn)行了提升的機(jī)器學(xué)習(xí)模型。我們不妨從后往前依次聊聊GBD這幾個定語，從而理解這個模型的精髓。

DT（Decision Tree）決策樹。 T自不必多說，作為一種常見的數(shù)據(jù)結(jié)構(gòu)出現(xiàn)在各種算法當(dāng)中。DT決策樹，有分類樹與回歸樹兩種，之前文章中講到了分類樹，可參見 與 。回歸樹原理機(jī)制與分類樹相似，區(qū)別在于分類樹只有在葉子結(jié)點返回唯一分類，而回歸樹的每個節(jié)點都能返回預(yù)測值，通常為當(dāng)前節(jié)點下所有樣本的均值。

B（Boosting）提升。即在原來模型的基礎(chǔ)之上做進(jìn)一步提升，提升決策樹BDT的基本思想是采用多棵決策樹串行建模。具體過程為，對于第一棵樹之后的每一棵決策樹，都基于前一棵決策樹的輸出進(jìn)行二次建模，整個串行建模過程相當(dāng)于對預(yù)測結(jié)果朝目標(biāo)值進(jìn)行修正。

G（Gradient）梯度。梯度的大小反映了當(dāng)前預(yù)測值與目標(biāo)值之間的距離。因此，上面B所述的串行決策樹模型，除開第一棵決策樹使用原始預(yù)測指標(biāo)建樹，之后的每一棵決策樹都用前一棵決策樹的預(yù)測值與目標(biāo)值計算出來的負(fù)梯度（可以理解為殘差或者增量）來建樹。這相當(dāng)于給分錯的樣本加權(quán)多次分類，使樣本最終的殘差趨近于0。除開第一棵樹的其他樹，由于都是對目標(biāo)的殘差或增量進(jìn)行建模預(yù)測，因此GBDT模型只需把過程中每一棵決策樹的輸出結(jié)果累加，便可得到最終的預(yù)測輸出。

這里借用網(wǎng)上流傳較廣的一個預(yù)測年齡的例子來描述GBDT的過程。一共4個樣本：

A（消費較高、經(jīng)常被學(xué)弟問問題）27歲

B（消費較高、經(jīng)常問學(xué)長問題）23歲

C（消費較低、經(jīng)常被學(xué)弟問問題）17歲

D（消費較低、經(jīng)常問學(xué)長問題）13歲

串行決策樹構(gòu)建如下圖所示?？芍Ｐ蛿M合情況，A的年齡為25 + 2 = 27歲，B的年齡為25 - 2 = 23歲，C為15 +２ = 17歲，D為15 - 2 = 13歲。

綜上，一句話概括GBDT的核心思想就是：串行訓(xùn)練n(n > 2)棵決策樹，其中第i(1 < i ≤ n)棵樹學(xué)習(xí)第i - 1棵樹的負(fù)梯度（可理解為殘差或增量），n棵樹的輸出結(jié)果累加作為最終輸出結(jié)果。

GBDT的優(yōu)點和局限性

優(yōu)點:
1.在預(yù)測階段的計算快速，樹與樹之間可以并行化計算
2.在分布稠密的數(shù)據(jù)集上，泛化能力和表達(dá)能力都很好。
3.采用決策樹作為弱分類器使得GBDT模型具有較好的解釋性和魯棒性，能夠自動發(fā)現(xiàn)特征間的高階關(guān)系，并且也不需要對數(shù)據(jù)進(jìn)行特殊的預(yù)處理。
局限性:
1.GBDT在高維稀疏的數(shù)據(jù)集上，表現(xiàn)不如SVM或者神經(jīng)網(wǎng)絡(luò)
2.GBDT在處理文本分類特征問題上，相對其他模型的優(yōu)勢不如在處理數(shù)值特征時明顯。
3.訓(xùn)練過程需要串行訓(xùn)練，只能在決策樹內(nèi)部采用一些局部并行的手段提高訓(xùn)練速度。

到此，關(guān)于“梯度提升決策樹GBDT的方法是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

新聞名稱：梯度提升決策樹GBDT的方法是什么
鏈接URL：http://muchs.cn/article32/jpcssc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、ChatGPT、面包屑導(dǎo)航、定制網(wǎng)站、外貿(mào)建站、軟件開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)