clipgradient如何解決梯度爆炸的問(wèn)題-創(chuàng)新互聯(lián)

這篇文章將為大家詳細(xì)講解有關(guān)clip gradient如何解決梯度爆炸的問(wèn)題，小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

在桓仁等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作按需求定制制作,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站設(shè)計(jì),成都全網(wǎng)營(yíng)銷,成都外貿(mào)網(wǎng)站建設(shè),桓仁網(wǎng)站建設(shè)費(fèi)用合理。

1. 梯度爆炸的影響

在一個(gè)只有一個(gè)隱藏節(jié)點(diǎn)的網(wǎng)絡(luò)中，損失函數(shù)和權(quán)值w偏置b構(gòu)成error surface，其中有一堵墻，如下所示

損失函數(shù)每次迭代都是每次一小步，但是當(dāng)遇到這堵墻時(shí)，在墻上的某點(diǎn)計(jì)算梯度，梯度會(huì)瞬間增大，指向某處不理想的位置。如果我們使用縮放，可以把誤導(dǎo)控制在可接受范圍內(nèi)，如虛線箭頭所示

2. 解決梯度爆炸問(wèn)題的方法

通常會(huì)使用一種叫”clip gradients “的方法. 它能有效地權(quán)重控制在一定范圍之內(nèi).

算法步驟如下。

首先設(shè)置一個(gè)梯度閾值：clip_gradient

在后向傳播中求出各參數(shù)的梯度，這里我們不直接使用梯度進(jìn)去參數(shù)更新，我們求這些梯度的l2范數(shù)

然后比較梯度的l2范數(shù)||g||與clip_gradient的大小

如果前者大，求縮放因子clip_gradient/||g||,　由縮放因子可以看出梯度越大，則縮放因子越小，這樣便很好地控制了梯度的范圍

最后將梯度乘上縮放因子便得到最后所需的梯度

3. 有無(wú)clip_gradient在GRU模型中的結(jié)果比較

無(wú)clip_gradient

可以很清楚地發(fā)現(xiàn)在2000次迭代出發(fā)生了梯度爆炸，最終影響了訓(xùn)練的效果。 　

有clip_gradient

可以發(fā)現(xiàn)clip_gradient在前期有效了控制了梯度爆炸的影響，使得最終的loss能下降到滿意的結(jié)果

關(guān)于“clip gradient如何解決梯度爆炸的問(wèn)題”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，使各位可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，請(qǐng)把它分享出去讓更多的人看到。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱：clipgradient如何解決梯度爆炸的問(wèn)題-創(chuàng)新互聯(lián)
網(wǎng)站URL：http://muchs.cn/article26/dhdhjg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、網(wǎng)站改版、全網(wǎng)營(yíng)銷推廣、微信小程序、品牌網(wǎng)站建設(shè)、電子商務(wù)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)