pytorch交叉熵?fù)p失輸出為負(fù)數(shù)怎么解決-創(chuàng)新互聯(lián)

創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

創(chuàng)新互聯(lián)于2013年創(chuàng)立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站設(shè)計(jì)制作、成都做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢想脫穎而出為使命，1280元東安做網(wǎng)站,已為上家服務(wù),為東安各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18982081108

這篇文章將為大家詳細(xì)講解有關(guān)pytorch交叉熵?fù)p失輸出為負(fù)數(shù)怎么解決，小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

網(wǎng)絡(luò)訓(xùn)練中，loss曲線非常奇怪

交叉熵怎么會(huì)有負(fù)數(shù)。

經(jīng)過排查，交叉熵不是有個(gè)負(fù)對(duì)數(shù)嗎，當(dāng)網(wǎng)絡(luò)輸出的概率是0-1時(shí)，正數(shù)?？僧?dāng)網(wǎng)絡(luò)輸出大于1的數(shù)，就有可能變成負(fù)數(shù)。

所以加上一行就行了

out1 = F.softmax(out1, dim=1)

補(bǔ)充知識(shí)：在pytorch框架下，訓(xùn)練model過程中，loss=nan問題時(shí)該怎么解決？

當(dāng)我在UCF-101數(shù)據(jù)集訓(xùn)練alexnet時(shí)，epoch設(shè)為100，跑到三十多個(gè)epoch時(shí)，出現(xiàn)了loss=nan問題，當(dāng)時(shí)是一臉懵逼，在查閱資料后，我通過減小學(xué)習(xí)率解決了問題，現(xiàn)總結(jié)一下出現(xiàn)這個(gè)問題的可能原因及解決方法：

1. 減小整體學(xué)習(xí)率。學(xué)習(xí)率比較大的時(shí)候，參數(shù)可能over shoot了，結(jié)果就是找不到極小值點(diǎn)；減小學(xué)習(xí)率可以讓參數(shù)朝著極值點(diǎn)前進(jìn)；

2. 改變網(wǎng)絡(luò)寬度。有可能是網(wǎng)絡(luò)后面的層參數(shù)更新異常，增加后面層的寬度試試；

3. 改變層的學(xué)習(xí)率。每個(gè)層都可以設(shè)置學(xué)習(xí)率，可以嘗試減小后面層的學(xué)習(xí)率試試；

4. 數(shù)據(jù)歸一化（減均值，除方差，或者加入normalization，例如BN、L2 norm等）；

5. 加入gradient clipping；

6 輸入數(shù)據(jù)含有臟數(shù)據(jù)，即NaN,一般當(dāng)使用實(shí)際業(yè)務(wù)的真實(shí)數(shù)據(jù)時(shí)，容易出現(xiàn)臟數(shù)據(jù)。

關(guān)于pytorch交叉熵?fù)p失輸出為負(fù)數(shù)怎么解決就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

網(wǎng)頁名稱：pytorch交叉熵?fù)p失輸出為負(fù)數(shù)怎么解決-創(chuàng)新互聯(lián)
文章位置：http://muchs.cn/article48/cdcghp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、網(wǎng)站導(dǎo)航、品牌網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)公司、小程序開發(fā)、建站公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)