RELU以及其在深度學(xué)習(xí)中的作用是什么

RELU以及其在深度學(xué)習(xí)中的作用是什么，針對這個問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

創(chuàng)新互聯(lián)長期為成百上千客戶提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為定遠(yuǎn)企業(yè)提供專業(yè)的網(wǎng)站建設(shè)、成都網(wǎng)站制作，定遠(yuǎn)網(wǎng)站改版等技術(shù)服務(wù)。擁有10多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)中的激活函數(shù)在激發(fā)隱藏節(jié)點以產(chǎn)生更理想的輸出方面起著重要作用。激活函數(shù)的主要目的是將非線性特性引入模型。

在人工神經(jīng)網(wǎng)絡(luò)中，給定一個輸入或一組輸入，節(jié)點的激活函數(shù)定義該節(jié)點的輸出。可以將標(biāo)準(zhǔn)集成電路視為激活功能的控制器，根據(jù)輸入的不同，激活功能可以是“ ON”或“ OFF”。

Sigmoid和tanh是單調(diào)、可微的激活函數(shù)，是在RELU出現(xiàn)以前比較流行的激活函數(shù)。然而，隨著時間的推移，這些函數(shù)會遭受飽和，這導(dǎo)致出現(xiàn)梯度消失的問題。解決這一問題的另一種和最流行的激活函數(shù)是直線修正單元(ReLU)。

上面的圖中用藍(lán)線表示的是直線單元(ReLU)，而綠線是ReLU的變體，稱為Softplus。ReLU的其他變體包括Leaky ReLU、ELU、SiLU等，用于提高某些任務(wù)的性能。

在本文中，我們只考慮直線單元(ReLU)，因為默認(rèn)情況下，它仍然是執(zhí)行大多數(shù)深度學(xué)習(xí)任務(wù)最常用的激活函數(shù)。它的變體通常用于特定的目的，在那里他們可能有輕微的優(yōu)勢在ReLU。

這個激活函數(shù)是Hahnloser等人在2000年首次引入到一個動態(tài)網(wǎng)絡(luò)中，具有很強的生物學(xué)動機和數(shù)學(xué)證明。與2011年之前廣泛使用的激活函數(shù)，如logistic sigmoid(靈感來自于概率理論和logistic回歸)及其更實用的tanh（對應(yīng)函數(shù)雙曲正切）相比，2011年首次證明了該函數(shù)能夠更好地訓(xùn)練更深層次的網(wǎng)絡(luò)。

截止到2017年，整流器是深度神經(jīng)網(wǎng)絡(luò)中最受歡迎的激活函數(shù)。采用整流器的單元也稱為整流線性單元(ReLU)。

RELU的最大問題是它在點0處是不可微的。而研究人員傾向于使用可微函數(shù)，例如S型和tanh。但是在0點可微這種情況畢竟還是特殊情況，所以到目前為止ReLU還是深度學(xué)習(xí)的最佳激活功能，畢竟他需要的計算量是非常小的，計算速度很快。

ReLU激活函數(shù)在除0點外的所有點都是可微的。對于大于0的值，我們只考慮函數(shù)的最大值?？梢赃@樣寫:

f(x) = max{0, z}

簡單地說，也可以這樣寫:

if input > 0:    
return input
else:    
return 0

所有負(fù)數(shù)默認(rèn)為0，并考慮正數(shù)的最大值。

對于神經(jīng)網(wǎng)絡(luò)的反向傳播計算，ReLU的判別相對容易。我們唯一要做的假設(shè)是在點0處的導(dǎo)數(shù)，也被認(rèn)為是0。這通常不是一個大問題，而且在大多數(shù)情況下都能很好地工作。函數(shù)的導(dǎo)數(shù)就是斜率的值。負(fù)值的斜率是0.0，正值的斜率是1.0。

ReLU激活函數(shù)的主要優(yōu)點是:

• 卷積層和深度學(xué)習(xí):它們是卷積層和深度學(xué)習(xí)模型訓(xùn)練中最常用的激活函數(shù)。

• 計算簡單:整流函數(shù)實現(xiàn)起來很簡單，只需要一個max()函數(shù)。

• 代表性稀疏性:整流器函數(shù)的一個重要優(yōu)點是它能夠輸出一個真正的零值。

• 線性行為:當(dāng)神經(jīng)網(wǎng)絡(luò)的行為是線性或接近線性時，它更容易被優(yōu)化。

然而，經(jīng)過RELU單元的主要問題是所有的負(fù)值會立即變?yōu)榱?，這降低了模型對數(shù)據(jù)正確擬合或訓(xùn)練的能力。

這意味著任何給ReLU激活函數(shù)的負(fù)輸入都會立即將圖中的值變?yōu)榱?，這反過來會影響結(jié)果圖，因為沒有適當(dāng)?shù)赜成湄?fù)的值。不過，通過使用ReLU激活函數(shù)的不同變體(如Leaky ReLU和前面討論的其他函數(shù))，可以很容易地修復(fù)這個問題。

關(guān)于RELU以及其在深度學(xué)習(xí)中的作用是什么問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。

分享文章：RELU以及其在深度學(xué)習(xí)中的作用是什么
當(dāng)前鏈接：http://muchs.cn/article46/ihcehg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信公眾號、網(wǎng)站建設(shè)、App開發(fā)、網(wǎng)站維護(hù)、手機網(wǎng)站建設(shè)、標(biāo)簽優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)