TensorFlow如何實(shí)現(xiàn)批量歸一化-創(chuàng)新互聯(lián)

小編這次要給大家分享的是TensorFlow如何實(shí)現(xiàn)批量歸一化，文章內(nèi)容豐富，感興趣的小伙伴可以來(lái)了解一下，希望大家閱讀完這篇文章之后能夠有所收獲。

創(chuàng)新互聯(lián)成立于2013年，是專(zhuān)業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元赤坎做網(wǎng)站,已為上家服務(wù),為赤坎各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220

批量歸一化

在對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化方法中，有一種使用十分廣泛的方法——批量歸一化，使得神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確度得到了極大的提升。

在網(wǎng)絡(luò)的前向計(jì)算過(guò)程中，當(dāng)輸出的數(shù)據(jù)不再同一分布時(shí)，可能會(huì)使得loss的值非常大，使得網(wǎng)絡(luò)無(wú)法進(jìn)行計(jì)算。產(chǎn)生梯度爆炸的原因是因?yàn)榫W(wǎng)絡(luò)的內(nèi)部協(xié)變量轉(zhuǎn)移，即正向傳播的不同層參數(shù)會(huì)將反向訓(xùn)練計(jì)算時(shí)參照的數(shù)據(jù)樣本分布改變。批量歸一化的目的，就是要大限度地保證每次的正向傳播輸出在同一分布上，這樣反向計(jì)算時(shí)參照的數(shù)據(jù)樣本分布就會(huì)與正向計(jì)算時(shí)的數(shù)據(jù)分布一樣了，保證分布的統(tǒng)一。

了解了原理，批量正則化的做法就會(huì)變得簡(jiǎn)單，即將每一層運(yùn)算出來(lái)的數(shù)據(jù)都?xì)w一化成均值為0方差為1的標(biāo)準(zhǔn)高斯分布。這樣就會(huì)在保留樣本分布特征的同時(shí)，又消除層與層間的分布差異。在實(shí)際的應(yīng)用中，批量歸一化的收斂非?？?，并且有很強(qiáng)的泛化能力，在一些情況下，完全可以代替前面的正則化，dropout。

批量歸一化的定義

在TensorFlow中有自帶的BN函數(shù)定義：

tf.nn.batch_normalization(x,
             maen,
             variance,
             offset,
             scale,
             variance_epsilon)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

名稱(chēng)欄目：TensorFlow如何實(shí)現(xiàn)批量歸一化-創(chuàng)新互聯(lián)
標(biāo)題URL：http://muchs.cn/article0/hcgio.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、虛擬主機(jī)、響應(yīng)式網(wǎng)站、網(wǎng)站導(dǎo)航、微信公眾號(hào)、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

微信小程序開(kāi)發(fā)