pytorch凍結(jié)某層參數(shù)的實(shí)現(xiàn)方法-創(chuàng)新互聯(lián)

這篇文章主要介紹了pytorch凍結(jié)某層參數(shù)的實(shí)現(xiàn)方法，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

你所需要的網(wǎng)站建設(shè)服務(wù)，我們均能行業(yè)靠前的水平為你提供.標(biāo)準(zhǔn)是產(chǎn)品質(zhì)量的保證，主要從事成都做網(wǎng)站、網(wǎng)站建設(shè)、企業(yè)網(wǎng)站建設(shè)、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)、成都品牌網(wǎng)站建設(shè)、網(wǎng)頁(yè)制作、做網(wǎng)站、建網(wǎng)站。創(chuàng)新互聯(lián)擁有實(shí)力堅(jiān)強(qiáng)的技術(shù)研發(fā)團(tuán)隊(duì)及素養(yǎng)的視覺設(shè)計(jì)專才。

在遷移學(xué)習(xí)finetune時(shí)我們通常需要凍結(jié)前幾層的參數(shù)不參與訓(xùn)練，在Pytorch中的實(shí)現(xiàn)如下：

class Model(nn.Module):
 def __init__(self):
  super(Transfer_model, self).__init__()
  self.linear1 = nn.Linear(20, 50)
  self.linear2 = nn.Linear(50, 20)
  self.linear3 = nn.Linear(20, 2)

 def forward(self, x):
 pass

假如我們想要凍結(jié)linear1層，需要做如下操作：

model = Model()
# 這里是一般情況，共享層往往不止一層，所以做一個(gè)for循環(huán)
for para in model.linear1.parameters():
 para.requires_grad = False
# 假如真的只有一層也可以這樣操作：
# model.linear1.weight.requires_grad = False

 最后我們需要將需要優(yōu)化的參數(shù)傳入優(yōu)化器，不需要傳入的參數(shù)過濾掉，所以要用到filter()函數(shù)。

optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.1)

其它的博客中都沒有講解filter()函數(shù)的作用，在這里我簡(jiǎn)單講一下有助于更好的理解。

filter(function, iterable)

• function: 判斷函數(shù)

• iterable: 可迭代對(duì)象

filter() 函數(shù)用于過濾序列，過濾掉不符合條件的元素，返回一個(gè)迭代器對(duì)象，如果要轉(zhuǎn)換為列表，可以使用 list() 來轉(zhuǎn)換。

該接收兩個(gè)參數(shù)，第一個(gè)為函數(shù)，第二個(gè)為序列，序列的每個(gè)元素作為參數(shù)傳遞給函數(shù)進(jìn)行判，然后返回 True 或 False，最后將返回 True 的元素放到新列表中。

filter()函數(shù)將requires_grad = True的參數(shù)傳入優(yōu)化器進(jìn)行反向傳播，requires_grad = False的則被過濾掉。

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“pytorch凍結(jié)某層參數(shù)的實(shí)現(xiàn)方法”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來學(xué)習(xí)!

分享標(biāo)題：pytorch凍結(jié)某層參數(shù)的實(shí)現(xiàn)方法-創(chuàng)新互聯(lián)
URL網(wǎng)址：http://www.muchs.cn/article18/ipcgp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、做網(wǎng)站、Google、移動(dòng)網(wǎng)站建設(shè)、定制網(wǎng)站、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)