pytorch模型保存與加載問(wèn)題怎么解決

這篇“pytorch模型保存與加載問(wèn)題怎么解決”文章的知識(shí)點(diǎn)大部分人都不太理解，所以小編給大家總結(jié)了以下內(nèi)容，內(nèi)容詳細(xì)，步驟清晰，具有一定的借鑒價(jià)值，希望大家閱讀完這篇文章能有所收獲，下面我們一起來(lái)看看這篇“pytorch模型保存與加載問(wèn)題怎么解決”文章吧。

在內(nèi)江等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強(qiáng)發(fā)展的系統(tǒng)性、市場(chǎng)前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務(wù)理念，為客戶提供成都網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計(jì) 網(wǎng)站設(shè)計(jì)制作定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),全網(wǎng)營(yíng)銷推廣,外貿(mào)網(wǎng)站建設(shè),內(nèi)江網(wǎng)站建設(shè)費(fèi)用合理。

一、torch中模型保存和加載的方式

1、模型參數(shù)和模型結(jié)構(gòu)保存和加載

torch.save(model,path)
torch.load(path)

2、只保存模型的參數(shù)和加載——這種方式比較安全，但是比較稍微麻煩一點(diǎn)點(diǎn)

torch.save(model.state_dict(),path)
model_state_dic = torch.load(path)
model.load_state_dic(model_state_dic)

二、torch中模型保存和加載出現(xiàn)的問(wèn)題

1、單卡模型下保存模型結(jié)構(gòu)和參數(shù)后加載出現(xiàn)的問(wèn)題

模型保存的時(shí)候會(huì)把模型結(jié)構(gòu)定義文件路徑記錄下來(lái)，加載的時(shí)候就會(huì)根據(jù)路徑解析它然后裝載參數(shù)；當(dāng)把模型定義文件路徑修改以后，使用torch.load(path)就會(huì)報(bào)錯(cuò)。

把model文件夾修改為models后，再加載就會(huì)報(bào)錯(cuò)。

import torch
from model.TextRNN import TextRNN
 
load_model = torch.load('experiment_model_save/textRNN.bin')
print('load_model',load_model)

這種保存完整模型結(jié)構(gòu)和參數(shù)的方式，一定不要改動(dòng)模型定義文件路徑。

2、多卡機(jī)器單卡訓(xùn)練模型保存后在單卡機(jī)器上加載會(huì)報(bào)錯(cuò)

在多卡機(jī)器上有多張顯卡0號(hào)開(kāi)始，現(xiàn)在模型在n>=1上的顯卡訓(xùn)練保存后，拷貝在單卡機(jī)器上加載

import torch
from model.TextRNN import TextRNN
 
load_model = torch.load('experiment_model_save/textRNN_cuda_1.bin')
print('load_model',load_model)

會(huì)出現(xiàn)cuda device不匹配的問(wèn)題——你保存的模代碼段 小部件型是使用的cuda1，那么采用torch.load()打開(kāi)的時(shí)候，會(huì)默認(rèn)的去尋找cuda1，然后把模型加載到該設(shè)備上。這個(gè)時(shí)候可以直接使用map_location來(lái)解決，把模型加載到CPU上即可。

load_model = torch.load('experiment_model_save/textRNN_cuda_1.bin',map_location=torch.device('cpu'))

3、多卡訓(xùn)練模型保存模型結(jié)構(gòu)和參數(shù)后加載出現(xiàn)的問(wèn)題

當(dāng)用多GPU同時(shí)訓(xùn)練模型之后，不管是采用模型結(jié)構(gòu)和參數(shù)一起保存還是單獨(dú)保存模型參數(shù)，然后在單卡下加載都會(huì)出現(xiàn)問(wèn)題

a、模型結(jié)構(gòu)和參數(shù)一起保然后在加載

torch.distributed.init_process_group(backend='nccl')

模型訓(xùn)練的時(shí)候采用上述多進(jìn)程的方式，所以你在加載的時(shí)候也要聲明，不然就會(huì)報(bào)錯(cuò)。

b、單獨(dú)保存模型參數(shù)

model = Transformer(num_encoder_layers=6,num_decoder_layers=6)
state_dict = torch.load('train_model/clip/experiment.pt')
model.load_state_dict(state_dict)

同樣會(huì)出現(xiàn)問(wèn)題，不過(guò)這里出現(xiàn)的問(wèn)題是參數(shù)字典的key和模型定義的key不一樣

原因是多GPU訓(xùn)練下，使用分布式訓(xùn)練的時(shí)候會(huì)給模型進(jìn)行一個(gè)包裝，代碼如下：

model = torch.load('train_model/clip/Vtransformers_bert_6_layers_encoder_clip.bin')
print(model)
model.cuda(args.local_rank)
。。。。。。
model = nn.parallel.DistributedDataParallel(model,device_ids=[args.local_rank],find_unused_parameters=True)
print('model',model)

包裝前的模型結(jié)構(gòu)：

包裝后的模型

在外層多了DistributedDataParallel以及module，所以才會(huì)導(dǎo)致在單卡環(huán)境下加載模型權(quán)重的時(shí)候出現(xiàn)權(quán)重的keys不一致。

三、正確的保存模型和加載的方法

    if gpu_count > 1:
        torch.save(model.module.state_dict(),save_path)
    else:
        torch.save(model.state_dict(),save_path)
    model = Transformer(num_encoder_layers=6,num_decoder_layers=6)
    state_dict = torch.load(save_path)
    model.load_state_dict(state_dict)

這樣就是比較好的范式，加載不會(huì)出錯(cuò)。

以上就是關(guān)于“pytorch模型保存與加載問(wèn)題怎么解決”這篇文章的內(nèi)容，相信大家都有了一定的了解，希望小編分享的內(nèi)容對(duì)大家有幫助，若想了解更多相關(guān)的知識(shí)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

新聞名稱：pytorch模型保存與加載問(wèn)題怎么解決
URL地址：http://muchs.cn/article10/ihjhdo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、、用戶體驗(yàn)、網(wǎng)站導(dǎo)航、App設(shè)計(jì)、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)