PyTorch中怎樣使實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)-創(chuàng)新互聯(lián)

小編給大家分享一下PyTorch中怎樣使實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

目前創(chuàng)新互聯(lián)建站已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬空間、網(wǎng)站運(yùn)營、企業(yè)網(wǎng)站設(shè)計、黃南州網(wǎng)站維護(hù)等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

全部設(shè)置可以分為三部分：

1. CUDNN

cudnn中對卷積操作進(jìn)行了優(yōu)化，犧牲了精度來換取計算效率。如果需要保證可重復(fù)性，可以使用如下設(shè)置:

from torch.backends import cudnn
cudnn.benchmark = False      # if benchmark=True, deterministic will be False
cudnn.deterministic = True

不過實(shí)際上這個設(shè)置對精度影響不大，僅僅是小數(shù)點(diǎn)后幾位的差別。所以如果不是對精度要求極高，其實(shí)不太建議修改，因?yàn)闀褂嬎阈式档汀?/p>

2. Pytorch

torch.manual_seed(seed)      # 為CPU設(shè)置隨機(jī)種子
torch.cuda.manual_seed(seed)    # 為當(dāng)前GPU設(shè)置隨機(jī)種子
torch.cuda.manual_seed_all(seed)  # 為所有GPU設(shè)置隨機(jī)種子

3. Python & Numpy

如果讀取數(shù)據(jù)的過程采用了隨機(jī)預(yù)處理(如RandomCrop、RandomHorizontalFlip等)，那么對python、numpy的隨機(jī)數(shù)生成器也需要設(shè)置種子。

import random
import numpy as np
random.seed(seed)
np.random.seed(seed)

最后，關(guān)于dataloader：

注意，如果dataloader采用了多線程(num_workers > 1), 那么由于讀取數(shù)據(jù)的順序不同，最終運(yùn)行結(jié)果也會有差異。也就是說，改變num_workers參數(shù)，也會對實(shí)驗(yàn)結(jié)果產(chǎn)生影響。目前暫時沒有發(fā)現(xiàn)解決這個問題的方法，但是只要固定num_workers數(shù)目（線程數(shù)）不變，基本上也能夠重復(fù)實(shí)驗(yàn)結(jié)果。

對于不同線程的隨機(jī)數(shù)種子設(shè)置，主要通過DataLoader的worker_init_fn參數(shù)來實(shí)現(xiàn)。默認(rèn)情況下使用線程ID作為隨機(jī)數(shù)種子。如果需要自己設(shè)定，可以參考以下代碼：

GLOBAL_SEED = 1
 
def set_seed(seed):
  random.seed(seed)
  np.random.seed(seed)
  torch.manual_seed(seed)
  torch.cuda.manual_seed(seed)
  torch.cuda.manual_seed_all(seed)
 
GLOBAL_WORKER_ID = None
def worker_init_fn(worker_id):
  global GLOBAL_WORKER_ID
  GLOBAL_WORKER_ID = worker_id
  set_seed(GLOBAL_SEED + worker_id)
 
dataloader = DataLoader(dataset, batch_size=16, shuffle=True, num_workers=2, worker_init_fn=worker_init_fn)

以上是“PyTorch中怎樣使實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

本文題目：PyTorch中怎樣使實(shí)驗(yàn)結(jié)果可復(fù)現(xiàn)-創(chuàng)新互聯(lián)
URL鏈接：http://muchs.cn/article14/ddscde.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、網(wǎng)站內(nèi)鏈、手機(jī)網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站建設(shè)、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)