如何提升PyTorch的性能

如何提升PyTorch的性能，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

創(chuàng)新互聯(lián)主要從事成都網(wǎng)站制作、成都做網(wǎng)站、網(wǎng)頁設計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務。立足成都服務洛江,十多年網(wǎng)站建設經(jīng)驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:028-86922220

Pin memory

你知道有時候你的GPU內(nèi)存顯示它是滿的但你很確定你的模型沒有使用那么多？這種開銷稱為pinned memory。這個內(nèi)存被保留為一種“working allocation”類型。

當你在一個DataLoader中啟用pinned_memory時，它“自動將獲取的數(shù)據(jù)張量放在pinned memory中，并使數(shù)據(jù)更快地傳輸?shù)紺UDA-enabled的gpu”

這意味著你不應該不必要的去調(diào)用：

torch.cuda.empty_cache()

避免CPU到GPU的傳輸，反之亦然

# bad.cpu()  .item()  .numpy()

我看到大量使用.item()或.cpu()或.numpy()調(diào)用。這對于性能來說是非常糟糕的，因為每個調(diào)用都將數(shù)據(jù)從GPU傳輸?shù)紺PU，從而極大地降低了性能。

如果你試圖清除附加的計算圖，請使用.detach()。

# good.detach()

這不會將內(nèi)存轉(zhuǎn)移到GPU，它會刪除任何附加到該變量的計算圖。

直接在GPUs上構建張量

大多數(shù)人都是這樣在GPUs上創(chuàng)建張量的

t = tensor.rand(2,2).cuda()

然而，這首先創(chuàng)建CPU張量，然后將其轉(zhuǎn)移到GPU……這真的很慢。相反，直接在想要的設備上創(chuàng)建張量。

t = tensor.rand(2,2, device=torch.device('cuda:0'))

如果你正在使用Lightning，我們會自動把你的模型和批處理放到正確的GPU上。但是，如果你在代碼的某個地方創(chuàng)建了一個新的張量(例如：為一個VAE采樣隨機噪聲，或類似的東西)，那么你必須自己放置張量。

t = tensor.rand(2,2, device=self.device)

每個LightningModule都有一個方便的self.device調(diào)用，無論你是在CPU上，多 GPUs上，還是在TPUs上，lightning會為那個張量選擇正確的設備。

使用DistributedDataParallel不要使用DataParallel

PyTorch有兩個主要的模式用于在多 GPUs訓練。第一種是DataParallel，它將一批數(shù)據(jù)分割到多個GPUs上。但這也意味著模型必須復制到每個GPU上，一旦在GPU 0上計算出梯度，它們必須同步到其他GPU。

這需要大量昂貴的GPU傳輸！相反，DistributedDataParallel在每個GPU(在它自己的進程中)上創(chuàng)建模型副本，并且只讓數(shù)據(jù)的一部分對該GPU可用。這就像是讓N個獨立的模型進行訓練，除了一旦每個模型都計算出梯度，它們就會在模型之間同步梯度……這意味著我們在每批處理中只在GPUs之間傳輸一次數(shù)據(jù)。

在Lightning中，你可以在兩者之間輕松切換

Trainer(distributed_backend='ddp', gpus=8)  Trainer(distributed_backend='dp', gpus=8)

請注意，PyTorch和Lightning都不鼓勵使用DP。

使用16-bit精度

這是另一種加快訓練速度的方法，我們沒有看到很多人使用這種方法。在你的模型進行16bit訓練的部分，數(shù)據(jù)從32位變到到16位。這有幾個優(yōu)點:

1. 鴻蒙官方戰(zhàn)略合作共建——HarmonyOS技術社區(qū)

2.  你使用了一半的內(nèi)存(這意味著你可以將batch大小翻倍，并將訓練時間減半)。

3.  某些GPU(V100, 2080Ti)可以自動加速(3 -8倍)，因為它們針對16位計算進行了優(yōu)化。

在Lightning中，這很簡單:

Trainer(precision=16)

注意：在PyTorch 1.6之前，你還必須安裝Nvidia Apex，現(xiàn)在16位是PyTorch的原生版本。但如果你使用的是Lightning，它同時支持這兩種功能，并根據(jù)檢測到的PyTorch版本自動切換。

對你的代碼進行Profile

如果沒有Lightning，最后一條建議可能很難實現(xiàn)，但你可以使用cprofiler這樣的工具來實現(xiàn)。然而，在Lightning中，你可以通過兩種方式獲得所有在訓練期間所做的調(diào)用的總結(jié)：

首先，內(nèi)置的basic profiler

Trainer(profile=True)

可以給出這樣的輸出：

或者是高級的profiler:

profiler = AdvancedProfiler()  trainer = Trainer(profilerprofiler=profiler)

得到更小粒度的結(jié)果：

看完上述內(nèi)容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。

分享題目：如何提升PyTorch的性能
標題網(wǎng)址：http://www.muchs.cn/article26/ihehcg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設計公司、ChatGPT、網(wǎng)站排名、微信小程序、搜索引擎優(yōu)化、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)