Pytorch中自動(dòng)求梯度機(jī)制和Variable類(lèi)的示例分析-創(chuàng)新互聯(lián)

這篇文章主要介紹Pytorch中自動(dòng)求梯度機(jī)制和Variable類(lèi)的示例分析，文中介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們一定要看完！

創(chuàng)新互聯(lián)建站于2013年創(chuàng)立，先為長(zhǎng)安等服務(wù)建站，長(zhǎng)安等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢(xún)服務(wù)。為長(zhǎng)安企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問(wèn)題。

自動(dòng)求導(dǎo)機(jī)制是每一個(gè)深度學(xué)習(xí)框架中重要的性質(zhì)，免去了手動(dòng)計(jì)算導(dǎo)數(shù)，下面用代碼介紹并舉例說(shuō)明Pytorch的自動(dòng)求導(dǎo)機(jī)制。

首先介紹Variable，Variable是對(duì)Tensor的一個(gè)封裝，操作和Tensor是一樣的，但是每個(gè)Variable都有三個(gè)屬性：Varibale的Tensor本身的.data，對(duì)應(yīng)Tensor的梯度.grad，以及這個(gè)Variable是通過(guò)什么方式得到的.grad_fn，根據(jù)最新消息，在pytorch0.4更新后，torch和torch.autograd.Variable現(xiàn)在是同一類(lèi)。torch.Tensor能像Variable那樣追蹤歷史和反向傳播。Variable仍能正確工作，但是返回的是Tensor。

我們擁抱這些新特性，看看Pytorch怎么進(jìn)行自動(dòng)求梯度。

#encoding:utf-8
import torch

x = torch.tensor([2.],requires_grad=True) #新建一個(gè)tensor,允許自動(dòng)求梯度,這一項(xiàng)默認(rèn)是false.
y = (x+2)**2 + 3 #y的表達(dá)式中包含x,因此y能進(jìn)行自動(dòng)求梯度
y.backward()
print(x.grad)

輸出結(jié)果是：

tensor([8.])

這里添加一個(gè)小知識(shí)點(diǎn)，即torch.Tensor和torch.tensor的不同。二者均可以生成新的張量，但torch.Tensor()是python類(lèi)，是默認(rèn)張量類(lèi)型torch.FloatTensor()的別名，使用torch.Tensor()會(huì)調(diào)用構(gòu)造函數(shù)，生成單精度浮點(diǎn)類(lèi)型的張量。

而torch.tensor()是函數(shù)，其中data可以是list,tuple,numpy,ndarray,scalar和其他類(lèi)型，但只有浮點(diǎn)類(lèi)型的張量能夠自動(dòng)求梯度。

torch.tensor(data, dtype=None, device=None, requires_grad=False)

言歸正傳，上一個(gè)例子的變量本質(zhì)上是標(biāo)量。下面一個(gè)例子對(duì)矩陣求導(dǎo)。

#encoding:utf-8
import torch

x = torch.ones((2,4),requires_grad=True)
y = torch.ones((2,1),requires_grad=True)
W = torch.ones((4,1),requires_grad=True)

J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示對(duì)矩陣作乘法
J.backward()
print(x.grad)
print(y.grad)
print(W.grad)

輸出結(jié)果是：

tensor([[-1., -1., -1., -1.],
   [-1., -1., -1., -1.]])
tensor([[1.],
   [1.]])
tensor([[-2.],
   [-2.],
   [-2.],
   [-2.]])　　

以上是“Pytorch中自動(dòng)求梯度機(jī)制和Variable類(lèi)的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！希望分享的內(nèi)容對(duì)大家有幫助，更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

網(wǎng)站名稱(chēng)：Pytorch中自動(dòng)求梯度機(jī)制和Variable類(lèi)的示例分析-創(chuàng)新互聯(lián)
URL鏈接：http://muchs.cn/article6/hicig.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、做網(wǎng)站、品牌網(wǎng)站設(shè)計(jì)、網(wǎng)站內(nèi)鏈、App開(kāi)發(fā)、網(wǎng)站排名

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都做網(wǎng)站