這篇文章給大家分享的是有關TensorFlow如何實現Softmax回歸模型的內容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
創(chuàng)新互聯(lián)自2013年創(chuàng)立以來,是專業(yè)互聯(lián)網技術服務公司,擁有項目成都網站制作、網站設計、外貿網站建設網站策劃,項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命,1280元米脂做網站,已為上家服務,為米脂各地企業(yè)和個人服務,聯(lián)系電話:13518219792一、概述及完整代碼
對MNIST(MixedNational Institute of Standard and Technology database)這個非常簡單的機器視覺數據集,Tensorflow為我們進行了方便的封裝,可以直接加載MNIST數據成我們期望的格式.本程序使用Softmax Regression訓練手寫數字識別的分類模型.
先看完整代碼:
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data", one_hot=True) print(mnist.train.images.shape, mnist.train.labels.shape) print(mnist.test.images.shape, mnist.test.labels.shape) print(mnist.validation.images.shape, mnist.validation.labels.shape) #構建計算圖 x = tf.placeholder(tf.float32, [None, 784]) W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x, W) + b) y_ = tf.placeholder(tf.float32, [None, 10]) cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1])) train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) #在會話sess中啟動圖 sess = tf.InteractiveSession() #創(chuàng)建InteractiveSession對象 tf.global_variables_initializer().run() #全局參數初始化器 for i in range(1000): batch_xs, batch_ys = mnist.train.next_batch(100) train_step.run({x: batch_xs, y_: batch_ys}) #測試驗證階段 #沿著第1條軸方向取y和y_的大值的索引并判斷是否相等 correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1)) #轉換bool型tensor為float32型tensor并求平均即得到正確率 accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) print(accuracy.eval({x: mnist.test.images, y_: mnist.test.labels}))
二、詳細解讀
首先看一下使用TensorFlow進行算法設計訓練的核心步驟
1.定義算法公式,也就是神經網絡forward時的計算;
2.定義loss,選定優(yōu)化器,并制定優(yōu)化器優(yōu)化loss;
3.在訓練集上迭代訓練算法模型;
4.在測試集或驗證集上對訓練得到的模型進行準確率評測.
首先創(chuàng)建一個Placeholder,即輸入張量數據的地方,第一個參數是數據類型dtype,第二個參數是tensor的形狀shape.接下來創(chuàng)建SoftmaxRegression模型中的weights(W)和biases(b)的Variable對象,不同于存儲數據的tensor一旦使用掉就會消失,Variable在模型訓練迭代中是持久存在的,并且在每輪迭代中被更新Variable初始化可以是常量或隨機值.接下來實現模型算法y = softmax(Wx + b),TensorFlow語言只需要一行代碼,tf.nn包含了大量神經網絡的組件,頭tf.matmul是矩陣乘法函數.TensorFlow將模型中的forward和backward的內容都自動實現,只要定義好loss,訓練的時候會自動求導并進行梯度下降,完成對模型參數的自動學習.定義損失函數lossfunction來描述分類精度,對于多分類問題通常使用cross-entropy交叉熵.先定義一個placeholder輸入真實的label,tf.reduce_sum和tf.reduce_mean的功能分別是求和和求平均.構造完損失函數cross-entropy后,再定義一個優(yōu)化算法即可開始訓練.我們采用隨機梯度下降SGD,定義好后TensorFlow會自動添加許多運算操作來實現反向傳播和梯度下降,而給我們提供的是一個封裝好的優(yōu)化器,只需要每輪迭代時feed數據給它就好.設置好學習率.
構造階段完成后, 才能啟動圖. 啟動圖的第一步是創(chuàng)建一個 Session 對象或InteractiveSession對象, 如果無任何創(chuàng)建參數, 會話構造器將啟動默認圖.創(chuàng)建InteractiveSession對象會這個Session注冊為默認的Session,之后的運算也默認跑在這個Session里面,不同Session之間的數據和運算應該是相互獨立的.下一步使用TensorFlow的全局參數初始化器tf.global_variables_initializer病直接執(zhí)行它的run方法(這個全局參數初始化器應該是1.0.0版本中的新特性,在之前0.10.0版本測試不通過).
至此,以上定義的所有公式其實只是Computation Graph,代碼執(zhí)行到這時,計算還沒有實際發(fā)生,只有等調用run方法并feed數據時計算才真正執(zhí)行.
隨后一步,就可以開始迭代地執(zhí)行訓練操作train_step.這里每次都從訓練集中隨機抽取100條樣本構成一個mini-batch,并feed給placeholder.
完成迭代訓練后,就可以對模型的準確率進行驗證.比較y和y_在各個測試樣本中大值所在的索引,然后轉換為float32型tensor后求平均即可得到正確率.多次測試后得到在測試集上的正確率為92%左右.還是比較理想的結果.
三、其他補充
1.Sesssion類和InteractiveSession類
對于product =tf.matmul(matrix1, matrix2),調用 sess 的 'run()' 方法來執(zhí)行矩陣乘法 op, 傳入 'product' 作為該方法的參數.上面提到, 'product' 代表了矩陣乘法 op 的輸出, 傳入它是向方法表明, 我們希望取回矩陣乘法 op 的輸出.整個執(zhí)行過程是自動化的, 會話負責傳遞op 所需的全部輸入. op 通常是并發(fā)執(zhí)行的.函數調用 'run(product)' 觸發(fā)了圖中三個 op (兩個常量 op 和一個矩陣乘法 op)的執(zhí)行.返回值 'result' 是一個 numpy的`ndarray`對象.
Session 對象在使用完后需要關閉以釋放資源sess.close(). 除了顯式調用 close 外, 也可以使用"with" 代碼塊 來自動完成關閉動作.
with tf.Session() as sess: result = sess.run([product]) print result
為了便于使用諸如 IPython 之類的 Python 交互環(huán)境, 可以使用InteractiveSession代替 Session 類, 使用 Tensor.eval()和 Operation.run()方法代替 Session.run(). 這樣可以避免使用一個變量來持有會話.
# 進入一個交互式 TensorFlow 會話. import tensorflow as tf sess = tf.InteractiveSession() x = tf.Variable([1.0, 2.0]) a = tf.constant([3.0, 3.0]) # 使用初始化器 initializer op 的 run() 方法初始化 'x' x.initializer.run() # 增加一個減法 sub op, 從 'x' 減去 'a'. 運行減法 op, 輸出結果 sub = tf.sub(x, a) print sub.eval() # ==> [-2. -1.]
2.tf.reduce_sum
首先,tf.reduce_X一系列運算操作(operation)是實現對一個tensor各種減少維度的數學計算.
tf.reduce_sum(input_tensor, reduction_indices=None,keep_dims=False, name=None)
運算功能:沿著給定維度reduction_indices的方向降低input_tensor的維度,除非keep_dims=True,tensor的秩在reduction_indices上減1,被降低的維度的長度為1.如果reduction_indices沒有傳入參數,所有維度都降低,返回只含有1個元素的tensor.運算最終返回降維后的tensor.
演示代碼:
# 'x' is [[1, 1, 1] # [1, 1, 1]] tf.reduce_sum(x) ==> 6 tf.reduce_sum(x, 0) ==> [2, 2, 2] tf.reduce_sum(x, 1) ==> [3, 3] tf.reduce_sum(x, 1, keep_dims=True) ==> [[3], [3]] tf.reduce_sum(x, [0, 1]) ==> 6
3.tf.reduce_mean
tf.reduce_mean(input_tensor, reduction_indices=None,keep_dims=False, name=None)
運算功能:將input_tensor沿著給定維度reduction_indices減少維度,除非keep_dims=True,tensor的秩在reduction_indices上減1,被降低的維度的長度為1.如果reduction_indices沒有傳入參數,所有維度都降低,返回只含有1個元素的tensor.運算最終返回降維后的tensor.
演示代碼:
# 'x' is [[1., 1. ] # [2., 2.]] tf.reduce_mean(x) ==> 1.5 tf.reduce_mean(x, 0) ==> [1.5, 1.5] tf.reduce_mean(x, 1) ==> [1., 2.]
4.tf.argmax
tf.argmax(input, dimension, name=None)
運算功能:返回input在指定維度下的大值的索引.返回類型為int64.
感謝各位的閱讀!關于“TensorFlow如何實現Softmax回歸模型”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
分享文章:TensorFlow如何實現Softmax回歸模型-創(chuàng)新互聯(lián)
網站鏈接:http://muchs.cn/article38/cdcosp.html
成都網站建設公司_創(chuàng)新互聯(lián),為您提供品牌網站設計、App設計、響應式網站、動態(tài)網站、定制開發(fā)、小程序開發(fā)
聲明:本網站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)