如何解決TensorFlow訓練內(nèi)存不斷增長,進程被殺死的問題-創(chuàng)新互聯(lián)

這篇文章主要為大家展示了“如何解決TensorFlow訓練內(nèi)存不斷增長,進程被殺死的問題”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“如何解決TensorFlow訓練內(nèi)存不斷增長,進程被殺死的問題”這篇文章吧。

成都創(chuàng)新互聯(lián)堅持“要么做到,要么別承諾”的工作理念,服務領域包括:成都網(wǎng)站制作、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務,滿足客戶于互聯(lián)網(wǎng)時代的輝南網(wǎng)站設計、移動媒體設計的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡建設合作伙伴!

TensorFlow訓練時,遇到內(nèi)存不斷增長,最終導致內(nèi)存不足,進程被殺死。

在這里我不準備對造成這一現(xiàn)象的所有原因進行探討,只是記錄一下我在項目中遇到的這一問題,下面將對我遇到的內(nèi)存不斷增長的原因進行分析。

在TensorFlow中構造圖,是將一些op作為節(jié)點加入圖中,在run之前,是需要構造好一個圖的,所以在run的時候,如果run圖中不存在的節(jié)點,TensorFlow就會將節(jié)點加入圖中,隨著不斷的迭代,造成內(nèi)存不斷的增長,從而導致內(nèi)存不足。

下面舉一個很容易發(fā)現(xiàn)這個問題的例子:

import tensorflow as tf
x = tf.Variable(tf.constant(1))
y = tf.constant(2)
sess = tf.Session()
sess.run(tf.global_variables_initializer())
while True:
 print(sess.run(x+y))

在上面的例子中,x,y是圖中的兩個節(jié)點,在while循環(huán)中run(x)或者run(y)都是不存在問題的,但是上例中我們使用的時run(x+y),而在TensorFlow的圖中是不存在x+y這個節(jié)點的,所以在run的時候,圖中會不斷的創(chuàng)建該節(jié)點,最終導致了內(nèi)存不足。這個例子很容易理解,這樣的問題也很容易發(fā)現(xiàn)。

下面,將舉一個不是那么容易發(fā)現(xiàn)的問題:

import tensorflow as tf
test = tf.get_variable('test', shape=[4, 1], initializer=tf.random_normal_initializer(stddev=0.1))
init_op = tf.global_variables_initializer()
with tf.Session() as sess:
 sess.run(init_op)
 print(sess.run(test[0]))

這個例子是創(chuàng)建一個shape為[4,1]的變量對象,test為圖中的一個節(jié)點,但是在我們實際使用時,我們可能并不需要test里的所有數(shù)據(jù),加入只需要一個數(shù)據(jù)test[0],當我們使用run(test[0])時,test[0]并不是圖中的節(jié)點,該節(jié)點就會在圖中創(chuàng)建。上面的例子并沒有使用循環(huán),所以增加了節(jié)點,但是也不會造成內(nèi)存的不足,當使用了循環(huán)時,就需要注意了。

解決辦法:run圖中存在的節(jié)點,對返回的結果進行處理,得到想要的結果,不要在run里面對節(jié)點處理(處理后的節(jié)點可能不是圖中的節(jié)點)。

以上是“如何解決TensorFlow訓練內(nèi)存不斷增長,進程被殺死的問題”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學習更多知識,歡迎關注創(chuàng)新互聯(lián)成都網(wǎng)站設計公司行業(yè)資訊頻道!

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。

文章標題:如何解決TensorFlow訓練內(nèi)存不斷增長,進程被殺死的問題-創(chuàng)新互聯(lián)
網(wǎng)頁網(wǎng)址:http://muchs.cn/article16/ddphdg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站制作網(wǎng)站營銷、移動網(wǎng)站建設企業(yè)建站、域名注冊、建站公司

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

成都做網(wǎng)站