對tensorflow模型進行壓縮時需要注意哪些問題-創(chuàng)新互聯(lián)

這期內(nèi)容當中小編將會給大家?guī)碛嘘P(guān)對tensorflow模型進行壓縮時需要注意哪些問題，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

成都創(chuàng)新互聯(lián)成都網(wǎng)站建設(shè)定制制作，是成都網(wǎng)站建設(shè)公司,為成都茶樓設(shè)計提供網(wǎng)站建設(shè)服務(wù),有成熟的網(wǎng)站定制合作流程，提供網(wǎng)站定制設(shè)計服務(wù)：原型圖制作、網(wǎng)站創(chuàng)意設(shè)計、前端HTML5制作、后臺程序開發(fā)等。成都網(wǎng)站改版熱線：13518219792

1.安裝bazel，從github上下載linux版的.sh文件，然后安裝

2.從GitHub上下載新的TensorFlow源碼

3.進入TensorFlow源碼文件夾，輸入命令

bazel build tensorflow/tools/graph_transforms:transform_graph

這里會遇到各種坑，比如

ERROR: /opt/tf/tensorflow-master/tensorflow/core/kernels/BUILD:3044:1: C++ compilation of rule ‘//tensorflow/core/kernels:matrix_square_root_op' failed (Exit 4)

gcc: internal compiler error: Killed (program cc1plus)

這個錯誤是cpu負荷太大，需要加行代碼

# 生成swap鏡像文件
sudo dd if=/dev/zero of=/mnt/512Mb.swap bs=1M count=512
# 對該鏡像文件格式化
sudo mkswap /mnt/512Mb.swap
# 掛載該鏡像文件 
sudo swapon /mnt/512Mb.swap

又或者這個@aws Error downloading

我看csdn有的博主解決方法是去臨時文件夾刪掉文件重新下載，但是我這邊發(fā)現(xiàn)沒用，我這邊的解決方法是運行bazel前先輸入一條命令：

sed -i '\@https://github.com/aws/aws-sdk-cpp/archive/1.5.8.tar.gz@aws' tensorflow/workspace.bzl

命令里的網(wǎng)址就是實際要下載的文件的地址，因為有的地址可能改了

到這里編譯bazel就完成了

4.編譯完了就可以模型壓縮了，也是一行代碼，in_graph為輸入模型路徑，outputs不動，out_graph為輸出模型路徑，transforms就填一個quantize_weights就可以了，這個就是把32bit轉(zhuǎn)成8bit的，也是此方法最有效的一步；我看有的博主還先編譯summary然后打印出輸入輸出結(jié)點，之后再輸入一大堆參數(shù)，還刪除一些結(jié)點啥的，我這邊都試了，最終也并沒有更縮減模型大小，所以就這樣就可以了。

bazel-bin/tensorflow/tools/graph_transforms/transform_graph --in_graph=../model/ctpn.pb  --outputs='output_node_name'  --out_graph=../model/quantized_ctpn.pb  --transforms='quantize_weights'

最終從68m縮減到17m，75%的縮減比例，實測效果基本沒啥差別，這方法還是很管用的。

補充：模型壓縮一二三之tensorflow查看ckpt模型里的參數(shù)和數(shù)值

查看ckpt模型參數(shù)和數(shù)值

import os
from tensorflow.python import pywrap_tensorflow
checkpoint_path = os.path.join("<你的模型的目錄>", "./model.ckpt-11000") 
# Read data from checkpoint file
reader = pywrap_tensorflow.NewCheckpointReader(checkpoint_path)
var_to_shape_map = reader.get_variable_to_shape_map()
# Print tensor name and values
for key in var_to_shape_map:
 print("tensor_name: ", key)
 print(reader.get_tensor(key))

注意：

1、"<你的模型目錄>“是指你的meta、ckpt這些模型存儲的路徑。

比如路徑”/models/model.ckpt-11000.meta"這種，那么"<你的模型目錄>“就是”/models"

2、當目錄下有多個ckpt時，取新的model名字到ckpt-<較大數(shù)字>就可以了，后面不用了。

上述就是小編為大家分享的對tensorflow模型進行壓縮時需要注意哪些問題了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享文章：對tensorflow模型進行壓縮時需要注意哪些問題-創(chuàng)新互聯(lián)
URL標題：http://muchs.cn/article22/eihjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計公司、搜索引擎優(yōu)化、手機網(wǎng)站建設(shè)、動態(tài)網(wǎng)站、企業(yè)網(wǎng)站制作、網(wǎng)站維護

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)