怎么把PyTorchLightning模型部署到生產(chǎn)中

這篇文章主要講解了“怎么把PyTorch Lightning模型部署到生產(chǎn)中”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“怎么把PyTorch Lightning模型部署到生產(chǎn)中”吧！

企業(yè)建站必須是能夠以充分展現(xiàn)企業(yè)形象為主要目的，是企業(yè)文化與產(chǎn)品對(duì)外擴(kuò)展宣傳的重要窗口，一個(gè)合格的網(wǎng)站不僅僅能為公司帶來巨大的互聯(lián)網(wǎng)上的收集和信息發(fā)布平臺(tái)，創(chuàng)新互聯(lián)公司面向各種領(lǐng)域：成都門簾等成都網(wǎng)站設(shè)計(jì)公司、營(yíng)銷型網(wǎng)站解決方案、網(wǎng)站設(shè)計(jì)等建站排名服務(wù)。

部署PyTorch Lightning模型進(jìn)行推理的每種方法

有三種方法可以導(dǎo)出PyTorch Lightning模型進(jìn)行投放：

• 將模型另存為PyTorch檢查點(diǎn)

• 將模型轉(zhuǎn)換為ONNX

• 將模型導(dǎo)出到Torchscript

我們可以通過Cortex為這三個(gè)服務(wù)。

1.直接打包和部署PyTorch Lightning模塊

從最簡(jiǎn)單的方法開始，讓我們部署一個(gè)沒有任何轉(zhuǎn)換步驟的PyTorch Lightning模型。

PyTorch Lightning Trainer是一個(gè)抽象樣板訓(xùn)練代碼（思考訓(xùn)練和驗(yàn)證步驟）的類，它具有內(nèi)置的save_checkpoint（）函數(shù)，該函數(shù)會(huì)將您的模型另存為.ckpt文件。要將模型保存為檢查點(diǎn)，只需將以下代碼添加到訓(xùn)練腳本中：

現(xiàn)在，在我們開始為該檢查點(diǎn)提供服務(wù)之前，需要注意的是，雖然我一直說“ PyTorch Lightning模型”，但PyTorch Lightning是PyTorch的包裝器-項(xiàng)目的README字面意思是“ PyTorch Lightning只是有組織的PyTorch?！?nbsp;因此，導(dǎo)出的模型是普通的PyTorch模型，可以相應(yīng)地使用。

有了保存的檢查點(diǎn)，我們可以在Cortex中輕松地為模型提供服務(wù)。如果您不熟悉Cortex，可以 在這里快速熟悉一下，但是Cortex部署過程的簡(jiǎn)單概述是：

• 我們使用Python為我們的模型編寫了一個(gè)預(yù)測(cè)API

• 我們?cè)赮AML中定義我們的API基礎(chǔ)結(jié)構(gòu)和行為

• 我們使用CLI中的命令部署API

我們的預(yù)測(cè)API將使用Cortex的Python Predictor類定義一個(gè)init（）函數(shù)來初始化我們的API并加載模型，并使用一個(gè)define（）函數(shù)在查詢時(shí)提供預(yù)測(cè)：

很簡(jiǎn)單 我們從訓(xùn)練代碼中重新調(diào)整了一些代碼的用途，添加了一些推理邏輯，僅此而已。需要注意的一件事是，如果將模型上傳到S3（推薦），則需要添加一些邏輯來訪問它。

接下來，我們?cè)赮AML中配置基礎(chǔ)架構(gòu)：

再次，簡(jiǎn)單。我們給我們的API起個(gè)名字，告訴Cortex我們的預(yù)測(cè)API在哪里，并分配一些CPU。

接下來，我們部署它：

請(qǐng)注意，我們還可以部署到集群，由Cortex加速和管理：

在所有部署中，Cortex都會(huì)容器化我們的API并將其公開為Web服務(wù)。通過云部署，Cortex可以配置負(fù)載平衡，自動(dòng)擴(kuò)展，監(jiān)視，更新和許多其他基礎(chǔ)架構(gòu)功能。

就是這樣！現(xiàn)在，我們有一個(gè)實(shí)時(shí)Web API，可根據(jù)要求提供模型預(yù)測(cè)。

2.導(dǎo)出到ONNX并通過ONNX運(yùn)行時(shí)進(jìn)行投放

現(xiàn)在，我們已經(jīng)部署了一個(gè)普通的PyTorch檢查點(diǎn)，讓事情復(fù)雜一些。

PyTorch Lightning最近添加了一個(gè)方便的抽象，用于將模型導(dǎo)出到ONNX（以前，您可以使用PyTorch的內(nèi)置轉(zhuǎn)換功能，盡管它們需要更多樣板）。要將模型導(dǎo)出到ONNX，只需將以下代碼添加到您的訓(xùn)練腳本中：

請(qǐng)注意，您的輸入樣本應(yīng)模仿實(shí)際模型輸入的形狀。

導(dǎo)出ONNX模型后，就可以使用Cortex的ONNX Predictor為其提供服務(wù)。代碼基本上看起來是相同的，并且過程是相同的。例如，這是一個(gè)ONNX預(yù)測(cè)API：

基本上一樣。唯一的區(qū)別是，我們不是通過直接初始化模型，而是通過onnx_client訪問該數(shù)據(jù)，這是Cortex為服務(wù)于我們的模型而啟動(dòng)的ONNX運(yùn)行時(shí)容器。

我們的YAML看起來也很相似：

我在此處添加了一個(gè)監(jiān)視標(biāo)志，目的只是為了顯示配置的簡(jiǎn)便程度，并且有一些ONNX特定字段，但其他方面都是相同的YAML。

最后，我們使用與之前相同的$ cortex deploy命令進(jìn)行部署，并且我們的ONNX API已啟用。

3.使用Torchscript的JIT編譯器進(jìn)行序列化

對(duì)于最終部署，我們將把PyTorch Lightning模型導(dǎo)出到Torchscript并使用PyTorch的JIT編譯器提供服務(wù)。要導(dǎo)出模型，只需將其添加到您的訓(xùn)練腳本中：

用于此目的的Python API與原始PyTorch示例幾乎相同：

YAML保持與以前相同，并且CLI命令當(dāng)然是一致的。如果需要的話，我們實(shí)際上可以更新我們以前的PyTorch API來使用新模型，只需將新的舊的dictor.py腳本替換為新的腳本，然后再次運(yùn)行$ cortex部署：

Cortex在此處自動(dòng)執(zhí)行滾動(dòng)更新，在該更新中，新的API會(huì)被啟動(dòng)，然后與舊的API交換，從而避免了模型更新之間的任何停機(jī)時(shí)間。

這就是全部。現(xiàn)在，您已經(jīng)具有用于實(shí)時(shí)推理的完全可操作的預(yù)測(cè)API，可根據(jù)Torchscript模型提供預(yù)測(cè)。

感謝各位的閱讀，以上就是“怎么把PyTorch Lightning模型部署到生產(chǎn)中”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)怎么把PyTorch Lightning模型部署到生產(chǎn)中這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

分享文章：怎么把PyTorchLightning模型部署到生產(chǎn)中
URL分享：http://muchs.cn/article8/pdjdip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、網(wǎng)站制作、用戶體驗(yàn)、做網(wǎng)站、網(wǎng)站排名、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)