如何理解MaxComputeStudio的使用

今天就跟大家聊聊有關如何理解MaxCompute Studio的使用，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

創(chuàng)新互聯(lián)是一家從事企業(yè)網(wǎng)站建設、成都做網(wǎng)站、成都網(wǎng)站建設、行業(yè)門戶網(wǎng)站建設、網(wǎng)頁設計制作的專業(yè)網(wǎng)站設計公司，擁有經(jīng)驗豐富的網(wǎng)站建設工程師和網(wǎng)頁設計人員，具備各種規(guī)模與類型網(wǎng)站建設的實力，在網(wǎng)站建設領域樹立了自己獨特的設計風格。自公司成立以來曾獨立設計制作的站點上千家。

MaxCompute Studio 是MaxCompute 平臺提供的安裝在開發(fā)者客戶端的大數(shù)據(jù)集成開發(fā)環(huán)境工具，是一套基于流行的集成開發(fā)平臺 IntelliJ IDEA 的開發(fā)插件，可以幫助您方便地進行數(shù)據(jù)開發(fā)。下面我們一起來看一看Studio的簡單用法。

用戶登錄

Studio提供用戶登錄功能。常規(guī)登錄入口在Intellij toolbar中右上角的Sign In。登錄完成后可直接使用答疑機器人、添加D2項目、同步D2等功能。

答疑機器人

點擊右側(cè)“FAQ Robot”按鈕，進入答疑機器人頁面，如下圖所示。答疑機器人支持自助答疑和人工答疑兩種方式，支持圖片和文件上傳，如果對自助答疑的結(jié)果不滿意，可以在聊天框發(fā)送“人工”呼叫ODPS值班同學?；蛘咧苯影l(fā)送圖片或文件喚起人工服務。

資源管理

Studio 的一大核心功能就是瀏覽 MaxCompute 項目空間（Project）的資源，包括 Table、UDF、Resource 等。為了能夠在 Studio 中訪問它們，以及其它很多功能，我們首先需要在新建項目連接。在Project Explorer中點擊"+"添加連接，目前Studio支持同步D2項目和通過accessId/Key添加項目連接。

建立項目空間連接后，可以瀏覽Table&View、Function、Resource等項目資源，雙擊對應的元素可以在Intellij中查看資源詳情。

Table

雙擊打開某個table，如下圖所示。有兩個tab頁面，“表信息”頁面如下如所示，該頁面展示table的基本信息、schema信息，提供數(shù)據(jù)預覽功能。

選擇對應的分區(qū)，設置預覽行數(shù)，點擊“預覽”按鈕可以進行數(shù)據(jù)預覽。同時，右鍵點擊表頭支持數(shù)據(jù)導入/導出功能。

“分區(qū)信息”頁面如下所示，顯示分區(qū)的詳細信息，提供分區(qū)的查詢、刷新功能。同時提供導出分區(qū)信息、分區(qū)數(shù)據(jù)導入導出等功能。

在project explorer中右鍵點擊某張表，可以看到建表、改表、數(shù)據(jù)操作等一系列比較實用的功能。

右鍵點擊某個table選擇“open table editor”可以對表信息進行相應修改，如下圖所示，Studio可以將用戶操作轉(zhuǎn)化為對應的SQL語句。

Functions

 Functions分為BuiltIn Function和UserDefied Function, 雙擊對應的function可以展開詳情：

Resources

雙擊對應的resource，可以在editor中打開文件。對于UDF文件數(shù)大于5的情況，只打開前5個class。

可以通過如下途徑添加resource：

SQL編輯器與作業(yè)提交

如何幫助用戶高效愉快的編寫SQL是MaxCompute studio的核心使命，下面就讓我們來一起看一下SQL編輯器的使用。首先需要創(chuàng)建一個MaxCompute Script Module，如下圖所示：

Module創(chuàng)建完成后，新建SQL腳本文件如下圖所示。

最后雙擊SQL文件就可以進行我們的腳本開發(fā)了，這里可以自己設置模式(單句模式|腳本模式)、系統(tǒng)類型（舊有系統(tǒng)類型|MaxCompute系統(tǒng)|Hive系統(tǒng)）、編譯器類型（默認編譯器|實驗性編譯器）等。右上角需要選擇對應的project。

下圖所示三個按鈕分別表示將SQL同步到D2，在Cosonle中打開ODPS CMD，打開SQL History。

SQL編輯完成后，點擊下方的graph tab按鈕，可以顯示該SQL的執(zhí)行計劃，雙擊Task節(jié)點會展開對應的Operator級別的信息。

點擊綠色的提交按鈕，Studio會先編譯腳本，編譯通過后提交Server后顯示運行信息并打開Job分析頁面，如下圖所示：

作業(yè)詳情

上面我們說到了如何編輯SQL和提交作業(yè)，接下來一起看看如何查看作業(yè)詳情。作業(yè)詳情頁可以通過多條路徑打開，比如上面說到的提交作業(yè)，會自動打開作業(yè)詳情頁。其次通過Job Explorer也可以打開作業(yè)詳情頁，再有就是如果已經(jīng)知道logview，可以通過logview打開作業(yè)詳情頁，如下圖所示：

作業(yè)詳情頁面分為兩部分，左側(cè)是作業(yè)的一些基本信息，右側(cè)包含多個tab頁，包含graph信息、時序圖、詳情、腳本、摘要、結(jié)果、分析等內(nèi)容。下面對graph圖、時序圖、詳情頁和作業(yè)分析進行進一步介紹。

graph頁面

graph頁面展示作業(yè)的Job|Task|Operator三層結(jié)構(gòu)。點擊左上角的導航可切換不同level的視圖，雙擊Job節(jié)點進入Task視圖，雙擊Task節(jié)點進入Operator視圖。

graph頁面用戶可以通過鼠標滾輪或者左側(cè)縮放按鈕對圖像進行縮放，同時提供鷹眼和拖拽等功能。點擊task節(jié)點顯示task級別信息，點擊task之間連線顯示schema信息。

 

在task level視圖中右鍵點擊節(jié)點，選擇"expand all"展開所有的operator。

同時，單擊table節(jié)點會顯示table的基本信息和分區(qū)信息，雙擊table節(jié)點會跳轉(zhuǎn)到對應的table詳情頁。

時序圖

時序圖畫的是所有Fuxi Instance的甘特圖，通過時序圖可以對作業(yè)的運行時間等進行詳細的分析，左側(cè)的Filter可以對instances進行過濾，鼠標懸停到對應的instance上會顯示對應的信息，雙擊則會跳轉(zhuǎn)到"詳情”tab頁并選中對應的instance，對用戶分析十分方便。同時時序圖支持縮放功能。

詳情頁

詳情頁展示的是Task級別和Instance級別的詳細信息。

作業(yè)分析頁面

作業(yè)分析頁面提供作業(yè)分析的結(jié)論，比如長尾節(jié)點、數(shù)據(jù)傾斜等。并提供散點圖、長尾圖和數(shù)據(jù)傾斜圖供用戶分析。

作業(yè)隊列

Maxcompute 作業(yè)從提交到開始執(zhí)行之前，需要經(jīng)歷很多狀態(tài)，如：執(zhí)行編譯、優(yōu)化、排隊等待資源等。作業(yè)隊列提供了查看當前詳細狀態(tài)的功能。對于正在排隊等待調(diào)度的作業(yè)，可也從隊列窗口中查看排隊位置和前序作業(yè)等信息。點擊"Job Explorer"打開作業(yè)隊列頁面，該頁面提供了項目名稱、狀態(tài)、日期等Filter，選擇對應的條件后會得到對應的作業(yè)隊列，雙擊某一個作業(yè)會打開對應的作業(yè)詳情頁面。

看完上述內(nèi)容，你們對如何理解MaxCompute Studio的使用有進一步的了解嗎？如果還想了解更多知識或者相關內(nèi)容，請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

名稱欄目：如何理解MaxComputeStudio的使用
轉(zhuǎn)載來于：http://muchs.cn/article26/ijdocg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供云服務器、網(wǎng)站排名、網(wǎng)站建設、響應式網(wǎng)站、標簽優(yōu)化、網(wǎng)頁設計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)