精準(zhǔn)測(cè)試白皮書v3.0－2019最新版-創(chuàng)新互聯(lián)

精準(zhǔn)測(cè)試誕生的背景

現(xiàn)代社會(huì)是建立在各種以計(jì)算機(jī)為基石的軟件技術(shù)基礎(chǔ)之上的。隨著日新月異的需求變化，軟件系統(tǒng)越來越復(fù)雜。很多人覺得軟件開發(fā)才是重要環(huán)節(jié)，但實(shí)際上，無法對(duì)大型軟件進(jìn)行有效的質(zhì)量把控，就無法真正構(gòu)建與維護(hù)大型軟件?！到y(tǒng)中任何一個(gè)錯(cuò)誤都可能導(dǎo)致整個(gè)系統(tǒng)的崩潰，造成無法彌補(bǔ)的損失，系統(tǒng)的任何一個(gè)微小的修改都可能引入新的缺陷導(dǎo)致維護(hù)困難重重。

站在用戶的角度思考問題，與客戶深入溝通，找到嘉黎網(wǎng)站設(shè)計(jì)與嘉黎網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：做網(wǎng)站、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名申請(qǐng)、網(wǎng)絡(luò)空間、企業(yè)郵箱。業(yè)務(wù)覆蓋嘉黎地區(qū)。

然而，如何從極端龐大復(fù)雜的系統(tǒng)中迅速及時(shí)地找到故障所在，卻是行業(yè)的一大難點(diǎn)。目前國(guó)內(nèi)軟件測(cè)試基本處于兩種狀態(tài)：一是絕大多數(shù)企業(yè)采用功能（黑盒）測(cè)試，二是部分對(duì)軟件產(chǎn)品有高可靠性要求的關(guān)鍵軟件，企業(yè)會(huì)使用代碼級(jí)的白盒測(cè)試工具，但這兩種傳統(tǒng)的測(cè)試辦法在目前的軟件智能化趨勢(shì)下，更像是用竹竿打怪獸，完全沒辦法應(yīng)付的。

功能（黑盒）測(cè)試，測(cè)試者看不到程序內(nèi)部邏輯結(jié)構(gòu)，這種辦法對(duì)軟件可靠性要求不高的應(yīng)用來講問題不是很大，但是對(duì)于大型金融保險(xiǎn)、工業(yè)軟件、航天軍工等關(guān)鍵系統(tǒng)就意味著時(shí)刻攜帶隱形的巨大風(fēng)險(xiǎn)。為此，功能測(cè)試后期需要極高的人力投入才能完成復(fù)雜邏輯的用例分析和設(shè)計(jì)。然而對(duì)于黑盒測(cè)試來說，由于我們無法獲知內(nèi)部的邏輯構(gòu)造，程序越大，殺蟲劑效應(yīng)越明顯。而行業(yè)內(nèi)當(dāng)作銀彈的自動(dòng)化測(cè)試，當(dāng)自動(dòng)化程序本身規(guī)模擴(kuò)大以后，它的維護(hù)本身就存在了很嚴(yán)重的問題。

代碼級(jí)（白盒）測(cè)試工具一般重點(diǎn)應(yīng)用在研發(fā)階段的單元測(cè)試上，滿足了客戶的部分高可靠性需求，但由于其價(jià)格高昂、技術(shù)老化，僅適合于小規(guī)模迭代瀑布式開發(fā)的軟件，無法完成復(fù)雜的系統(tǒng)級(jí)別的測(cè)試以及分布式基于云的測(cè)試，更無法適應(yīng)敏捷迭代的開發(fā)模式。而且值得一提的是，目前白盒測(cè)試工具基本都是國(guó)外產(chǎn)品，通常這些產(chǎn)品無法完成深度的定制化功能以及快速的用戶響應(yīng)，代碼安全也是一個(gè)較大的問題。

隨著國(guó)內(nèi)軍民各項(xiàng)大型核心軟件系統(tǒng)的上馬，研發(fā)一種面向高復(fù)雜度大型軟件、自主可控的高性能智能精準(zhǔn)測(cè)試平臺(tái)，顯得迫在眉睫。正是在這種時(shí)代背景下，2012年初，星云測(cè)試團(tuán)隊(duì)開始心無旁騖的研發(fā)征程。精準(zhǔn)測(cè)試是個(gè)交叉學(xué)科，里面涉及到編譯器、測(cè)試分析、圖形技術(shù)、高性能通信與存儲(chǔ)，軟件的研發(fā)等多項(xiàng)底層技術(shù)。經(jīng)歷無數(shù)個(gè)不眠之夜對(duì)技術(shù)難點(diǎn)突破的煎熬與最佳解決方案的反復(fù)推敲，星云精準(zhǔn)測(cè)試產(chǎn)品在諸多方面率先實(shí)現(xiàn)了重大技術(shù)創(chuàng)新，成功突破了白盒測(cè)試使用難度大、價(jià)格高昂的桎梏，有效消弭了國(guó)外高端測(cè)試產(chǎn)品壟斷的壁壘。星云精準(zhǔn)測(cè)試產(chǎn)品更偏向于軟件測(cè)試業(yè)界的“灰盒測(cè)試”，即用簡(jiǎn)單的黑盒操作辦法，可以同時(shí)得到單元級(jí)和系統(tǒng)級(jí)的精準(zhǔn)測(cè)試數(shù)據(jù)。

“星云精準(zhǔn)測(cè)試”在眾多性能上大幅超越國(guó)外進(jìn)口高端白盒測(cè)試工具產(chǎn)品，并在數(shù)據(jù)追溯、覆蓋率可視化、智能回歸、智能缺陷定位、分布式數(shù)據(jù)穿透與追蹤等特性上有突出貢獻(xiàn)?！靶窃凭珳?zhǔn)測(cè)試VIP大企業(yè)離線版云平臺(tái)”在整體測(cè)試功能上的優(yōu)異特性，成功獲得了一批重要大型企業(yè)的高度認(rèn)可及產(chǎn)品采購(gòu)。

星云精準(zhǔn)測(cè)試的首發(fā)版本為：穿線測(cè)試ThreadingTest，2014年6月6日上線，側(cè)重于系統(tǒng)級(jí)白盒測(cè)試技術(shù)，測(cè)試用例和代碼邏輯的雙向追溯技術(shù)，測(cè)試示波器技術(shù)，覆蓋率可視化技術(shù)。2015年8月6日，“穿線測(cè)試”正式更名為“星云精準(zhǔn)測(cè)試”。在繼承穿線測(cè)試整體技術(shù)上，星云精準(zhǔn)測(cè)試增強(qiáng)了回歸測(cè)試用例的自動(dòng)選取技術(shù)，缺陷最后執(zhí)行時(shí)序分析、智能缺陷定位、敏捷環(huán)境下多版本白盒測(cè)試數(shù)據(jù)的聚合、聚類分析、結(jié)合代碼結(jié)構(gòu)與動(dòng)態(tài)數(shù)據(jù)的測(cè)試漏洞檢出、代碼安全特性，全面的測(cè)試管理特性等幾十種優(yōu)秀功能。目前有“星云精準(zhǔn)測(cè)試VIP大企業(yè)離線版云平臺(tái)”、“星云精準(zhǔn)測(cè)試PASS在線云平臺(tái)www.teststars.cc“、“全自動(dòng)測(cè)試用例驅(qū)動(dòng)生成系統(tǒng)Wings”等多種工具產(chǎn)品。

星云精準(zhǔn)測(cè)試旗下產(chǎn)品平臺(tái)有Horn、Paw、Shell、Wings等系列產(chǎn)品。適用語言和平臺(tái)暫為：Java、Object-C、C89、C99、C++0X11、C#等；適用平臺(tái)：Android、J2EE（、Web）、Java
Desktop、iOS、MacOS、Linux（X86、X64、mips、arm、powerpc、UNIX(AIX)、VXworks、Windows(visualstudio.net)、Windows操作系統(tǒng)、WinCE嵌入式平臺(tái)等。為響應(yīng)廣大用戶的需求，目前正在進(jìn)一步擴(kuò)展適應(yīng)的語言和平臺(tái)覆蓋面。

通過精準(zhǔn)測(cè)試，即繼承了傳統(tǒng)功能測(cè)試前期的高效率運(yùn)行區(qū)間，又能在后期通過系統(tǒng)的數(shù)據(jù)，讓開發(fā)、測(cè)試充分協(xié)同，完成全程高效的測(cè)試。

（1）將測(cè)試團(tuán)隊(duì)的價(jià)值放大，能夠?qū)㈤_發(fā)與測(cè)試更加緊密的連接起來，互為支撐。

（2）采用精準(zhǔn)、可信測(cè)試技術(shù)，測(cè)試管理的難度大幅度降低。

（3）降低企業(yè)對(duì)人員的過度依賴，通過系統(tǒng)適應(yīng)人員的變更。

　　　　　　　　　　　圖1-1 精準(zhǔn)測(cè)試在大型系統(tǒng)的效率運(yùn)行分析

星云精準(zhǔn)測(cè)試，既保證了傳統(tǒng)功能測(cè)試前期的高效率運(yùn)行區(qū)間，又能在后期通過系統(tǒng)的數(shù)據(jù)，讓開發(fā)、測(cè)試充分協(xié)同，完成全程高效的自動(dòng)化精準(zhǔn)測(cè)試。

第二章 精準(zhǔn)測(cè)試的定義

精準(zhǔn)測(cè)試：是一種國(guó)際首創(chuàng)的軟件測(cè)試技術(shù)，旨在建立大型軟件系統(tǒng)的測(cè)試數(shù)據(jù)與源代碼之間高度的可視化追溯機(jī)制，實(shí)現(xiàn)精準(zhǔn)缺陷預(yù)防及定位。它有力的打破了軟件開發(fā)、測(cè)試、維護(hù)及管理人員等之間的數(shù)據(jù)交流屏障，支持超大型應(yīng)用從開發(fā)、迭代、維護(hù)全流程的可視化精準(zhǔn)測(cè)試跟蹤和測(cè)試分析。即使是初級(jí)測(cè)試人員也能易于學(xué)習(xí)掌握，用黑盒測(cè)試的方法實(shí)現(xiàn)精準(zhǔn)化測(cè)試。

精準(zhǔn)測(cè)試使軟件測(cè)試從完全依賴人工記錄、驗(yàn)證，轉(zhuǎn)換為機(jī)器智能的全過程精準(zhǔn)、可視、可信的全新檢測(cè)模式。精準(zhǔn)測(cè)試數(shù)據(jù)和黑盒測(cè)試優(yōu)雅對(duì)接，在不改變常規(guī)測(cè)試流程的情況下，就可以獲得大量的精準(zhǔn)分析數(shù)據(jù)，并直接引導(dǎo)用戶進(jìn)行高效的后續(xù)測(cè)試與質(zhì)量風(fēng)險(xiǎn)評(píng)估。用戶手動(dòng)“點(diǎn)測(cè)“或者與自動(dòng)化對(duì)接被測(cè)試應(yīng)用的同時(shí)，可以快速記錄對(duì)應(yīng)的代碼執(zhí)行邏輯并實(shí)施同步運(yùn)算和分析，給出被測(cè)試應(yīng)用的質(zhì)量診斷報(bào)告。例如測(cè)試過程中的關(guān)鍵模塊漏測(cè)分析、測(cè)試充分度度量、代碼靜態(tài)質(zhì)量分析以及崩潰的代碼級(jí)的捕獲和分析等。

精準(zhǔn)測(cè)試有著超強(qiáng)的數(shù)據(jù)追溯機(jī)制，通過建立用例和代碼運(yùn)行時(shí)數(shù)據(jù)的映射關(guān)系，能夠很好的協(xié)同開發(fā)和測(cè)試工作；它適用于當(dāng)前流行的敏捷開發(fā)、測(cè)試體系，在版本迭代中，能夠準(zhǔn)確的計(jì)算出由于版本迭代影響和波及的測(cè)試用例，快速給出測(cè)試復(fù)雜度報(bào)告并核確定測(cè)試范圍優(yōu)先級(jí)，極大減少上線風(fēng)險(xiǎn)。在團(tuán)隊(duì)管理上，精準(zhǔn)測(cè)試亦產(chǎn)出數(shù)十張過程及管理的不同剖面報(bào)表，以滿足各級(jí)管理需求。

第三章 精準(zhǔn)測(cè)試的基礎(chǔ)架構(gòu)介紹 3.1 精準(zhǔn)測(cè)試的技術(shù)架構(gòu)

星云精準(zhǔn)測(cè)試的技術(shù)架構(gòu)：通過對(duì)源代碼的插裝分析出代碼的靜態(tài)結(jié)構(gòu)信息，運(yùn)行插裝后的代碼，測(cè)試工程師通過人工或自動(dòng)化的執(zhí)行用例，軟件示波器通過采集到的這些數(shù)據(jù)，進(jìn)行相關(guān)密集運(yùn)算，得到測(cè)試數(shù)據(jù)。結(jié)合之前已有的代碼靜態(tài)結(jié)構(gòu)信息，在星云客戶端可實(shí)現(xiàn)用例與函數(shù)直接的互相追溯，再通過星云測(cè)試工具的企業(yè)項(xiàng)功能，缺陷定位、用例聚類分析、回歸測(cè)試用例和最小測(cè)試用例集得到相應(yīng)的測(cè)試數(shù)據(jù)，星云測(cè)試通過報(bào)表的形式展示測(cè)試數(shù)據(jù)，導(dǎo)出批量測(cè)試報(bào)告。

精準(zhǔn)測(cè)試從某個(gè)層面來講，是賦予了測(cè)試用例真正的生命力，傳統(tǒng)的測(cè)試用例僅僅是一些只能夠依賴人去理解和分析的文本文件而已，在計(jì)算機(jī)和算法層面則沒有存在意義和價(jià)值。下圖是精準(zhǔn)測(cè)試的整體架構(gòu)圖：

　　　　　　　　　　　　　
　　　　　　　　　圖3-1-1 精準(zhǔn)測(cè)試的總體架構(gòu)圖

大家首先可能會(huì)比較好奇，“用例魔方”的概念是怎么來的？測(cè)試用例魔方是在精準(zhǔn)測(cè)試的設(shè)計(jì)、開發(fā)和商業(yè)實(shí)踐中自然產(chǎn)生的功能集合的一個(gè)統(tǒng)稱。當(dāng)我們把精準(zhǔn)測(cè)試的和用例分析相關(guān)的功能畫成架構(gòu)圖形表示的時(shí)候，它自然而然地看起來就像魔方，所謂“魔”則是精準(zhǔn)測(cè)試核心算法所賦予的超能力。
上圖是星云精準(zhǔn)測(cè)試系統(tǒng)的總體結(jié)構(gòu)圖，“測(cè)試魔方”即分布在左上角區(qū)域。大家知道精準(zhǔn)測(cè)試的核心技術(shù)是測(cè)試用例與代碼的追溯關(guān)系的建立，而在此之上就可以構(gòu)建測(cè)試魔方的核心功能區(qū)。如下：



　　　　　　　　　　　　　　圖3-1-2 精準(zhǔn)測(cè)試的測(cè)試魔方

所謂“方”實(shí)際上是代表測(cè)試用例的集合，每個(gè)測(cè)試用例用一個(gè)小方塊標(biāo)識(shí)，所有測(cè)試用例的集合用一個(gè)大方塊。精準(zhǔn)測(cè)試體系中，測(cè)試用例對(duì)應(yīng)的代碼邏輯都可以實(shí)現(xiàn)全自動(dòng)的追溯和存儲(chǔ)，因此測(cè)試用例就具備了進(jìn)行深入分析的基礎(chǔ)。在精準(zhǔn)測(cè)試的用例魔方中，目前存在三個(gè)面（隨著后續(xù)功能的增加，將增加分析的面），即回歸測(cè)試用例選取、測(cè)試用例聚類分析、測(cè)試用最小化，同時(shí)輔之以智能缺陷定位技術(shù)。下面對(duì)精準(zhǔn)測(cè)試的功能做詳細(xì)的說明。

3.2 軟件示波器

精準(zhǔn)測(cè)試采集到的測(cè)試數(shù)據(jù)在軟件示波器頁面，通過可視化的窗口展示，實(shí)時(shí)展示采集到的塊、條件和函數(shù)信息，在下方列表實(shí)時(shí)展示函數(shù)調(diào)用信息。軟件示波器采集到的測(cè)試數(shù)據(jù)，完美實(shí)現(xiàn)了用例與代碼的自動(dòng)關(guān)聯(lián)。通過測(cè)試數(shù)據(jù)的反向追溯分析，開發(fā)人員可進(jìn)行一致性修改，避免修改引入新的缺陷，通過正向追溯結(jié)果，開發(fā)可對(duì)用例的執(zhí)行進(jìn)行全面掌握，可用于快速修復(fù)缺陷和詳細(xì)實(shí)現(xiàn)確認(rèn)。

用例與代碼的在追溯是精準(zhǔn)測(cè)試的基礎(chǔ)功能，后面的高級(jí)算法都在這個(gè)基礎(chǔ)上展開，用例和代碼的追溯就像一個(gè)全景的調(diào)試器，只要功能由測(cè)試人員進(jìn)過運(yùn)行，所有的內(nèi)部代碼執(zhí)行邏輯瞬間就可以展示出來。

軟件示波器中的測(cè)試用例可以從現(xiàn)有的測(cè)試管理系統(tǒng)導(dǎo)入進(jìn)來，當(dāng)準(zhǔn)備開始執(zhí)行一個(gè)用例的時(shí)候，選中用例點(diǎn)擊開始，然后驅(qū)動(dòng)被測(cè)試系統(tǒng)運(yùn)行，那么軟件示波器就會(huì)采集到程序內(nèi)部運(yùn)行邏輯對(duì)應(yīng)的波形信息，當(dāng)用例執(zhí)行結(jié)束，點(diǎn)擊停止。這個(gè)用例運(yùn)行階段的數(shù)據(jù)，通過開始和結(jié)束的邊界就記錄下來了。

軟件示波器主要起到有效的可視化測(cè)試過程的作用。在執(zhí)行用例過程中，如果沒有采集到測(cè)試數(shù)據(jù)或者程序出現(xiàn)崩潰的情況，軟件示波器就像人的心臟并沒有跳動(dòng)一樣，一根橫線拉直。正常采集到數(shù)據(jù)，將有持續(xù)的波形展示出來，高效而精準(zhǔn)地監(jiān)控到程序細(xì)微的運(yùn)行狀況。它可以精密捕獲每個(gè)軟件單元任何微小的運(yùn)行波動(dòng)和行為改變，并支持多次運(yùn)行數(shù)據(jù)的比對(duì)。

同時(shí)軟件示波器也提供一個(gè)輔助的等價(jià)類劃分的功能，它將一個(gè)用例從開始到結(jié)束所執(zhí)行的路徑信息終值，完整記錄下來。如果兩個(gè)用例終值不一樣，就可以確定為不是等價(jià)類。對(duì)于很多從功能表面很難界定是否等價(jià)類的測(cè)試用例，軟件示波器可以給出精確結(jié)果。

通過軟件示波器高速采集程序數(shù)據(jù)：

（1）只要測(cè)試開始執(zhí)行，即可以透明方式采集功能運(yùn)行過程中對(duì)應(yīng)的程序的運(yùn)行邏輯。

（2）在系統(tǒng)高速運(yùn)轉(zhuǎn)下采集，可保證對(duì)原有應(yīng)用無干擾，超過1500w/s的采集速率。

（3）可采集程序的條件，執(zhí)行路徑，執(zhí)行參數(shù)，內(nèi)存使用等動(dòng)態(tài)運(yùn)行數(shù)據(jù)。

軟件示波器的采集速度極快，目前最高可以每秒鐘采集1500萬條測(cè)試數(shù)據(jù)，對(duì)被測(cè)試程序的性能影響非常小。

　　　　　　　　　　　　圖3-2-1 軟件示波器

為了方便客戶在對(duì)測(cè)試時(shí)的實(shí)時(shí)數(shù)據(jù)監(jiān)測(cè)，數(shù)據(jù)實(shí)時(shí)動(dòng)態(tài)刷新的時(shí)候能夠方便看到數(shù)據(jù)，星云做出了實(shí)時(shí)數(shù)據(jù)監(jiān)測(cè)的懸浮窗，這樣就能在運(yùn)行項(xiàng)目的時(shí)候就能更方便的看出數(shù)據(jù)的變化

　　　　　　　　　　　圖3-2-2 軟件示波器懸浮窗

只要將鼠標(biāo)移至懸浮窗就可以看到這條測(cè)試用例的ID和名稱

懸浮窗的塊，條件和函數(shù)就是動(dòng)態(tài)實(shí)時(shí)監(jiān)測(cè)界面的塊塊，條件和函數(shù)

懸浮窗的額綠色按鈕表示開始，中間的紅色按鈕表示暫停，后面的按鈕表示通知

后面的圓圈分別表示了塊，條件和函數(shù)的消息數(shù)，中間的圓圈表示了測(cè)試用例運(yùn)行時(shí)間

1位置：鼠標(biāo)點(diǎn)擊可以收放左側(cè)的數(shù)據(jù)塊

2位置：點(diǎn)擊鼠標(biāo)左鍵開始接收當(dāng)前用例的運(yùn)行的數(shù)據(jù) 快捷鍵：Space

3位置：點(diǎn)擊鼠標(biāo)左鍵暫停當(dāng)前接收 快捷鍵：Ctrl+Shift+Space

4位置：點(diǎn)擊鼠標(biāo)左鍵停止當(dāng)前用例的數(shù)據(jù)接收 快捷鍵Space

5位置：類/塊數(shù)據(jù)類型切換[視圖切換] 快捷鍵：Ctrl+Shift+Q

3.3精準(zhǔn)測(cè)試的雙向追溯

精準(zhǔn)測(cè)試提出了測(cè)試用例和代碼的雙向追溯，它也是精準(zhǔn)測(cè)試核心技術(shù)之一。即運(yùn)行一個(gè)測(cè)試用例以后，精準(zhǔn)測(cè)試可以通過程序自動(dòng)的記錄和顯示這個(gè)測(cè)試用例執(zhí)行的代碼。如果測(cè)試人員關(guān)注某一些代碼行，它可以追溯出哪些測(cè)試用例在運(yùn)行過程中運(yùn)行過這段代碼。通過這個(gè)技術(shù)特性，測(cè)試工程師的每個(gè)測(cè)試用例都可以進(jìn)行量化分析和統(tǒng)計(jì)，這些量化數(shù)據(jù)既可以用來對(duì)測(cè)試工程師進(jìn)行工作的考量，也可以提供開發(fā)人員和測(cè)試人員之間進(jìn)行信息化的交流。?

雙向追溯技術(shù)記錄了每個(gè)測(cè)試用例對(duì)應(yīng)的程序內(nèi)部的執(zhí)行細(xì)節(jié)，細(xì)致到每個(gè)條件、分支、語句塊的執(zhí)行情況。開發(fā)人員可以通過雙向追溯的結(jié)果去理解程序邏輯，進(jìn)行軟件維護(hù)以及進(jìn)行可一致性的修改。開發(fā)和測(cè)試可以順利交流，增加測(cè)試和開發(fā)的交流效率。?

雙向追溯技術(shù)正向追溯

將測(cè)試用例和代碼執(zhí)行信息自動(dòng)關(guān)聯(lián)，可到函數(shù)級(jí)別及代碼塊級(jí)別；通過正向追溯可直接在代碼級(jí)定位測(cè)試現(xiàn)場(chǎng)故障和缺陷邏輯，并提供最后運(yùn)行的時(shí)序數(shù)據(jù)；通過正向追溯自動(dòng)記錄產(chǎn)生功能對(duì)應(yīng)的詳細(xì)設(shè)計(jì)實(shí)現(xiàn)，輔助軟件解耦和架構(gòu)分析。

　　　　　　　　圖3.3-1 雙向追溯(正向)-測(cè)試用例追溯到代碼

　　　　　　　圖3.3-2 雙向追溯(正向)-測(cè)試用例追溯到代碼

雙向追溯技術(shù)反向追溯

將代碼執(zhí)行、函數(shù)、代碼塊級(jí)別和測(cè)試用例執(zhí)行信息自動(dòng)關(guān)聯(lián)，通過反向追溯可直接在觀察代碼變動(dòng)所影響的測(cè)試范圍，幫助開發(fā)人員代碼修改影響功能范圍評(píng)估與測(cè)試人員對(duì)代碼修改部分所影響的測(cè)試用例進(jìn)行評(píng)估。

　　　　　　　　　　圖3.3-3 雙向追溯(反向)-代碼追溯到測(cè)試用例

　　　　　　　　　圖3.3-4 雙向追溯(反向)-代碼追溯到測(cè)試用例

數(shù)據(jù)追溯技術(shù)-追溯測(cè)試用例的全景調(diào)用

精準(zhǔn)測(cè)試通過正向追溯把測(cè)試用例運(yùn)行的代碼執(zhí)行進(jìn)行了全景繪制，在全景圖中，測(cè)試人員可以有效的觀察到函數(shù)之間的整體的調(diào)用與走向，觀察出被測(cè)模塊與上層之間的調(diào)用關(guān)系

　　　　　　　　　圖3.3-5 測(cè)試用例運(yùn)行的代碼整體調(diào)用

數(shù)據(jù)追溯技術(shù)-針對(duì)多系統(tǒng)多模塊（微服務(wù)）的追溯

對(duì)于系統(tǒng)之間或模塊之間往往通過HTTP、HTTPS、等通信協(xié)議進(jìn)行，而星云測(cè)試通過agent技術(shù)，把測(cè)試用例進(jìn)行過的多個(gè)系統(tǒng)或多個(gè)模塊之間的調(diào)用進(jìn)行了記錄并繪制成展示圖，測(cè)試人員可以很直觀的觀察出測(cè)試用例從起始點(diǎn)到進(jìn)行的各系統(tǒng)或各模塊之間的調(diào)用關(guān)系圖。

　　　　　　　　圖3.3-5 多業(yè)務(wù)模塊數(shù)據(jù)穿透之間的調(diào)用

3.4 分布式結(jié)構(gòu)下的數(shù)據(jù)穿透

微服務(wù)是一個(gè)新興的軟件架構(gòu)，它把一個(gè)大型的單個(gè)應(yīng)用程序和服務(wù)拆分為數(shù)十個(gè)的支持微服務(wù)，獨(dú)立部署、互相隔離，通過擴(kuò)展組件來處理功能瓶頸問題，比傳統(tǒng)的應(yīng)用程序更能有效利用計(jì)算資源。微服務(wù)之間無需關(guān)心對(duì)方的模型，它通過事先約定好的接口進(jìn)行數(shù)據(jù)流轉(zhuǎn)，使業(yè)務(wù)可以高效響應(yīng)市場(chǎng)變化。但微服務(wù)一個(gè)明顯的表象就是隨著服務(wù)的增多，傳統(tǒng)的測(cè)試模式受到很大制約，無法有效進(jìn)行下去，威脅到整體系統(tǒng)質(zhì)量。

星云測(cè)試（www.teststars.cc）發(fā)布分布式微服務(wù)精準(zhǔn)測(cè)試解決方案，是目前市場(chǎng)上唯一可達(dá)到在復(fù)雜分布式系統(tǒng)中跨多個(gè)服務(wù)器進(jìn)行代碼白盒級(jí)分析，并實(shí)現(xiàn)請(qǐng)求分布式追蹤的測(cè)試平臺(tái)。其中產(chǎn)品內(nèi)的穿透模塊，可以支持各種主流微服務(wù)通信架構(gòu)，例如httpclient，springcloud以及消息隊(duì)列，將并發(fā)訪問場(chǎng)景下跨多個(gè)服務(wù)多組代碼邏輯分離并重建追蹤出來。實(shí)現(xiàn)了業(yè)務(wù)邏輯的代碼在開發(fā)層面通過微服務(wù)離散后，在測(cè)試階段則可以反向復(fù)原整個(gè)完整代碼執(zhí)行視圖。精準(zhǔn)測(cè)試?yán)锩娴拇┚€概念（Threadingtest）增加了第三層含義，即針對(duì)的分布式服務(wù)的穿透能力。

星云測(cè)試針對(duì)復(fù)雜的分布式系統(tǒng)中跨多個(gè)服務(wù)器（比如啟動(dòng)多個(gè)spring
boot）進(jìn)行代碼白盒級(jí)分析提供分析，實(shí)現(xiàn)請(qǐng)求分布式追蹤，產(chǎn)品內(nèi)的穿透模塊，可以支持各種主流微服務(wù)通信架構(gòu)，例如httpclient，springcloud、dubbo以及消息隊(duì)列等。

星云測(cè)試將多個(gè)用戶并發(fā)執(zhí)行測(cè)試用例場(chǎng)景下跨多個(gè)服務(wù)多組代碼邏輯分離并重建追蹤出來。

默認(rèn)情況用戶標(biāo)識(shí)采用瀏覽器的cookie值，測(cè)試前端瀏覽器設(shè)置。

微服務(wù)支持以下協(xié)議:

h：HTTP3，HTTP4，OKHTTP，org.springframework.http.client，cn.hutool.http，dubbo，feign客戶端

          **圖3.4 微服務(wù)**

第四章 精準(zhǔn)測(cè)試的核心組件與功能

精準(zhǔn)測(cè)試的核心組件與功能包含：軟件測(cè)試示波器、用例和代碼的雙向追溯、智能回歸測(cè)試用例選取、覆蓋率分析、缺陷定位、測(cè)試用例聚類分析、測(cè)試用例自動(dòng)生成系統(tǒng)，這些功能完整的構(gòu)成了精準(zhǔn)測(cè)試技術(shù)體系。

精準(zhǔn)測(cè)試系統(tǒng)的本質(zhì)是一套強(qiáng)大的計(jì)算機(jī)開發(fā)與測(cè)試系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)可視化聯(lián)動(dòng)的輔助分析系統(tǒng)，它的關(guān)鍵技術(shù)是測(cè)試用例和代碼的雙向追溯技術(shù)。在這項(xiàng)技術(shù)的基礎(chǔ)上，很多高級(jí)測(cè)試算法得以應(yīng)用同時(shí)將測(cè)試和開發(fā)進(jìn)行非常緊密的連接。精準(zhǔn)測(cè)試系統(tǒng)并沒有取代人工設(shè)計(jì)用例、執(zhí)行用例的過程，但是通過對(duì)該過程深入到代碼層的分析，可以相當(dāng)大的程度改進(jìn)人工測(cè)試所產(chǎn)生的各種問題。

接下來將從風(fēng)險(xiǎn)控制、工作協(xié)同、敏捷迭代、團(tuán)隊(duì)管理、知識(shí)庫累積五個(gè)方面詳細(xì)解析精準(zhǔn)測(cè)試的核心組件與其功能。

4.1 風(fēng)險(xiǎn)控制 4.1.1 七種測(cè)試覆蓋率

星云精準(zhǔn)測(cè)試提供7種測(cè)試覆蓋率：分別為：SC0語句塊覆蓋率、Ture覆蓋率、Both覆蓋率、CDC覆蓋率、Branch覆蓋率、MC/DC覆蓋率。

精準(zhǔn)測(cè)試支持查看一個(gè)模塊的范圍內(nèi)的覆蓋率，以及把一些代碼排除出計(jì)算范圍重新進(jìn)行計(jì)算等高級(jí)功能，也可以查看到新增代碼部分的覆蓋率情況。通過對(duì)這些覆蓋率數(shù)據(jù)的分析，可以將風(fēng)險(xiǎn)控制到最低。

　　　　　　　　　　　　　　圖4-1.1-1 七種測(cè)試覆蓋率

MC/DC覆蓋率可視化

星云精準(zhǔn)測(cè)試覆蓋可視化技術(shù)使每種覆蓋率如何計(jì)算、分子分母分別對(duì)應(yīng)程序的哪些單元，展示的非常清晰。

星云測(cè)試提供MC/DC覆蓋率，即修正判定條件覆蓋，該覆蓋率數(shù)據(jù) MC/DC是DO-178B Level
A認(rèn)證標(biāo)準(zhǔn)中規(guī)定的，歐美民用航空器強(qiáng)制要求遵守該標(biāo)準(zhǔn)。對(duì)于金融系統(tǒng)的一些關(guān)鍵模塊，也可以采用這個(gè)覆蓋率標(biāo)準(zhǔn)，MC/DC覆蓋率可以基本保證被測(cè)試軟件不存在缺陷。

MC/DC覆蓋是指所有符合條件中的子條件，在保持其他子條件不變的情況下，它自己的真假變化就會(huì)引起整個(gè)條件結(jié)果的變化，如果符合條件中的每個(gè)子條件都滿足了，那么整個(gè)條件的MC/DC就滿足了。星云精準(zhǔn)測(cè)試提供相關(guān)的條件組合的結(jié)果展示，直接分析MC/DC覆蓋率的滿足情況。

　　　　　　　　　　　　圖4-1.1-2 MC/DC覆蓋率可視化

4.1.2 新增代碼覆蓋率

敏捷模式下迭代頻繁，測(cè)試人員往往被要求對(duì)本次變動(dòng)或者新增的功能進(jìn)行回歸，但實(shí)際過程中新版本的代碼經(jīng)常由很多開發(fā)進(jìn)行修改，容易出現(xiàn)彼此不知道或遇到有代碼潔癖的，改了別人的代碼，大家都不知道。通常情況是，要么測(cè)試范圍定小了，遺漏了；要么測(cè)試范圍過大，付出過多代價(jià)，而精準(zhǔn)測(cè)試通過新版本與老版本之間的差異進(jìn)行比對(duì)，給出變動(dòng)和新增的代碼的范圍，幫助測(cè)試人員對(duì)本次要求的變動(dòng)代碼和新增代碼進(jìn)行針對(duì)性的覆蓋率統(tǒng)計(jì)展示。

　　　　　　　　　　　　　圖4.1.2 新增代碼覆蓋率

4.1.3測(cè)試覆蓋率范圍篩選與再統(tǒng)計(jì)

在做精準(zhǔn)測(cè)試或統(tǒng)計(jì)覆蓋率時(shí)，往往測(cè)試管理者、開發(fā)人員、測(cè)試人員為了保證測(cè)試覆蓋率的正確性，會(huì)對(duì)某個(gè)方法、類進(jìn)行查看或在統(tǒng)計(jì)中把代碼中一些廢棄的函數(shù)或特殊測(cè)試不到代碼進(jìn)行移除，從而讓測(cè)試代碼覆蓋統(tǒng)計(jì)率達(dá)到更加準(zhǔn)確。星云精準(zhǔn)測(cè)試在設(shè)計(jì)中，通過多種搜索、方法、類、模塊過濾等功能把需要統(tǒng)計(jì)的范圍進(jìn)行縮小或不需要的統(tǒng)計(jì)的進(jìn)行去除，并根據(jù)用戶的選擇進(jìn)行覆蓋率再統(tǒng)計(jì)展示。

　　　　　　　　　　　　圖4.1.3 測(cè)試覆蓋率范圍篩選與再統(tǒng)計(jì)
4.2 工作協(xié)同 4.2.1 打通開發(fā)與測(cè)試的隔閡

精準(zhǔn)測(cè)試打通開發(fā)與測(cè)試的協(xié)同工作通道，使得開發(fā)與測(cè)試能夠更好的溝通，提高工作效率。傳統(tǒng)模式下，開發(fā)人員關(guān)注的是代碼，測(cè)試人員關(guān)注的是業(yè)務(wù)角度的測(cè)試用例，他們沒有直接關(guān)聯(lián)。開發(fā)和測(cè)試的溝通，基本就是采用自然語言、Excel表格、內(nèi)部系統(tǒng)溝通，存在大量的問題。例如測(cè)試工程師發(fā)現(xiàn)一個(gè)缺陷，提交到缺陷系統(tǒng)，開發(fā)需要花費(fèi)大量時(shí)間理解、準(zhǔn)備數(shù)據(jù)、復(fù)現(xiàn)、調(diào)試，直到最后的修正。因?yàn)闃I(yè)務(wù)上的功能執(zhí)行和代碼并沒有明確的關(guān)系，通常測(cè)試工程師執(zhí)行完功能測(cè)試用例后，讓開發(fā)人員幫助評(píng)審也非常困難。

若測(cè)試工程師提供的測(cè)試結(jié)果都是比較模糊的功能邏輯描述，重現(xiàn)缺陷需要花費(fèi)大量的時(shí)間。開發(fā)人員修改代碼后，對(duì)于變更描述，以及變更引起的關(guān)聯(lián)問題描述通常也都很模糊，導(dǎo)致測(cè)試又出現(xiàn)新問題。

企業(yè)采用精準(zhǔn)測(cè)試技術(shù)后，通過執(zhí)行用例可以直接追溯到對(duì)應(yīng)執(zhí)行的程序代碼塊，這樣的數(shù)據(jù)化溝通，將使開發(fā)人員和測(cè)試人員之間的協(xié)同工作效率大大提高。

　　　　　　　　　　　　　圖4.2.1 協(xié)同模式

4.2.2 源碼動(dòng)靜態(tài)數(shù)據(jù)的統(tǒng)一

星云精準(zhǔn)測(cè)試通過插裝得到的項(xiàng)目靜態(tài)結(jié)構(gòu)信息，結(jié)合測(cè)試后采集到的測(cè)試數(shù)據(jù)，能夠精準(zhǔn)記錄測(cè)試的過程，通過這些靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)視圖，便于開發(fā)人員基于圖形化結(jié)果進(jìn)行快速分析。

對(duì)于不懂開發(fā)的測(cè)試工程師，通過程序控制流程圖的圖形以及通過顏色表示的覆蓋信息，可以直接看到程序內(nèi)部漏測(cè)的邏輯是什么，也可以通過這些結(jié)果直接與開發(fā)溝通，進(jìn)行輔助用例和邏輯的補(bǔ)充。

因?yàn)閮?nèi)部邏輯能夠圖形化的打開和看到，可以有力保證黑盒測(cè)試后期，開發(fā)快速理解和介入瓶頸問題，保持全程測(cè)試的高效執(zhí)行。

　　　　　　圖4.2.2-1 源碼靜態(tài)結(jié)構(gòu)與動(dòng)態(tài)測(cè)試數(shù)據(jù)統(tǒng)一圖（函數(shù)調(diào)用圖）

　　　　　　圖4.2.2-2 源碼靜態(tài)結(jié)構(gòu)與動(dòng)態(tài)測(cè)試數(shù)據(jù)統(tǒng)一圖（控制流程圖）

　　　　　　圖4.2.2-3 源碼靜態(tài)結(jié)構(gòu)與動(dòng)態(tài)測(cè)試數(shù)據(jù)統(tǒng)一圖（簡(jiǎn)易流程圖）

下圖展示的是一個(gè)函數(shù)的靜態(tài)結(jié)構(gòu)，與動(dòng)態(tài)測(cè)試數(shù)據(jù)結(jié)合的流程圖，如圖框架是靜態(tài)結(jié)構(gòu)，綠色顯示部分是覆蓋到的代碼塊。

　　　　 　圖 4.2.2-4源碼靜態(tài)結(jié)構(gòu)與動(dòng)態(tài)測(cè)試數(shù)據(jù)統(tǒng)一視圖

4.2.3 缺陷最后執(zhí)行時(shí)序分析

星云測(cè)試采集數(shù)據(jù)時(shí)，可自動(dòng)捕獲缺陷或崩潰發(fā)生時(shí)之前程序執(zhí)行的詳細(xì)路徑信息。當(dāng)缺陷發(fā)生后，開發(fā)人員能夠直接看到缺陷出現(xiàn)時(shí)，代碼執(zhí)行的時(shí)序和路徑信息，直接定位缺陷和排查問題，節(jié)省大量的溝通以及復(fù)現(xiàn)和調(diào)試的時(shí)間成本。

IT工程師可直接觀察到程序出現(xiàn)缺陷后，最后執(zhí)行的50個(gè)代碼塊、條件、判斷的執(zhí)行信息。配合示波器來觀察，當(dāng)功能執(zhí)行發(fā)現(xiàn)缺陷或崩潰時(shí)，示波器可以設(shè)置成手動(dòng)或者自動(dòng)停止，清晰記錄最后執(zhí)行的50個(gè)代碼序列的相關(guān)詳細(xì)信息，以供查詢和分析。

自動(dòng)記錄崩潰發(fā)生時(shí)刻之前程序執(zhí)行的詳細(xì)路徑信息，捕獲難以重現(xiàn)的缺陷并快速解決：

最后50個(gè)代碼塊。最后50個(gè)條件。最后50個(gè)判定執(zhí)行。

除了在研發(fā)環(huán)境內(nèi)，也可以在用戶現(xiàn)場(chǎng)精準(zhǔn)定位缺陷，而無需再用戶現(xiàn)場(chǎng)部署任何代碼。

　　　　　　　　　　圖4.2.3 缺陷最后執(zhí)行時(shí)序分析

4.2.4 智能缺陷定位

星云測(cè)試對(duì)企業(yè)級(jí)用戶提供缺陷定位功能。通過測(cè)試人員標(biāo)記用例執(zhí)行狀態(tài)和軟件示波器自動(dòng)記錄的程序，可自動(dòng)分析缺陷出現(xiàn)的可疑代碼塊。

傳統(tǒng)測(cè)試僅僅能夠發(fā)現(xiàn)缺陷，無法幫助開發(fā)提供有價(jià)值的代碼層級(jí)的數(shù)據(jù)。通過智能缺陷定位技術(shù)，測(cè)試工程師通過幾組用例，例如有的正確，有的失敗，尤其是輸入差別不大，讓被測(cè)程序表現(xiàn)為正確和失敗的情況。精準(zhǔn)測(cè)試通過功能上的狀態(tài)以及用例對(duì)應(yīng)的內(nèi)部執(zhí)行代碼邏輯的差異分析，可以直接分析出現(xiàn)問題的代碼，隨后按照可疑度進(jìn)行排序。如圖：

通過測(cè)試人員在功能測(cè)試階段標(biāo)記的用例執(zhí)行狀態(tài)，以及軟件示波器自動(dòng)記錄的程序
運(yùn)行頻譜，自動(dòng)分析缺陷的出現(xiàn)的代碼塊。

（1）對(duì)于同類測(cè)試用例，經(jīng)過多組測(cè)試可給出非常有效的結(jié)果。

（2）列出的可疑代碼，可直接通過測(cè)試過程給出，提升測(cè)試的價(jià)值及產(chǎn)出。

　　　　　　圖4.2.4-1 通過功能測(cè)試頻譜法分析進(jìn)行智能缺陷定位

選擇可疑度算法、得到可疑度高的代碼塊，關(guān)聯(lián)源碼后，可根據(jù)代碼可視化查看具體位置。可疑度計(jì)算有一個(gè)公式，并不復(fù)雜，通常每個(gè)代碼塊有2個(gè)變量，四種狀態(tài)值。分別是：是否執(zhí)行、是否通過，這樣每代碼塊都有一個(gè)可疑度值。

星云精準(zhǔn)測(cè)試提供3種常用計(jì)算公式，供大家參考。

其中aep表示通過且覆蓋到該塊的測(cè)試用例的個(gè)數(shù)、anp表示通過且未覆蓋到該塊的測(cè)試用例的個(gè)數(shù)、aef表示未通過且覆蓋到該塊的測(cè)試用例的個(gè)數(shù)、anf表示未通過且覆蓋到該塊的測(cè)試用例的個(gè)數(shù)。結(jié)果表示該塊的可疑度。

　　　　　　　　　圖4.2.4-2 智能缺陷定位展示

4.3 敏捷迭代

4.3.1 敏捷迭代下多版本白盒測(cè)試數(shù)據(jù)的聚合

白盒覆蓋數(shù)據(jù)通常與代碼先關(guān)，而敏捷環(huán)境下代碼每天都會(huì)發(fā)布幾個(gè)版本，代碼變更后白盒數(shù)據(jù)就無效了。

星云測(cè)試結(jié)合目前快速迭代的開發(fā)模式，通過分析代碼增量，結(jié)合不同版本覆蓋率，支持累計(jì)的合并計(jì)算，將多個(gè)敏捷局部測(cè)試的數(shù)據(jù)匯總到最新代碼視圖上統(tǒng)一展示。

星云精準(zhǔn)測(cè)試的“敏捷環(huán)境下多版本白盒測(cè)試數(shù)據(jù)的聚合”功能，可以通過內(nèi)部累加一個(gè)測(cè)試周期內(nèi)的總體覆蓋，并在最新代碼視圖上投影。用戶可以看到在一個(gè)敏捷周期內(nèi)的總體覆蓋情況，雖然每個(gè)敏捷版本可能只是關(guān)注某一部分功能。例如一個(gè)函數(shù)如果一直從某個(gè)版本后一直未發(fā)生代碼變化，那么從變化點(diǎn)以后的覆蓋率就可以累加而之前就丟棄掉。

星云精準(zhǔn)測(cè)試-敏捷環(huán)境下多版本白盒測(cè)試數(shù)據(jù)的聚合如圖所示。

　　　　　　　　圖4.3.1-1敏捷環(huán)境下多版本白盒測(cè)試數(shù)據(jù)的聚合

精準(zhǔn)測(cè)試所有數(shù)據(jù)分析結(jié)果都特別考慮了快速迭代的開發(fā)模式。

（1）所有版本的測(cè)試數(shù)據(jù)，支持累計(jì)的合并計(jì)算，將多個(gè)敏捷局部測(cè)試的數(shù)據(jù)匯總到最新代碼視圖上統(tǒng)一展示。

（2）可以任意選擇版本合并，觀察任何時(shí)間節(jié)點(diǎn)的累計(jì)數(shù)據(jù)。

 **圖4.3.1-2敏捷環(huán)境下多版本白盒測(cè)試數(shù)據(jù)的報(bào)表**

4.3.2 聚類分析

星云精準(zhǔn)測(cè)試提供的聚類分析功能，根據(jù)測(cè)試用例的函數(shù)執(zhí)行剖面的向量化信息，對(duì)測(cè)試用例進(jìn)行精確的空間距離計(jì)算后執(zhí)行聚類分析。聚類結(jié)果可以分析被錯(cuò)誤執(zhí)行的用例，例如不相關(guān)的功能點(diǎn)聚類到一起，則說明其測(cè)試執(zhí)行可能存在錯(cuò)誤。

另外也可以輔助找到缺陷分布的密集區(qū)域。大部分情況下，缺陷分布會(huì)呈現(xiàn)2/8的聚集特性。在時(shí)間緊張的情況下，我們可以通過聚類結(jié)果，每個(gè)類選取中心點(diǎn)以及周邊幾個(gè)用例。如果沒有問題，就可以去測(cè)試其他聚類，如果發(fā)現(xiàn)一個(gè)類缺陷概率高，那么這個(gè)類就需要進(jìn)行重點(diǎn)測(cè)試。通過聚類結(jié)果也可以分析測(cè)試用例的分布密度等信息，輔助進(jìn)行測(cè)試決策。

星云精準(zhǔn)測(cè)試-通過用例聚類分析識(shí)別缺陷密集分布區(qū)域

（1）通過聚類結(jié)果給出測(cè)試密度，聚類圈中的密度越高，則說明該功能模塊測(cè)試越密集

　　　　　　　　　　　圖4.3.2-1 測(cè)試密度

（2）聚類結(jié)果可以分析被錯(cuò)誤執(zhí)行的用例，例如不相關(guān)的功能點(diǎn)別聚類到一起，則說明其測(cè)試執(zhí)行可能存在錯(cuò)誤。

　　　　　　　　　　　　圖4.3.2-2 聚類分析

（3）從類中檢出中心點(diǎn)測(cè)試用例以及隨機(jī)的其他用例，可以快速確定類中是否存在較多缺陷，快速定位缺陷的分布，并進(jìn)行重點(diǎn)測(cè)試。

4.3.3 漏洞檢出

星云精準(zhǔn)測(cè)試，結(jié)合代碼結(jié)構(gòu)和動(dòng)態(tài)數(shù)據(jù)綜合分析，通過計(jì)算直接篩選出潛在的高危測(cè)試漏洞，可以在短期內(nèi)確定高危漏測(cè)模塊。針對(duì)性的解決方案，幫助用戶快速找到嚴(yán)重缺陷。

當(dāng)測(cè)試時(shí)間不充分的時(shí)候，首先可以先看測(cè)試漏洞列表。列表里將顯示通過靜態(tài)信息和動(dòng)態(tài)信息計(jì)算，得到的最高風(fēng)險(xiǎn)的漏測(cè)點(diǎn)模塊。我們通過復(fù)雜度進(jìn)行計(jì)算，復(fù)雜度高的模塊。一般來講是重要模塊并且邏輯復(fù)雜，如果動(dòng)態(tài)覆蓋比較低，將被篩選出來。

第二，處于調(diào)用和被調(diào)用中間的模塊，因?yàn)閷儆谥虚g關(guān)鍵模塊，我們也會(huì)計(jì)算它的扇入扇出和動(dòng)態(tài)覆蓋率信息。如果比率很高，也會(huì)被認(rèn)為是高風(fēng)險(xiǎn)模塊篩選、高亮標(biāo)示出來。

從測(cè)試效率角度考量，我們建議在基本的功能黑盒測(cè)試完成后，先看這些高危模塊，補(bǔ)充他們的覆蓋率。在時(shí)間不充分的時(shí)候，優(yōu)先測(cè)試這些高危模塊。星云精準(zhǔn)測(cè)試-結(jié)合代碼結(jié)構(gòu)與動(dòng)態(tài)數(shù)據(jù)的測(cè)試漏洞檢出。

　　　　　　　　　　　　　圖4.3.3漏洞檢測(cè)列表

4.3.4 精準(zhǔn)測(cè)試與自動(dòng)化測(cè)試對(duì)接

星云精準(zhǔn)測(cè)試提供了一個(gè)通用的自動(dòng)化接口調(diào)用包，為眾多的自動(dòng)化工具進(jìn)行調(diào)用，可以無縫的對(duì)接各種主流的自動(dòng)化工具，測(cè)試人員無需改變?cè)械臏y(cè)試腳本流程，即可執(zhí)行原有的自動(dòng)化并在星云精準(zhǔn)測(cè)試軟件示波器中自動(dòng)建立測(cè)試用例并且與執(zhí)行的代碼進(jìn)行相關(guān)聯(lián)。

星云精準(zhǔn)測(cè)試與自動(dòng)化對(duì)接還能通過其精準(zhǔn)測(cè)試的回歸、新增代碼覆蓋率進(jìn)行相結(jié)合使用達(dá)到新版本發(fā)布全自動(dòng)的回歸測(cè)試。

　　　　　　　　　　　　　圖4.3.4星云測(cè)試自動(dòng)化流程

4.3.5 最小測(cè)試用例集

星云精準(zhǔn)測(cè)試通過每個(gè)測(cè)試用例對(duì)應(yīng)的代碼進(jìn)行統(tǒng)計(jì)計(jì)算，給出測(cè)試用例之間的冗余部分，即滿足當(dāng)前代碼覆蓋率所需要的運(yùn)行的最小測(cè)試用例集合，主要用于對(duì)項(xiàng)目后期大量增長(zhǎng)的自動(dòng)化測(cè)試用例進(jìn)行評(píng)審操作，從而降低對(duì)自動(dòng)化用例的維護(hù)成本。

　　　　　　　　　　　　　圖4.3.5星云測(cè)試最小測(cè)試用例集

4.4 團(tuán)隊(duì)管理

4.4.1 精準(zhǔn)測(cè)試的企業(yè)私有云可信化報(bào)表

星云測(cè)試提供云報(bào)表，來實(shí)時(shí)精準(zhǔn)的追蹤測(cè)試進(jìn)度。星云測(cè)試web端的報(bào)表系統(tǒng)，當(dāng)客戶端錄入測(cè)試用例并采集數(shù)據(jù)后，將在web端產(chǎn)生實(shí)時(shí)的、具備高可信度的測(cè)試情況報(bào)表。

該報(bào)表與普通的測(cè)試管理系統(tǒng)不同：普通的測(cè)試管理系統(tǒng)有人為錄入數(shù)據(jù)的情況，數(shù)據(jù)本身的真實(shí)性就沒辦法保證。精準(zhǔn)測(cè)試提供的報(bào)表，底層數(shù)據(jù)來自于執(zhí)行測(cè)試用例時(shí)候代碼數(shù)據(jù)的采集，通過專用接口上傳，完全無法篡改和偽造。星云精準(zhǔn)測(cè)試-企業(yè)私有云端實(shí)時(shí)、精準(zhǔn)、可信質(zhì)量跟蹤。

（1）通過瀏覽器登錄測(cè)試系統(tǒng)，選擇需要跟蹤的項(xiàng)目，就可以實(shí)時(shí)的對(duì)整個(gè)測(cè)試的質(zhì)量、進(jìn)度、人員進(jìn)行精準(zhǔn)的分析和管理。

(2)
企業(yè)私有云端管理系統(tǒng)展示的數(shù)據(jù)基于精準(zhǔn)測(cè)試數(shù)據(jù)的分析，所有數(shù)據(jù)原生精確，支持移動(dòng)測(cè)試+本地測(cè)試。

(3)
測(cè)試團(tuán)隊(duì)、開發(fā)團(tuán)隊(duì)、甲方負(fù)責(zé)人等多種角色都可以登錄系統(tǒng)，從各個(gè)層面對(duì)測(cè)試、軟件質(zhì)量進(jìn)行分析。

　　　　　　　　　　　　　圖4.4.1-1 項(xiàng)目匯總展示

星云精準(zhǔn)測(cè)試項(xiàng)目匯總中，包含了項(xiàng)目信息、版本信息、測(cè)試匯總信息、測(cè)試過程監(jiān)控趨勢(shì)圖、測(cè)試設(shè)備組成和分布圖、各版本覆蓋率匯總圖、復(fù)雜度匯總圖等。

從另外一個(gè)角度來看，精準(zhǔn)測(cè)試大企業(yè)版本也可以讓不同區(qū)域、不同時(shí)間的測(cè)試人員實(shí)現(xiàn)協(xié)同測(cè)試與協(xié)同管理，最終達(dá)到多人同地測(cè)試、多人異地測(cè)試、數(shù)據(jù)實(shí)時(shí)匯總共享與追蹤、測(cè)試過程與完成度一目了然的管理目標(biāo)。

項(xiàng)目信息

　　　　　　　　　　　　 　圖4.4.1-3 測(cè)試信息匯總

測(cè)試用例通過率：無BUG的測(cè)試用例

BUG累計(jì)：測(cè)試用例運(yùn)行完畢后提交的BUG數(shù)

當(dāng)前版本覆蓋率(SC0)：(執(zhí)行過可見段數(shù)/可見段數(shù))*100%的比例

覆蓋率增長(zhǎng)：相比前一天的SC0增長(zhǎng)差值

高復(fù)雜度預(yù)警函數(shù)個(gè)數(shù)：高復(fù)雜度的函數(shù)個(gè)數(shù)

4.4.2 精準(zhǔn)測(cè)試的企業(yè)私有云-測(cè)試效率的直觀展示

星云測(cè)試報(bào)告可直觀分析每天的測(cè)試效率，通過代碼模塊和復(fù)雜度關(guān)系圖，看到函數(shù)群落測(cè)試情況分布及趨勢(shì)，可直觀精準(zhǔn)識(shí)別系統(tǒng)測(cè)試所處階段。

例如通過每日增長(zhǎng)覆蓋，我們可以看到整個(gè)團(tuán)隊(duì)的工作效率。一般系統(tǒng)都是在剛開始測(cè)試的時(shí)候覆蓋率增長(zhǎng)快，到了黑盒測(cè)試的瓶頸點(diǎn)，就上升很慢了。管理者可以通過報(bào)表，清晰的看到整個(gè)團(tuán)隊(duì)的效率趨勢(shì)，并采取相關(guān)策略。

覆蓋率和復(fù)雜度的關(guān)系圖，可以很直觀的看到測(cè)試的質(zhì)量。如果測(cè)試不充分的時(shí)候，復(fù)雜度高的模塊通常覆蓋率都比較低，分布自一個(gè)左上角的區(qū)域，當(dāng)測(cè)試深入進(jìn)行，這些點(diǎn)就會(huì)向右側(cè)移動(dòng)。管理者可以非常直觀的看到系統(tǒng)測(cè)試的充分程度和上線的質(zhì)量把握。

（黑盒效率換擋點(diǎn)+測(cè)試深度運(yùn)動(dòng)趨勢(shì)）

（1）累計(jì)覆蓋率增長(zhǎng)視圖直觀分析每天的測(cè)試實(shí)效以及確定從系統(tǒng)黑盒測(cè)試轉(zhuǎn)換到精準(zhǔn)測(cè)試的最佳時(shí)點(diǎn)。

（2）代碼模塊覆蓋率和復(fù)雜度關(guān)系圖，看到函數(shù)群落測(cè)試情況分布以及運(yùn)動(dòng)趨勢(shì)，可以直觀精確識(shí)別系統(tǒng)測(cè)試所處階段。

　　　　　　　　　圖4.4.2-1 覆蓋率每日增長(zhǎng)趨勢(shì)圖與黑盒測(cè)試瓶頸

　　　　　　　　　圖4.4.2-2 測(cè)試效率換檔點(diǎn)與測(cè)試深度趨勢(shì)觀察表

函數(shù)|類|文件復(fù)雜度和覆蓋率關(guān)系圖,以散點(diǎn)圖的形式展示各種復(fù)雜度和覆蓋率的關(guān)系，更清晰的掌握各種程度覆蓋率的分布。

圖中點(diǎn)：代表每個(gè)函數(shù)，點(diǎn)擊后可以看到相關(guān)信息。

縱向：代表復(fù)雜度不同級(jí)別，取各種覆蓋率值，點(diǎn)擊自動(dòng)進(jìn)行切換到相應(yīng)的復(fù)雜度

橫向：代表覆蓋率不同級(jí)別，取各種覆蓋率值，點(diǎn)擊自動(dòng)進(jìn)行切換到相應(yīng)的覆蓋率

紅圈62：代表當(dāng)前版本所選的復(fù)雜度類型中最高復(fù)雜度值

籃圈100：代表當(dāng)前版本所選的覆蓋率類型中最高覆蓋率值

4.4.3 精準(zhǔn)測(cè)試的企業(yè)私有云-測(cè)試用例排行圖

測(cè)試用例排行圖，可直觀展示參與測(cè)試工程師所執(zhí)行的用例數(shù)、通過率和缺陷率，真實(shí)記錄并分析每個(gè)測(cè)試用例的實(shí)效性。星云精準(zhǔn)測(cè)試-測(cè)試工程師實(shí)效精準(zhǔn)分析系統(tǒng)，將參與的測(cè)試工程師所執(zhí)行的用例從邏輯覆蓋映射到代碼覆蓋，真實(shí)記錄并分析每個(gè)互聯(lián)網(wǎng)測(cè)試參與者的工作實(shí)效。以邏輯覆蓋為基準(zhǔn)的而不是用例數(shù)量為考核標(biāo)準(zhǔn)。

　　　　　　　　　　　　　　圖4.4.3 測(cè)試用例排行圖

4.5 知識(shí)庫累積

4.5.1 精準(zhǔn)測(cè)試數(shù)據(jù)的價(jià)值

星云測(cè)試采集的測(cè)試數(shù)據(jù)和插裝后分析到的靜態(tài)結(jié)構(gòu)信息將作為大型企業(yè)系統(tǒng)大數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù)。

星云精準(zhǔn)測(cè)試-測(cè)試數(shù)據(jù)價(jià)值

（1）代碼級(jí)的程序靜態(tài)信息以及測(cè)試用例對(duì)應(yīng)的海量動(dòng)態(tài)測(cè)試的數(shù)據(jù)，這些多維度數(shù)據(jù)將作為大型企業(yè)系統(tǒng)大數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù)。

（2）對(duì)本企業(yè)大量軟件質(zhì)量數(shù)據(jù)進(jìn)行挖掘和分析，找到相關(guān)質(zhì)量技術(shù)標(biāo)準(zhǔn)衡量的合理區(qū)間，避免常規(guī)錯(cuò)誤。

（3）通過數(shù)據(jù)分析確定優(yōu)異的開發(fā)方法和技術(shù)構(gòu)件。

（4）通過質(zhì)量大數(shù)據(jù)的分析結(jié)果，選擇更加合理的技術(shù)方法，在設(shè)計(jì)階段避免已知的缺陷。

4.5.2 精準(zhǔn)測(cè)試智能回歸測(cè)試用例智能選取

通過對(duì)測(cè)試數(shù)據(jù)分析，星云精準(zhǔn)測(cè)試可自動(dòng)篩選測(cè)試用例。在回歸測(cè)試時(shí)，大大減少回歸測(cè)試的時(shí)間及風(fēng)險(xiǎn)，如圖通過對(duì)版本a和版本b測(cè)試數(shù)據(jù)分析，通過歷史數(shù)據(jù)的比對(duì)，可在版本c上全自動(dòng)得到回歸優(yōu)先級(jí)高的用例。

　　　　　　　　圖4.5.2-1 精準(zhǔn)測(cè)試智能回歸測(cè)試用例的選取

1. 適應(yīng)快速的版本迭代周期，適應(yīng)龐大的工程項(xiàng)目。

2. （2）在回歸測(cè)試時(shí)，自動(dòng)篩選測(cè)試用例，大大減少了回歸測(cè)試的時(shí)間以及風(fēng)險(xiǎn)。

3. （3）降低了傳統(tǒng)人工回歸分析產(chǎn)生的測(cè)試盲點(diǎn)。

4. （4）精確計(jì)算回歸用例的權(quán)重，測(cè)試人員在時(shí)間有限的情況下可以重點(diǎn)回歸受改動(dòng)影響大的用例。

　　　　　　　　　圖4.5.2-2 回歸測(cè)試用例選取界面

4.5.3 精準(zhǔn)測(cè)試在回歸測(cè)試中的性能評(píng)估

回歸性能，通常一般回歸都是基于人對(duì)于系統(tǒng)的判斷來做的，一般來講國(guó)際上的統(tǒng)計(jì)每修改6行代碼就會(huì)引入一個(gè)未知的缺陷。由人來進(jìn)行回歸用例集的判斷，隨著時(shí)間的延續(xù)，記憶將不可逆轉(zhuǎn)地發(fā)生損耗并丟失，加之原團(tuán)隊(duì)人員的不斷變更，老的系統(tǒng)維護(hù)越來越難，修改引入新的缺陷要越來越難風(fēng)險(xiǎn)。

通過星云精準(zhǔn)測(cè)試企業(yè)離線平臺(tái)，內(nèi)置程序?qū)⒊掷m(xù)、高效地全自動(dòng)記錄本企業(yè)自有的各系統(tǒng)測(cè)試用例和代碼的關(guān)系數(shù)據(jù)，不用人工干預(yù)和記錄。使用一段時(shí)間后，企業(yè)會(huì)得到越來越精確的數(shù)據(jù)，若加以有效利用，將發(fā)揮相關(guān)元數(shù)據(jù)及大數(shù)據(jù)的爆發(fā)性的價(jià)值。

　　　　　　　　　圖4.5.3 智能回歸測(cè)試用例選取的性能評(píng)估

第五章 精準(zhǔn)測(cè)試的管理報(bào)表分析

星云精準(zhǔn)測(cè)試報(bào)表體系，是根據(jù)大型企業(yè)實(shí)際工作中的訴求而設(shè)計(jì)。報(bào)表涉及內(nèi)容很多，包括項(xiàng)目信息、測(cè)試過程及總結(jié)信息、團(tuán)隊(duì)效率信息等，數(shù)字化展示企業(yè)分布式開發(fā)與測(cè)試過程、驗(yàn)收和維護(hù)全過程。它深度解決軟件測(cè)試短板，數(shù)字化跟蹤、追溯、輸出開發(fā)與測(cè)試每一步信息。

它把原來很多需要人工錄入的數(shù)據(jù)，由平臺(tái)代為自動(dòng)化機(jī)器處理，確保所有的數(shù)據(jù)都是可信的、不可篡改的。它自動(dòng)把測(cè)試用例、測(cè)試設(shè)備、測(cè)試數(shù)據(jù)、測(cè)試人員、測(cè)試時(shí)間等信息進(jìn)行關(guān)聯(lián)分析，企業(yè)管理人員可以利用機(jī)器原生數(shù)據(jù)，對(duì)測(cè)試全過程進(jìn)行精準(zhǔn)的數(shù)字化管理。

5.1 項(xiàng)目指標(biāo)

此項(xiàng)中將展示項(xiàng)目中各個(gè)指標(biāo)匯總信息，如：程序代碼信息匯總，測(cè)試漏洞、程序覆蓋率指標(biāo)、代碼違規(guī)統(tǒng)計(jì)、代碼重復(fù)度、程度復(fù)雜度指標(biāo)、程序Crash情況等。

　　　　　　　　　　　圖5.1 項(xiàng)目指標(biāo)匯總圖

5.1.1 程序代碼信息匯總

程序代碼信息匯總中顯示當(dāng)前代碼基本信息、代碼注釋比例、代碼可維護(hù)性。它能有效地檢查出代碼的整體狀況，并指出相應(yīng)的薄弱點(diǎn)。

　　　　　　　　　圖5.1.1 程序代碼信息匯總

上述指標(biāo)，需要使用到以下數(shù)據(jù)并對(duì)應(yīng)映射表來確定：可分析性、可修改性、穩(wěn)定性、可測(cè)試性的最終等級(jí)。

5.1.2 程序覆蓋率指標(biāo)

程序覆蓋率指標(biāo)：該值是程序測(cè)試過程中代碼段的覆蓋率數(shù)值

　　　　　　　　　圖5.1.2-1程序覆蓋率指標(biāo)

　　　　　　　 　圖5.1.2-2覆蓋率百分比

程序復(fù)雜度指標(biāo)：給出程序復(fù)雜度相關(guān)信息，以及文件、類、函數(shù)三個(gè)級(jí)別復(fù)雜度分級(jí)柱狀圖。（基于CC0計(jì)算）CCO表示的是圈復(fù)雜度

　　　　　　　　　　圖5.1.2-3 程序復(fù)雜度指標(biāo)

5.2測(cè)試用例-按日趨勢(shì)圖

　　　　　　　　　　 　圖5.2 按日趨勢(shì)圖

5.2.1測(cè)試用例匯總信息

　　　　　　　　　　　圖5.2.1 項(xiàng)目信息

5.2.2測(cè)試用例按日趨勢(shì)圖

折線圖和柱形圖可以在不同的圖形示例中切換，還原顯示默認(rèn)折線圖

縱軸坐標(biāo)：代表數(shù)量，取值范圍為自動(dòng)適應(yīng)最高值

橫軸坐標(biāo)：代表日期時(shí)間

　　　　　　　　　　圖5.2.2測(cè)試用例按日趨勢(shì)圖

5.3測(cè)試用例-測(cè)試用例列表

　　　　　　　　圖5.3-1 測(cè)試用例列表的詳細(xì)信息

顯示制作的測(cè)試用例的詳細(xì)信息，包括測(cè)試用例的名稱、創(chuàng)建時(shí)間、執(zhí)行時(shí)間、關(guān)聯(lián)函數(shù)、覆蓋率占比、運(yùn)行狀態(tài)、測(cè)試人員等

　　　　　　　　圖5.3-2 測(cè)試用例排行與貢獻(xiàn)

5.3.1 星云精準(zhǔn)測(cè)試軟件示波器（測(cè)試用例跟蹤） 5.3.1.1 測(cè)試用例描述

對(duì)選定測(cè)試用例表述其詳細(xì)信息，包括測(cè)試用的所屬模塊、日期、錄制人、執(zhí)行時(shí)間等。

　　　　　　　　　　圖5.3.1.1 測(cè)試用例描述圖

5.3.1.2 錄制記錄

記錄示波器最后的接收的塊、條件、函數(shù)的總信息，分最新一次和上一次，用于等價(jià)類測(cè)試比對(duì)。

圖5.3.1.2-1最新與上一次軟件示波器接收信息對(duì)比

按時(shí)間倒序排列示波器接收到的函數(shù)，記錄程序最后運(yùn)行的函數(shù)狀況，用于定位程序錯(cuò)誤和測(cè)試用例運(yùn)行過程中的邏輯分析。

　　　　　　　　　　圖5.3.1.2-2 軟件示波器接收函數(shù)圖

5.4測(cè)試缺陷-Bug信息匯總

　　　　　　　　　　圖5.4Bug缺陷匯總

5.4.1 Bug按日趨勢(shì)圖和Bug類型分布組合

Bug按日趨勢(shì)圖直觀地反映Bug提交趨勢(shì)。

點(diǎn)擊折線圖上的點(diǎn)會(huì)顯示相應(yīng)的Bug組成。

　　　　　　　　　　圖5.4.1 BUG按日趨勢(shì)圖

5.4.2 Bug提交排行榜

給出提交Bug的測(cè)試工程師的排行榜。

彩條圖可以選擇按照Bug級(jí)別顯示，也可以選擇按照Bug類型顯示。

　　　　　　　 　圖5.4.2BUG提交排行榜

5.5測(cè)試缺陷-Bug詳細(xì)列表

　　　　　　　　　　　圖5.5-1 bug詳細(xì)列表

顯示提交的BUG的詳細(xì)信息、包括提交人、BUG類型、對(duì)應(yīng)的測(cè)試用例等。

　　　　　　　　　　圖5.5-2BUG詳細(xì)信息圖

5.6覆蓋率-按日增長(zhǎng)趨勢(shì)圖

　　　　　　　　　　圖5.6 按日增長(zhǎng)趨勢(shì)圖

5.6.1 覆蓋率信息匯總

可以查看當(dāng)前版本覆蓋率的信息，可以選擇多種覆蓋率進(jìn)行查看以及各個(gè)測(cè)試模塊占覆蓋率的比。

　　　　　　　　　圖5.6.1 覆蓋率信息匯總圖

5.6.2 覆蓋率按日增長(zhǎng)曲線圖

覆蓋率按日增長(zhǎng)曲線圖，讓管理者更好的把握測(cè)試過程。

　　　　　　　　圖5.6.2 每日覆蓋率增長(zhǎng)曲線圖

5.6.3 雷達(dá)圖

根據(jù)項(xiàng)目的需要，測(cè)試人員可以自己設(shè)置覆蓋率的上限，通過雷達(dá)圖展示是否達(dá)到預(yù)期。

覆蓋率指標(biāo)是否要每項(xiàng)都到100%才算測(cè)試結(jié)束？在覆蓋率達(dá)標(biāo)方面，用戶可以按每個(gè)應(yīng)用的實(shí)際情況進(jìn)行達(dá)標(biāo)線設(shè)置。

給出數(shù)字化覆蓋率展示的用意在于：讓測(cè)試人員通過觀察，能更好的補(bǔ)充完善測(cè)試用例。雷達(dá)圖的目的，是為了當(dāng)測(cè)試人員觀察是否達(dá)到預(yù)期。

　　　　　　　圖5.6.3 覆蓋率總雷達(dá)圖

5.6.4 函數(shù)|類|文件覆蓋率統(tǒng)計(jì)

分析匯總了函數(shù)、類、文件的各個(gè)覆蓋率量度值，更清晰的掌握目標(biāo)代碼覆蓋率。

圖內(nèi)容：顯示當(dāng)前版本的文件、類、函數(shù)在各個(gè)覆蓋率之間的分布。

縱向：代表覆蓋率的不同級(jí)別，取各種覆蓋率值，點(diǎn)擊后自動(dòng)進(jìn)行切換到相應(yīng)的覆蓋率

橫向：代表覆蓋率%區(qū)間，取值0-20、20-40、40-60、60-80、80-100

總量：代表當(dāng)前版本的函數(shù)總量

　　　　　　圖5.6.4 函數(shù)|類|文件覆蓋率統(tǒng)計(jì)圖

5.7覆蓋率列表

　　　　　　　　圖5.7覆蓋率列表

5.7.1 覆蓋率列表與單函數(shù)的覆蓋率、復(fù)雜度雷達(dá)圖

通過對(duì)單個(gè)函數(shù)的覆蓋率的雷達(dá)圖設(shè)置，用數(shù)字化的形式展示核心模塊的測(cè)試充分度。

　　　　　圖5.7.1蓋率列表與單函數(shù)的覆蓋率、復(fù)雜度雷達(dá)圖

5.7.2 函數(shù)對(duì)應(yīng)的調(diào)用關(guān)系圖

選擇函數(shù)列表的中的函數(shù)，對(duì)應(yīng)展示該函數(shù)的調(diào)用關(guān)系，總3層。

　　　　　　　圖5.7.2 選擇單函數(shù)調(diào)用關(guān)系圖

5.8復(fù)雜度-函數(shù)|類|包復(fù)雜度統(tǒng)計(jì)

　　　　　　　圖5.8 函數(shù)/類/文件復(fù)雜度統(tǒng)計(jì)

5.8.1 復(fù)雜度統(tǒng)計(jì)信息

為了正對(duì)復(fù)雜度的風(fēng)險(xiǎn)，星云精準(zhǔn)測(cè)試給出了預(yù)警報(bào)告表和復(fù)雜度詳細(xì)列表。

對(duì)于安全系數(shù)高的客戶，測(cè)試人員可以要求開發(fā)進(jìn)行重新設(shè)計(jì)降低風(fēng)險(xiǎn)。

　　　　　　　　　　　　圖5.8.1 復(fù)雜度預(yù)警

5.8.2 復(fù)雜度列表

星云精準(zhǔn)測(cè)試報(bào)表中，展示所有函數(shù)的復(fù)雜度信息。

點(diǎn)擊某一函數(shù)，會(huì)在列表下方繪制對(duì)應(yīng)的雷達(dá)統(tǒng)計(jì)圖。

　　　　　　　　 　圖5.8.2復(fù)雜度列表

名稱欄目：精準(zhǔn)測(cè)試白皮書v3.0－2019最新版-創(chuàng)新互聯(lián)
轉(zhuǎn)載來于：http://www.muchs.cn/article32/dpggsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站制作、搜索引擎優(yōu)化、ChatGPT、服務(wù)器托管、商城網(wǎng)站、虛擬主機(jī)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)