26
Intern Ronald Taiwan Microsoft MTC

軟體測試效能評估(By ronald)

Embed Size (px)

Citation preview

Page 1: 軟體測試效能評估(By ronald)

Intern – Ronald

Taiwan Microsoft MTC

Page 2: 軟體測試效能評估(By ronald)

Specification

Visual Studio 2010 ultimate

Page 3: 軟體測試效能評估(By ronald)

Web Performance

在IE上add-in一個錄製的tools

收集測試時的資料

呈現執行的報表

Page 4: 軟體測試效能評估(By ronald)

Step

Open Visual Studio 2010 ultimate

New Test Project (for your prefer

language, example use C#)

Add a Web Performance Test item(Pic)

Then Open IE Browser automatically

If you can’t see the Web Performance

Recorder, then click Tools Button on IE -

> Explorer Bars -> Web Test Recorder

Page 5: 軟體測試效能評估(By ronald)
Page 6: 軟體測試效能評估(By ronald)
Page 7: 軟體測試效能評估(By ronald)

Step

錄製操作想要測試效能的動作

完成後關閉IE或是按下停止按鈕

Page 8: 軟體測試效能評估(By ronald)

Some Configuration

有些動作或許需要迴圈去協助執行,例如:

加入購物車的動作需要重複10次

右鍵點選需重複執行動作的網址,點選加入迴圈,進而設定FOR迴圈的初始值、

累加值、終止值等等即可(Pic)

Page 9: 軟體測試效能評估(By ronald)
Page 10: 軟體測試效能評估(By ronald)

Some Configuration

有些時候會想針對某些動作設立執行的目標,例如:完成訂購或是完成註冊等等動作希望可以在2秒內完成

制定效能目標說明以及秒數目標

Page 11: 軟體測試效能評估(By ronald)
Page 12: 軟體測試效能評估(By ronald)

Performance Analysis

檢測函數呼叫計數和計時

圖形化呈現分析結果

參照程式碼

Page 13: 軟體測試效能評估(By ronald)

效能測試

針對上述我們作的一些效能目標的設定,很多時候都會不如我們所預期,這時候來分析為什麼會不如我們預期

分析→啟動效能精靈→Option檢測 (可以得到較多細節,透過一些函數去取樣)

選取”啟用階層互動分析”,去存取網頁間相關性的資料或其他細節,例如:A網頁作一動作轉到D網頁,但其中可能經過B、C網頁,這時候勾選此選項即可得知此資訊細節

Page 14: 軟體測試效能評估(By ronald)

效能總管

操作想要分析效能細節的動作,完成後關閉IE,VS即會幫我們產生分析報告

分析報告

依照選取範圍篩選(得知此時間區間的運作細節)

更改“目前檢視”得知關於此段區間執行的細節,例如函式詳細資料、階層互動(前述有勾選才可,會知道每個頁面被呼叫幾

次)等等

Page 15: 軟體測試效能評估(By ronald)

Loading Test

提供大量的執行緒執行測試,形成系統負載

測試控制器和測試代理程式將負載測試分配給多部測試電腦

收集效能計數器,設定臨界值規則

存放負載測試結果,提供報表分析

Page 16: 軟體測試效能評估(By ronald)

Step

Open Visual Studio 2010 ultimate

New Test Project (for your prefer

language, example use C#)

事先需錄製幾個Web Performance的操作動作(此處概念為,每個使用者操作的

步驟想法都不同,在這不同的動作即代表

模擬使用者的操作方式,以達到更為真實的負載測試,例如70%執行動作1,30%

執行動作2…)

加入一負載測試的ITEM

Page 17: 軟體測試效能評估(By ronald)

步驟細節說明

考慮時間特性

在錄製操作動作時,在每一個動作間的考慮

時間也都會一併錄製進來,此處即是設定這

部分,通常想要更為真實的測試都會使用以記錄的考慮時間為基準的常態分佈

負載模式

逐步執行負載,最大使用者計數部分,為測試期間內最多的使用者量是多少

測試混合

挑選想要測試的動作(Web Performance所錄

製)

Page 18: 軟體測試效能評估(By ronald)

步驟細節說明

測試混合模型

依照選項出現的示意圖即可明瞭

網路混合

依照前端使用者的上網能力設定(EX:LAN等等)

瀏覽器混合

去模擬不同瀏覽器發出的header給予不同的回應,因為每一個回應的SCRIPT都不一樣,這些也都會去影響執行效能

Page 19: 軟體測試效能評估(By ronald)

步驟細節說明

計數器集合

模擬多台電腦所負責的項目測試

例如:一台電腦負責WEB存取,一台電腦負責SQL SERVER存取等等

上述的設定皆可在loadtest item中設定屬性

每次做完效能測試他都會記錄下來(在SQL SERVER上),所以每次測試完可能

都會校整,固測試完即可做些比較

Page 20: 軟體測試效能評估(By ronald)
Page 21: 軟體測試效能評估(By ronald)

效能測試結果

測試→管理測試控制器

安裝VS時預設都會安裝SQL EXPRESS

且有一TEST的資料庫

若無安裝SQL EXPRESS或是想要用自己的資料庫,可透過VS的TEST資料庫創建SCRIPT來加入在自己的資料庫中

$Visual Studio

2010/Common7/IDE/loadtestresultsrepo

sitory.sql

Page 22: 軟體測試效能評估(By ronald)

開始測試

在下方計數器的點選會直接表示在圖形上(粗體線)

結束後會先給予一個綜合的報表,當然也可點選圖形鍵看視覺化的報表,其中也可在圖表上加入其他計數器一同分析

在詳細資料內可看到我們加壓的一個逐步

情形

Page 23: 軟體測試效能評估(By ronald)

EXCEL 報表分析

當安裝ultimate且電腦上已有OFFICE時,會一併在EXCEL上加入一個Load Test 的add-in

伺服器名稱:.(表本機)

資料庫名稱:LoadTest2010(by Default)

之後依照提示操作即可

Page 24: 軟體測試效能評估(By ronald)

手動測試

Test Manager (VS2010 新功能)

建立多種測試案例

依照使用者需求建立測試案例

發現BUG後可直接提報

與其他部門作整合

Page 25: 軟體測試效能評估(By ronald)

Step

Open TestManager

新增套件,對不同的測試情境分門別類