软体测试、除错实务经验分享–用最小的力气进行测试

軟體測試實務經驗分享

–用最小的力氣進行測試胡百敬http://大綱為什麼測試很重要？測試的分類開發階段的測試–白箱測試介面自動化測試–功能測試確保伺服端效能–效能及壓力測試為什麼程式碼品質及測試很重要？開發及測試人員常遇到

5大問題開發人員要兼做測試總是有功能沒測到沒有TestCase、沒時間每一次過版要全部測一遍無法進行自動化測試Server有多少人可同時使用一般專業手動測試寫TestCase建立測試環境和測試資料很會寫腳本會寫一些程式很會寫程式專職負責寫自動化測試程式專精的程式能力如何評估適合的測試種類WebTestUnitTest/CodeAnalysisTestManager(測試案例)CodedUITestLoadTest手動測試在開發階段中進行檢核及測試開發測試發佈軟體生命週期處理Bug的成本手動測試時的困擾有Bug時只能抓錯誤畫面花很多時間寫TestReportTestCase與需求管理開發人員都要重新找Bug程式手動測試和自動化錄製兩次工自動程式碼UI測試錄製操作過程，或將TestRunner所錄製的手動執行過程轉成程式碼可模擬滑鼠、鍵盤，自動化執行使用者介面操作支援數種平台，如：IE和Firefox瀏覽器、WindowsForms、WindowsPresentationFoundation(WPF)等介面可編修錄製的

VB.NET/C#程式碼，並加入到原始碼控管可驗證程式的回應結果是否符合期待可搭配資料源，提供資料驅動測試可以整合到開發/測試、建置/測試，部署/測試的週期內Demo

自動程式碼UI測試支援的平台自動化完全支援的平台有部分的解決方案，仍需完成進一步的工作可滿足一般需求，沒有進一步的投資當下不支援，但在未來的版本有計畫要做當下不支援，也沒有計畫要做，協力廠商有機會做平台RTMRTM+註解IE7/8–HTML/AJAXWindowsForms2.0+完整支援.NETFx

控制項，

正在進行協力商的部分WPF3.5+完整支援.NETFx

控制項，

正在進行協力商的部分WindowsWin32MFCFF3–HTML/AJAX在VSTS2010RTM提供CTPDynamics(Ax)SharePointSilverlight3.0Citrix/TerminalServicesOfficeClientAppsIE6Chrome/Opera/SafariFlash/JavaSAPWeb效能測試Web效能測試透過錄製或撰寫程式碼建立測試參數化存取網頁提供多種擷取回應資料、驗證的機制繫結資料不只是ASP.NET以HTTP為基礎任何web網頁也可以用來測試WebServices記錄和執行測試透過InternetExplorer

與外掛程式錄製Web效能測試檔案記載多種設定細節透過VS編輯環境設定透過VS執行

測試搭配驗證追蹤Viewstate

Cookie支援Ajax，但

要停掉IE延伸

安全執行結果確認網頁存取結果確認伺服器回應狀態或驗證內容建立驗證規則擷取屬性可用於其後

的測試要求Demo

Web效能測試將Web效能測試轉成程式碼可完整客製化測試內容//CreateatestWebTestRequestrequest1=

newWebTestRequest("http://localhost/StoreCSVS");request1.ThinkTime=8;//AddaruleValidationRuleFindTextrule1=

newValidationRuleFindText();rule1.FailIfTextFound=false;rule1.TextToFind="IBuySpy";request1.ValidateResponse+=

newValidateResponseEventHandler(rule1.Validate);負載測試負載測試一般用途：冒煙：在短時間小負載時測試應用程式壓力：在長時間大壓力下，應用程式是否正常效能：

確認應用程式的回應時間容量：在可接受的效能下，系統最大的同時上線人數或完成交易量負載測試的準備事項了解壓測的目的和效果了解軟、硬體架構和運作流程分段驗證是否能自動化規劃壓力測試情節準備測試資料庫尋找系統瓶頸點使用者人數從100成長到1000人Demo

負載測試透過命令列執行執行測試的命令列工具程式MSTest.exe、tcm.exe[開始]-[所有程式]-[MicrosoftVisualStudio2010]-[VisualStudioTools]-

[VisualStudio2010命令提示字元]測試團隊報表報表分析–測試結果報表分析–Bug狀態Q&A飯店上網不用錢測試是一件冗長

且反覆的過程

但卻會帶來持續地進步

Bydyson吸塵器的測試在研發階段，Dyson的樣品會歷經550種的測試……測試按鈕耐用度20000次…將吸塵器向上提起，並以時速30公里重力加速度，將機器往下摔向鐵板…軟管來回拉扯達7280次，相當於21年的使用時間軟體的測試每次開發階段都會經過500種

測試5000個線上人數同時登入時，進入首頁

於3秒內回應。系統連續輸入1000000筆交易的訂單後，記憶體損耗不超過10%模擬20種方式，查詢10000000筆交易歷史資料時，可以於2sec內獲得清單VisualStudio2010改善軟體品質實例英華達團隊效率-多地協同開發(台灣/大陸)測試中心-測試管理及自動化異質開發管理–TeamExplorerEverywhere管理Java開發台灣世曦QA流程標準化

-建立測試計畫提升測試效率-UI自動化測試VisualStudio2010改善軟體品質實例宏碁提升測試效率

-UI自動化測試系統高維護性–架構總管(ArchitectureExplorer)及圖層驗證(LayerDiagram)縮短文件與程式碼之間的差距接手別人的專案?沒有文件?看不懂別人的程式碼?專案交接，新人花太多時間訓練或接手程式碼文件GAP架構總管(ArchitectureExplorer)架構總管(ArchitectureExplorer)BeforeAfterHighLevelDiagramDetailDiagram無法了解物件間的呼叫關係，系統較難維護，新人較難上手。細部展開提昇程式碼品質錄製自動化測試程式碼，節省測試時間透過自動化的迴歸測試，避免新增功能影響舊功能PhotobyZanastardust

UI測試自動化(CodedUITest)BeforeAfter功能測試迴歸測試使用人工重覆測試指定資料來源(資料庫、Excel)以來源資料作資料驅動測試今天的收獲….不敢說你可以不再加班，但實務…工作上可以馬上應用…解決你的問題…企業旗艦版完整軟體開發及管理伺服器端開發團隊整合平台(原VSTS)

團隊開發、軟體品質改善-軟體工程應用協同開發、版本管控測試實驗室版

前端工具企業版進階開發、測試、佈署品管人員版測試案例管理及手動測試線上學習–/visualstudio/zh-tw/onlinelearnDVD學習包平台導入深度效能

↑組件壓力測試細節專案品質基礎

值與量全面提升兩岸三地實際品質與計畫的速度品質指標階段與導入ROIPhaseI-版本管控-建立Baseline管理↑

Bug相關報表需求與相關測試對應如何順利導入開發流程-四階段導入PhaseII-導入工作單(WorkItem)-簽入原則(Check-InPolicy)-工作項目追蹤-程式碼分析

軟體專案基礎專案管理系列報表PhaseIII-簽入原則(CheckInPolicy)-單元測試-測試涵蓋率-TeamBuild(組建自動化)PhaseIV-QoSAutomation-壓力測試-回歸測試(自動化)-效能測試及分析-測試計劃/測試案例建立測試專案錄製測試步驟與產生程式碼設定驗證產生驗證程式碼設定資料連接設定資料繫結的相關資料表新增Web效能測試錄製Web存取編輯Web效能測試編輯Web效能測試設定回應時間目標執行MicrosoftConfidential52透過精靈新增負載測試透過精靈新增負載測試透過精靈新增負載測試透過屬性設定負載測試的執行方式圖形化效能分析花費執行時間Top5的相關程式可以切換各種不同的效能指標軟體測試流程與測試案例管理手動測試時的困擾有Bug時只能抓錯誤畫面花很多時間寫TestReportTestCase與需求管理開發人員都要重新找Bug程式手動測試和自動化錄製兩次工依需求

來分類TestCase可直接建立or執行TestCase可設定Owner和各種權重以便日後分析可自訂參數記錄「測試步驟」確保系統符合需求測試項目設定簡化管理減少不同環境的