關于測試工作的規范,上次討論了用例部分。
本次將繼續聊下測試執行期間的規范標準,是主要需要測試執行人員關注的部分。
【測試執行】
測試執行規范或標準,主要是為了確保測試人員“在正確的環境做正確的驗證”,并且能“留下相關記錄、準確及時地暴露出問題”。
這里會包含可測性確認、測試記錄、問題/風險判斷與提交、異常情況處理等;
也就是主要與測試執行期關聯的要求。
可測性確認算可測評估的一部分,是其中的初步執行驗證部分。
它通過冒煙檢查指定環境、提測版本、功能范圍的實現情況,確認對應提測內容是否可以繼續測試。
關于此類判斷標準,可以看看這些示例:
對于環境,是環境不可用即不可測,還是允許協調/共用其他環境測試;
提測版本需要核對哪幾個數據,是必須等于某個版本還是高于某個build即可;
功能范圍是否要求包含所有需求點,是否必須包含核心提測需求,或是否需要全應用核心功能可用;
實現狀態驗證上,是要求冒煙功能主流程,還是確認清單中入口可進入即可,或需要驗證到需求所述優化表現。
以上這些,都屬于執行可測性驗證時候會涉及到的規范或標準;
執行測試的人員,需要參考這些要求,結合實際功能情況來評估本次可測/不可測范圍。
測試記錄部分,通常會被要求和測試用例分離。
至于具體要求,就是各個團隊或項目的要求了。
可能出現的規范方向,例如:
需要記錄哪些內容,使用什么格式;
執行同時記錄還是每日更新;
本地記錄、在線表格還是專用平臺;
如何存檔,是否定期回顧;
以及等等。
測試記錄,通常也代表了測試進度。
相關要求也可能包括進度更新/溝通,比如測試完成后是否要實時標記完成,是否要實時與PM或相關產品研發溝通。
問題的判斷與提交,也可以認為是bug相關規范或標準。
在這里,我指的是什么樣的問題會被判定需要提交。
比如:
上個版本存在的問題是否需要重新提交;
是否需要忽略特定模塊的問題;
特定機型的問題是同步給適配團隊還是直接提交;
特定類型的問題除提bug外是否還要做其他操作;
以及等等。
這部分要求通常階段性比較強
——可能只是本次提測這樣要求,下個版本就變化了
——若是如此,這是需要在每次測試前確認清楚的。
異常情況處理,是指在異常狀態下,要求測試執行人員做出怎樣的反饋。
異常情況通常包括:
進入測試后遇到的,例如環境不穩定/受意外因素影響出現無法測試/測試無效;
質量與預期差異過大,導致進度和預估不符合;
單點阻斷,或某些入口阻斷其它功能驗證;
以及等等。
而測試人員被要求做的,或者說相關規范,可能包括:
報給測試接口人;
直接與阻斷對應研發人員溝通;
需要用什么形式溝通,提供哪些信息,給到誰;
是否在進度表或用例表有對應記錄格式;
哪些問題要發現后第一時間上報;
以及等等。
【BUG】
bug相關的規范或標準,主要是為了讓bug可以被高效理解和流轉。
通常主要包括bug的內容要求,以及bug流轉、流程要求。
內容要求方面,比較直觀的規范例如,字段有哪些、是否必填、填寫什么內容。
這些規范,通常是在測試可提供信息,和處理人需要信息間權衡的結果
——要求信息過多會給測試人員增加工作量,提供信息不足會影響處理人判斷問題情況。
比較常見的要求,例如:
標題格式包含問題簡述,加上該項目重要區分維度如模塊、類型、環境、版本,以便看到bug標題可以快速歸類或找責任人;
內容要求有版本號、發現時間、賬號信息、前置條件、操作步驟、問題現象、預期結果、重現概率、對應截圖或視頻等;
額外字段可能有模塊、類型、嚴重程度、優先級、重現情況、版本、基線、處理人等;
常見bug系統當然還有創建人、創建時間、處理時間等自動生成的字段,但這通常不需要填寫時關注;
除此之外,提交bug還經常會被要求,附件上傳特定方式獲取的log。
關于內容的要求,除了bug提交時的格式、內容,也包括各字段相關的判斷標準;
比如:
如何判斷是哪個模塊、哪種類型的bug;
如何區分bug的嚴重級別和優先級;
偶現bug需要嘗試復現幾次;
以及等等。
bug的流程要求,通常包括提單流程和回歸流程
——實際bug規范還有與研發、產品策劃、PM等角色有關部分,此處僅描述測試有關部分。
提單部分除了前文描述的內容,還包括一些其它要求,例如:
提單初步處理人選誰,什么情況給測試接口人,什么時候給PM、相關研發或產品策劃;
除提單外,是否需要其他通知操作,或哪些bug,要求什么形式的額外通知;
對于bug,是發現就提,還是需進行指定復驗/定位,或要求非阻斷問題每日統一提單;
以及等等。
在回歸流程中,測試方面通常會有重新打開流程和回歸關閉流程。
針對不同流程,會分別規定不同情況需提供的信息。
都要提供的如驗證版本,重新打開單獨需要的如:
描述現象,提供新的截圖/視頻/log,如果現象有變化可能需要提供更多信息。
回歸重新打開的流程,還可能涉及類似提單的流轉人判斷、通知等流程要求。
規范和標準類型還沒有討論完。
在用例、執行、bug之外,測試流程上還有一些可能的規范,下次會做一些補充性說明。
聲明:
本號對所有原創、轉載文章的陳述與觀點均保持中立,推送文章僅供讀者學習和交流。文章、圖片等版權歸原作者享有,如有侵權,聯系刪除。
北京漢通達科技主要業務為給國內用戶提供通用的、先進國外測試測量設備和整體解決方案,產品包括多種總線形式(臺式/GPIB、VXI、PXI/PXIe、PCI/PCIe、LXI等)的測試硬件、相關軟件、海量互聯接口等。經過二十年的發展,公司產品輻射全世界二十多個品牌,種類超過1000種。值得一提的是,我公司自主研發的BMS測試產品、芯片測試產品代表了行業一線水平。
-
測試
+關注
關注
9文章
6201瀏覽量
131345
發布評論請先 登錄
手機軟件測試規范
反饋一個論壇BUG
嵌入式Bug調試的經驗匯總
VLSI測試綜述
【綜述】工作總有規范——測試執行和bug
評論