聊聊E2E自動化測試-每天跑自動化測試有什麼效益?
Aug 23, 2017 · 2 min read
先說結論:
- 在版本改版上線之前,確定“現有”功能沒有被改壞
- 確定PM沒有手殘把CMS後台內容設定錯誤
- 測試Server穩不穩定
本身也是工程師,開發code的過程中本來就會不斷測試,所以有問題也會先發現,那麼幹嘛要每天跑自動化測試呢?
實際去執行自動化測試之後,其實潛在的範圍比想像的還要大得多。
當然Code的品質是一回事,但是自己寫Code,在提交出去之前一定會先好好的測試過,基本上是不會有問題的。但是自動化測試提供了一個找出盲點的方法。例如總會有工程師手滑改到以前的功能,或是有功能的dependcy 非常高,互相糾纏(Tangle)在一起的,因此當改到某部分的功能後,雖然當下改的功能很正常,但是你不知道是不是有其他的功能被改壞了,這時自動化測試就派上用場了。每天跑一次自動化測試,可以確定所有功能以及流程至少都正常運作,即使有問題,也可以提早發現,不會等到QA測試或是正式上線後才發現了。
第二,就是有時不是程式的問題,是人的問題。個人經驗最常遇到的事PM或行銷人員在設定CMS系統時,手滑沒有參照該設定的設定,造成問題出現,這也可以被自動化測試所發現,因為開發人員也不是每分每秒在測試所有功能的!
最後,算是意外發現的一個優點,就是自動化測試可以順便測試一下server的效能,看看有沒有什麼問題。像我這次就發現自動化測試有測到server不正常的反應,經詢問server端後,才發現原來他們有個程式忘了叫起來,因此多少有個笨笨的機器人來做自動化測試,也算是不無小補!
