測試圈大事 — 一個 bug 讓拼多多損失了 200 億要給 QA 背黑鍋嗎?

AA
OrienteBar
Published in
5 min readJan 21, 2019

今天一早,測試圈的朋友們都激動了,原因無他,中國知名電商拼多多因為一個漏洞,損失了近 200 億元,就算是官方說法也損失了近千萬。

發生什麼事?

一切要從 1/20 凌晨 00 點開始,中國的網友們發現,拼多多的官方網站上出現了一個沒有門檻就可以領取的 100 元優惠券(相當於台幣 470 元),看起來很少,但是眼尖的中國網友們發現,這張券可以無限領取啊~~~~而且毫無門檻,毫無門檻,毫無門檻!

無門檻的 100 元優惠券,原圖模糊,由 Oriente 專業 UI/F2E 工程師協助 P 圖

接下來就是各種中國網民的薅(ㄏㄠ)羊毛行動,所謂的薅羊毛,就是利用商家的無成本行銷活動,賺取小額小利,比如說註冊送紅包,分享就反饋等等,自己薅羊毛還不夠,大家還一個拉一個,打 wechat ,發 QQ ,一個晚上就薅了 200 億羊毛。(官方說法千萬以下)

拼多多的客服部門即使在 12:56 分驚醒,也阻止不了這薅羊毛熱潮,緊急發布了公告,官方做法是還沒用的優惠券都收回來,已經用的,緊急阻止商家發貨,但是已經充值話費但是用完的,就只能抱緊處理,並且宣稱這是一個駭客攻擊的事件。

所以,問題來了,拼多多的 QA 今年是不是沒有年終了?

據小報消息,來自盼盼的匿名留言說已經取消了該部門的年終獎金

拼多多的 QA 為什麼沒有測出這個 bug ?

也許大家會想,哎呦,為什麼拼多多的 QA 沒有測出這個 bug 呢?首先,我們先來定義一下,QA應該測出什麼 bug ?什麼叫做 bug ?

斯斯有兩種,感冒用斯斯咳嗽膠囊; 鼻塞、流鼻水用斯斯鼻炎膠囊。Bug 也有兩種,一種是你寫的程式不照著你的想法走,一種是你寫的程式照著你的想法走但是你錯了。

所以一張沒有門檻可以無限領取的優惠券,發生了什麼問題嗎?如果這張優惠券應該要有門檻而且應該要限制領取,那這樣就是 bug ,spec 寫好,理應在測試階段發現,如果 spec 這樣定,寫出來卻變成現在這個局面,那麼要不是有人寫錯,就是有人理解錯誤。

所以我們可以開始把黑鍋丟給 QA 了嗎?

冷靜,不行。我們先來看看 QA 的工作是什麼。QA 是 Quality Assurance 的意思,職位定義在「確保品質」,所以任何跟品質有關的,無論是抓 bug ,上線部署,部署流程,品質監控,都與 QA 有關,對於產品的品質,不應該只侷限在跟在 RD 後面挑蟲吃,如果對於 QA 的要求只在於抓蟲,抓蟲,抓蟲,驗證,驗證,驗證,測試,測試,測試,「這個寫好了幫我測測有沒有問題」,你有什麼權利要求 QA 背黑鍋啊(挖鼻孔)。要知道 WestWorld 裡面 QA Team 的標配可是衝鋒槍呢。

Westworld QA Security Force https://westworld.fandom.com/wiki/Westworld_QA_Security_Force

好吧所以誰要背黑鍋?

Bug 誰寫的誰背啊(X)
沒有人要背黑鍋,我們可以思考的是 QA 的全面升級。(O)

  1. 從產品 planning 就加入 QA 人力
    一張沒有門檻而且沒有限制的優惠券上去 production ?所有產品的上線都是一層一層的環境部署與堆疊,從這張特殊效力的優惠券被設計出來,都沒有想過 User 怎麼使用嗎?又,這張優惠券,是為了什麼而被設計,理想上又是該會被怎麼使用的,都是在產品初期的規劃可以嚴密審視的點。
  2. QA 應該升級風險控管
    當產品上線後,觀察使用者如何使用,並且快速的回饋迭代,也是 QA 團隊的工作,一個產品上限,到使用,都可以建立嚴格的風險控制與監控 dashboard,當優惠券使用超過一定限額的時候,就可以即時提報異常。
  3. 從使用者角度設計測試項目
    測試團隊在設計測試項目(TestCase)的時候,應該避免開發角度,回歸使用者角度,去思考使用者場景,比如說當開發與產品經理跟你說,按照 Spec 應該這樣這樣,那麼我們就可以去思考,有沒有可能產品上線,我不按照 Spec 的方式去使用,我也可以使用到這項產品呢?

總結

所有上線產品的使用者邏輯,都是經過設計,規格檢驗的,QA 最終的價值不該侷限在開 bug 驗 bug ,而是從產品的角度去確保產品最終遞交到使用者手上的品質,測試框架也只是在保證產品邏輯運作跟產品 spec 設計的一樣,並不能保證使用者怎麼使用,真實的使用者場景如何。為什麼會發生拼多多這件事情,其實是多項環節沒有扣好,讓產品漏洞一關一關的通過,最後只能幻化成「沈痛的經驗」。

想收到更多自動化測試的分享文章嗎?請訂閱 OrienteBar !
We are hiring !! — [徵才] Oriente 誠徵 SDET
同場加映:在 Oriente 當 SDET 是什麼樣的體驗?

--

--

AA
OrienteBar

Software Engineer @Amazon/Software Architect /SDET / QA /Bachelor of Laws