如何做啟發式評估 Heuristics Evaluation?(下-執行篇)

Julia Chen
Feb 20, 2022

--

Hi, 我是Julia ~

在前篇『如何做啟發式評估 Heuristics Evaluation?(上-準備篇)』中,我們了解在什麼時機適合做啟發式評估、啟發式評估(又稱經驗法則評估)的優點與如何規劃一場研究。在這篇中將繼續揭露,當確立好研究目的與項目後,我們該如何往下繼續「執行」呢?

啟發式評估的進行方式

整體的評估時間取決於內容的多寡與複雜程度。越複雜的任務,例如操作步驟較多、需要輸入文字內容填寫資料…等,容易花費評估者較多的時間。雖然評估的過程中不一定需要填寫真實的資料,但有些任務會需要依據特定邏輯來填寫,如果是這種情況,我們可以事先準備好資料內容,當日以明確的任務清單提供給評估者,讓他們得以更簡易完成步驟。

舉個例子,假設我們要測試系統 eDM 的排定發信與再行銷任務,我們可以事先將測試中需要使用或填入,以繼續進行流程的必要資訊,例如:信件標題、信件內容、預定發送時間、如果會員有開信需要隔幾天再寄送哪封信件…等,當日測試開始前提供給評估專家。讓專家在操作時更可以更專注於系統、功能或介面上,而不需要煩惱自己該填寫哪些假資料。

事前將資料備齊並印出,可以幫助評估專家快速了解任務內容(Photo by KOBU Agency on Unsplash

一般來說,我們可以將任務分成−流程介面來評估。一位評估專家進行兩次,一次針對流程,一次針對介面。並讓每位參與評估的專家單獨進行,不可協商討論,而我們 UX 設計師或研究員可以在一旁進行紀錄或陪同解釋易用性原則內容。

過程中,請評估專家依據易用性原則與自己的使用經驗,思考問題的嚴重性並將遇到的問題進行 4–0 優先級評分紀錄。問題的嚴重性通常可以依三個面向來思考:

  • 問題發生的頻率:此問題常見還是罕見發生?
  • 問題發生後的影響度:使用者克服起來容易還是困難?
  • 問題的持續性:是一次性的問題,使用者一旦知道就可以克服?還是往後仍會反覆被問題困擾?

除了這三個面向,建議也可以請專家一同考量產品的市場面向。例如這個問題雖然評估起來,使用者容易克服,但一旦發生在操作上,會不會對產品使用者產生強烈不好的印象?如果是,那這個問題可能也需要先處理,優先級較高。綜合多方考量下,請專家給予問題處理優先級的評分,完成任務後再將個別的問題彙整,於評估會議中一同討論。

優先級評分說明:

4:嚴重問題,非常影響操作,需要在上線前調整。

3:主要問題,影響操作,後續需優先處理。

2:輕微問題,輕微影響操作,後續調整的優先級低。

1:外觀問題,如果有時間可以再調整。

0:沒有問題。

誒,這時敏銳的你,可能立刻發現,為什麼會有評到「0-沒有問題」這個分數的情況呢?如果操作或介面沒有問題的話,不是不會記錄到這個問題嗎?

的確,評估者自己是不會記錄到這個問題的。

在總結會議中,我們可能會收集到各種問題,也包含自己評估時沒有發現的項目,如果有遇到其他專家發表的項目,在自己的過去經驗中不構成問題,那對於自己來說這個項目的評分便可以打上 0 這個分數。

主持評估後的總結會議

身為研究主導或研究員的我們,在所有專家評估完成後,需要邀請各專家一起進行總結會議,以收斂各方想法。會議中,各專家逐一分享、討論自己於系統中發現的問題,此時我們可能會發現「誒~這個問題我也有發現!」或是「對耶,的確存在這個問題」,我們可以協助將各方的問題歸納,整理成問題共識列表,再予未填寫此問題的評估員評分,讓問題列表與分數的結算更符合評估人員的共識。

主持人是會議中很重要的角色。在總結會議中,大家很容易會不小心太深入討論問題或嘗試去提出解決方案,如果此時太鑽研在某個問題點上,不一定是件好事。因為有太多層面的問題可能當下未被納入考量,需要與不同單位討論、理解後才得以下定論,例如這個問題是否為營運刻意為之?多一個步驟是否為需要紀錄使用者行為或是工程限制?太快下定論或急著找出解決方法容易讓研究結果較偏頗,或是不容易落地往後執行優化。

感謝參與者並分享成果

辛辛苦苦做完了研究成果報告,除了向產品團隊其他成員或 stakeholder 報告外,也不要忘了提供專業協助的評估專家。我們可以將成果一起分享給有參與的內部專家們(如果是外部的專家,會需要思考資料保密問題,畢竟是公司產品的資料~),肯定他們對於這個產品的貢獻,與感謝他們的協助,讓產品越來越好,受到使用者的喜愛 ✨

這次很感謝公司內部協助進行研究的產業專業們,熱情的提供專業背景建議,讓我們與產品團隊收穫良多,幫助奠基後續的優化方向,十分愉快的合作。

系列文章上篇:如何做啟發式評估 Heuristics Evaluation?(上-準備篇)

Hi 我是 Julia,
希望可以透過工作與生活紀錄,分享 UX /產品設計師的日常,甚至更多幫助世界一點點。如果覺得這篇文章不錯或有幫助到你,歡迎幫我多拍拍手(鼓勵長按50個拍手👏)或轉發給朋友唷!
如果想要與我討論或聊天,也歡迎在文章底下留言~

--

--

Julia Chen

探險家,探究人與行為;行為與價值間的相互關係。在金融與資訊業中走跳 4年+的 Product designer。 juliachen0903@gmail.com