科技大廠偷偷做的產品開發技巧（下） — 原型、測試、文化變革
「INSPIRED — How to Create Tech Products Customers Love」讀書筆記（4）
還沒看過上集的，這邊請：
原型製作的原則
- 製作原型的目的是為了使用低成本、有效率的方式，學習到一些事情。所以無論是製作哪種的原型，它們都應該要比真實產品花費更少時間和精力才是。
- 製作原型的另一個好處就是比起紙上談兵，可以迫使你把問題想的更深層，在做的過程中，發現一些問題。
- 原型也有助於團隊合作，讓彼此的認知一致。
- 高保真和低保真原型都有它的目的性和用途，我們都知道低保真比較快速和便宜，可以減少很多成本，然而有時候可能需要高保真原型模擬真實狀況。
- 原型的主要目的是為了處理產品風險（產品價值、易用性、科技可行性、商業可行性）。但更多時候，原型可能會變成規格書，變成很好的溝通工具，讓不在同一個辦公室的工程師知道要做出什麼東西。
4. 原型技巧
4–1. 技術可行性原型
這個是工程師會做的原型，大多在探索技術可以如何運用，會有什麼顧慮，例如：演算法、效能、可擴充性、容錯度、以前沒用過的技術、以前沒用過第三方服務、沒用過的遺產系統（Legacy system）、新的改變對其他團隊的依存性。
這些都要寫 code ，但好處是，不用管 code 寫得好不好、不用考慮之後如何維護，能運行即可，所以可以省下很多時間。然後也可以評估這個技術到底是不適合使用在我們的產品上。
4–2. 使用者原型（User Prototype）
使用者原型幾本上就是模擬器。低擬真原型，可能就只有線稿，簡單表現出產品上會有的資訊和流程會是怎樣，不會有視覺設計，也不能展現數據的變化。而高擬真原型則較為接近真實產品，有視覺設計，可能數據也比較貼近真實。
基本上使用者原型是很好的溝通工具。也可以拿來測試驗證很多事情。但它可能不太適合拿來驗證產品會不會賣。不能把原型攤開，問使用者會不會買，因為使用者做的和說的差很多，會有其他的技巧，可以驗證產品價值。
4–3. 動態資料原型（Live-Data Prototype）
我們使用動態資料原型的目的在於收集真實的數據資料，以驗證一些事情，例如新的功能、設計、流程表現如何。
重點在於有辦法送出一點點的流量，然後就可以收集的一些數據，知道使用者怎麼使用這個原型。
4–4. 混合原型（Hybrid Prototype）
上面提及的幾種原型，可以搭配混用。這種原型也被稱作 Wizard of Oz Prototpye，會結合前端的使用者經驗，有高擬真的使用者原型，但是在使用者看不見得地方，會有真的人再手動操作，意在開發自動化，這些手動部分，希望最後都由機器代替。
例如聊天機器人可能就可以用這種方式開發，就會知道使用者會問哪些問題，我們要怎麼回答，比較合適。
5. 測試技巧
這個階段的目的就是要快速挑選出有助於商業目標的好點子，然後把不好的點子排除。
5–1. 測試易用性
對設計師而言，易用性測試應該不陌生，我們會在實際打造產品前，使用原型去測試易用性問題。
招募受測者：如果在前期顧客探索階段，你有六位諮詢顧客，可以請他們做測試、可以在徵人廣告看板或是 Google AdWords 張貼廣告、如果你有使用者的電子信箱，你可以寄信詢問、你可以在公司網站徵求自願受測者、去你的使用者會聚集的地方找他們。
測試準備：使用高仿真原型做易用性測試。我們會先做易用性測試之後，再做價值測試，先做易用性測試會讓使用者對這個產品有比較清晰的理解，之後比較好幫助他們評斷這個產品對他們有沒有幫助。建議測試小組有三人，包含產品經理、設計師和工程師。在測試之前，要先擬好想測的任務。
雖然有些人會覺得讓產品經理和設計師來做測試，他們可能會影響客觀性，但是如果他們受過訓練，再加上一有點子就可以測試，避免他們一開始就迷戀他們初始的點子。一個主導、一個寫筆記、一個觀察，最後大家要再互相對照一下，確保大家結論一樣。
地點可以是研究室，可能有雙面鏡，也可以錄電腦畫面，或是在咖啡店測試也可以，看公司的環境許可，當然可以到使用者的辦公室或是家裡，他們使用產品的場域更好。
實際測試原型：我們會希望使用者是不是真的有我們想像他們會有的問題，也想知道他們現在都怎麼解決這樣的問題，以及什麼會讓他們想要換產品。
一開始我們會先跟受測者說，我們要測試的是產品本身，不是使用者。然後帶他們去看產品首頁，就是比較中性的頁面，看看他們能不能一開始就理解我們產品是做什麼的，以及他們的第一印象。接下來就開始正式的測試，請他們完成我們預設的相關任務，看看使用者能不能完成，有多容易完成，有哪些地方他們卡住。
如果他們有問題，可以問問看他們現在在找什麼、或想什麼，但不要直接給他們答案。然後可以復誦他們的操作，使用者自己就會說出自己在試著做什麼、找什麼東西、或是期待看到什麼，避免自己過度解讀，另一方面也幫助做筆記的人，寫下重要的事。然後也找出軟體的設計和使用者 metal model 有差異的地方。最後，要注意使用者的身體語言和音調，可能透露出他們真正的想法。
總結學到什麼：測試結束之後，我們可能會發現視覺、流程或是 metal model 等問題，我們要列出這個問題，希望可以修正這些問題。然後寄個 email 列出重點摘要給團隊中的人，避免長篇報告，因為也沒人會有時間讀。
5–2. 測試價值
使用者知道怎麼使用我們的產品，並不代表他們就會選用我們的產品。要看看我們的產品有沒有提供足夠的價值給顧客，讓他們選用。
我會會先測試需求，就是顧客有沒有真的在意我們想像的問題。有三種技巧可以做測試：
1) 需求測試
我們要先測試需求，避免浪費時間開發出來的軟體，顧客根本不賣單。有兩種測試技巧：假門需求測試（Fake door demand test）和登陸頁需求測試（Landing page demand test）可以使用。
假門需求測試：頁面上放一個按鈕，或是選單內多一個選項，使用者可能覺得多了這個新功能，想試試看，但點擊後連過去的頁面，則是跟使用者解釋正在收集資料做測試，看有多少人對這個功能有興趣，同時也在找尋受訪者，如果他們有興趣成為受訪者，可以順便請他們填寫電子信箱、電話等。我們從點擊率可以看出這個新功能的需求大不大，同時，我們也可以找到受訪者，問他們會預期看到什麼頁面、或對新功能有什麼期待。
登陸頁測試：這可以用在開發新產品或服務，設計一個新的登陸頁面，然後頁面上有 Call to Action 按鈕，使用者點擊這個按鈕之後，會帶到一個頁面解釋我們正在考慮發行這個新的服務，所以正在研究，然後希望他們可以聊聊這個新產品。
做這些測試有兩個好處：第一，可以收集到證據證明有此需求。第二，我們有受訪者清單，已找到一群使用者有意願和時間，和我們聊聊新功能。
當然這些測試對於比較成熟的公司，或是想避免風險的公司，他們可能會顧慮這些測試會損及他們的品牌名聲，但作者也指出，公司不持續創新，就只能等著死，特別是科技公司。我們還是可以想想可以保護公司利潤和品牌，以及保護僱員和顧客的做法，我們可以採用邀請制的動態資料原型，或是針對一小撮使用者做 A/B 測試。然後對於顧客，如果我們想做改變，可以以循序漸進的方式。
2) 質化價值測試
然後我們可以用質性問題，去量測價值，重點放在顧客的反應，問題如：顧客喜不喜歡產品？會不會購買？會不會選用？還有最重要的為什麼？質性研究最好每週可以測試兩到三次。
訪談一開始，會簡單的介紹一下我們覺得顧客會有的問題，請受訪者確認是否有這個的需求，然後談談他們目前都怎麼解決這樣的問題，接下來我們就會用高擬真原型做易用性測試，做完易用性測試之後，會比較知道這個產品在做什麼、他們會怎麼用它。然後我們就可以開始來看看顧客是不是真的會想買這個產品，還是只是想說好話，以下有四種小技巧可以使用：
使用金錢證明：願意掏錢購買，就代表這個產品有價值，所以我們可以問問顧客會不會想買，然後看看他們有沒有想掏出信用卡（我們只是想看看行為，沒有真的要把信用卡號碼記下來）。或是如果產品是 B2B 面向，就可以簽購買意向書，看看顧客是不是真的認真的。
使用名聲證明：我們有可以問受訪者，他們不會不會想推薦產品給他們的朋友、同事、老闆（一到十分評比），然後如果分數高，可以請他們分享產品在社群媒體上，或是請他們提供老闆和同事的 Email，看看他們反應。
使用時間證明：特別是 B2B 的產品，如果你之後還可以約到他們，讓他們花不少的時間，和你們一起合作開發。顧客願意花時間，這也代表產品對他們是有價值的。
使用權限證明：你的產品可能要和顧客公司的產品做軟體整合之類的，需要對方輸入登入帳密之類的高隱私權限，你也可以藉此知道，對方的態度。
如果做測試時，有人有不同的反應，我們就要找出真正的原因，是因為這兩個人有不同的問題嗎？他們是不同類型的顧客，或是這兩個使用者擁有的知識背景和能力不同？
作者建議產品經理應該要出席每場研究，不要讓其他人代替你。
3) 量化價值測試
前面質化研究是為了瞭解顧客行為的「原因」，而量化研究則是在收集足夠的「證據」。透過收集足夠的證據，可以幫助我們做出更好的決策。
我們要如何選擇哪種量化測試取決於我們產品所擁有的流量、我們有多少時間以及我們對風險的容忍度。像新創公司可能就沒有太多流量和時間，但對風險的容忍度較高，成熟企業則正好相反。
A/B Testing 主要有兩種形式，一種稱作 Optimization A/B testing，主要用來決定產品如何最佳化（怎樣才能促使使用者有更多互動），可能改變顏色、文案等，通常我們會讓一半的人使用 A 方案，一半的人使用 B 方案，然後再來看成果。另一種則是 Discovery A/B testing，我們用動態資料原型讓 1% 或更少的使用者，可以接觸到新設計。如果我們產品流量不夠多，或是公司不願冒太大的風險，就可以使用邀請制的測試。
目前市場上有許多分析工具（Analystic），他們主要能幫助我們了解使用者及顧客的行為、量測產品進度有沒有達成商業目標、證明產品的點子是否和我們預想的一樣可行、幫助更好的產品設計決策、可以給予產品靈感。
分析工具有以下幾種：
- 使用者行為分析（點擊路徑、參與度）
- 商業分析（活躍用戶、轉換率、Lifetime value 終生價值（每個用戶未來會帶來的收益總和）、留存率）
- 財務分析（ASP 應用服務供應商、營業額、關帳時間）
- 效能（載入時間、正常運行時間）
- 運轉花費（存儲空間、主機託管）
- 進入市場花費（新用戶取得花費、銷售花費、計畫）
- 情緒（NPS 淨推薦值（有多大意願推薦給親友）、顧客滿意度、調查）
這些分析工具常被稱作 key performance indicators (KPIs)。
我們必須要知道我們的產品如何被使用、使用者真的有用什麼功能、有沒有遇到什麼問題。我們有這些資料，才有辦法讓產品變得更好，否則也只是胡亂猜測、胡亂設計，沒有任何依據。
5–3. 測試技術可行性
可行性包含以下問題：
- 我們知不知道怎樣做出來？
- 我們團隊有沒有這樣的技術可以做出來？
- 我們有沒有足夠的時間可以做出來？
- 我們需不需要動到結構，才能做出來？
- 我們現在有沒有元件可以做這個？
- 我們對這個東西的依存度是否瞭解？
- 它的效能是否會被接受？
- 它的擴充性是否符合我們所需？
- 我們有沒有基礎建設（infrastcture）可以用來測試和跑這個功能？
- 我們是否負擔得起要做出這個所需的設備？
建議產品經理應該要給工程師足夠的時間去研究和學習新技術，才能知道新技術的可行性。
5–4. 測試商業可行性
作者指出，這個部分通常是產品經理最沒興趣的工作。但是產品經理就是必須要打造出一個可行的商業模式，知道我們產品最終產生的收益，是否大於製作、行銷和銷售的成本。
產品經理也必須了解各種在行銷媒介、銷售管道、財務、法務、商業夥伴、安全性等限制，以便保護公司收益、名聲、員工和顧客。
我們通常會用原型，展示給公司的利益關係人看，看他們對於這個流程或是任何畫面、概念有沒有任何的顧慮，我們不是要販售我們的想法，而是希望他們能點出我們沒有想到的地方。這個技巧稱作「演示（walkthrough）」。
另外我們會用原型去 Demo 給公司和客戶，讓他們知道我們未來產品會有哪些價值，有點在販售未來、展現產品價值。這個稱作「產品展示 」（prouct demo）。
而用原型給使用者測試，看產品好不好用或是產品對他們有沒有價值，這個叫做「使用者測試」（user test）。
6. 文化變革的技巧
6–1. 探索衝刺（Discovery Sprint）
這個是 Google 創投發明的方法，基本上就是用一週五天的時間，完成一個設計。首先定義問題、然後決定要解決的問題和目標顧客，然後開始發想各種可以解決這個問題的點子，接下來選出幾個點子發展成比較完整的概念，然後製作高擬真的原型，去測試我們目標族群的反應。
6–2. 先驅團隊（Pilot Team）
在公司推動新方法是很有挑戰性的，因為公司內部多數人可能害怕改變，但也是會有少部分的人喜歡嘗試改變，其他人可能想要看看有沒有成功的例子，再做改變。所以我們可以先找一小部分的人，組成先驅團隊，他們可以先試著採用新方法，然後如果看到有成效，剩下那些不想改變的人，最終也會必須要跟著改變，因為已經證明有好的成效。
6–3. 讓公司停止使用 Roadmaps 的技巧
記得利害關係人喜歡 Roadmap 的兩個原因：
- 他們可以清楚看到我們現在正在做什麼，然後確保我們正在做最重要的東西。
- 他們想要能夠計畫商業，所以必須知道什麼時間點，還會有什麼重要的事情會出現。
如果我們現在要做一個功能是加入 PayPal，然後為了增加轉換率，之後做完後，我們要好好檢視我們有沒有達成目標，如果沒達成目標。這時候就可以提出自己有個更好的方法。
記得讓組織慢慢從在什麼時間點發布什麼功能這件事，慢慢轉移到如何達到商業目標。商業目標的達成才會是重點。
心得
我覺得作者在這幾章詳述了許多有用的技巧。易用性測試相信很多設計師都很熟悉，就不多做評論，反倒是價值評估，作者提出了金錢、推薦親友、時間、授權四種可以驗證產品對使用者是否有價值，值得參考。雖然我對授權這的技巧，有點疑慮，覺得有些對資安比較重視的人，不確定是否真的會去做。
不過的確在做完易用性測試之後，再詢問對方是否購買產品，的確是比較好的做法，這時候除了問對方會不會購買之外，其實還可以詢問價格帶，覺得對方在多少的價格會願意購買，為這個產品估值，或許也可以幫助我們未來對產品定價。
另外需求測試可以使用假的功能按鈕或是假的登陸頁也都是常見技巧，有些頁面請對方輸入 Email 地址，如果產品完成後，會通知對方，藉此測試這個市場大不大，有多人對這個服務或產品有興趣。英國有一些節稅方案（資本所得避稅方案），Shares & Stock ISA 和 SIPP 是其中的一些方案，而我使用 Vanguard，但是他們 2019 年那時候還不是退休金專戶的供應商，但是他們有一個退休金的頁面，可以留下自己的 Email，我在那時候想，他們會不會是想收集有多少人對於這個有興趣的資料？
關於假功能鈕，忽然想到我們公司之前的軟體，出了小差錯。原本預計要開發的功能，但還沒完成，就不小心送出去給我們的客戶了，畫面上的按鈕點擊後沒有反應。但我們公司跟客戶說我們在測試有多少客戶對這個功能有興趣，化解了這個危機，是蠻有趣的一個經驗。
而在 A/B Testing 這邊，我想大家也都是耳熟能詳，臉書最喜歡用 A/B/C/D testing，整天搞的使用者七葷八素，一直變化。雖然對使用者來說這也不是好事情，但大家好像慢慢習慣。對於邀請制的部分，其實有些 App 會在 App 內內建新功能嘗試區塊，就是對新功能有興趣的人，可以去開啟還沒正式推出的功能，像 Monzo 就有 Monzo Labs，這也是一個蠻聰明的作法。
而作者後面，對於務實面會遭遇改變的挑戰，也給予了一些建議，像是可以試試 Design Sprint，不會耗費太多時間，或是使用先驅團隊，讓一小部分的人來做做試驗，如果呈現不錯，在推廣至整個公司，都是一些不錯的作法。
如果你（妳）喜歡這篇文章，請給予鼓勵拍手👏10下代表你喜歡這篇文章
拍手👏20下代表這篇文章對你非常有幫助
拍手👏50下代表這篇文章實在太棒了！！！有任何問題，也歡迎留言給我：）
