量化分析要怎麼做?給入門新手的參考流程與FAQ

賴澤霖
二十一世紀教育現場
Aug 21, 2021

延續前一篇質化分析的經驗分享,這次輪到量化分析啦!還沒看的記得先看完上一篇,兩篇一起看直接為你的調研技能打下基礎。

分析流程

這篇文章我會將整個量化分析的進程拆解如下,並一一說明。

  • 前期:目標擬定、問項設計
  • 中期:問卷推播
  • 後期:問卷分析

問項設計

組員 Herman 說他們運用 journey map 的概念去思考填答者在遠距學習的過程中會「遇到哪些情境」,而不同情境中可能「遇到哪些狀況」,據此來詢問填答者的感受與回饋。

按照這個邏輯,就能夠很自然地先列出遠距前、遠距過程、遠距後三個階段,每個階段也會延伸對應的情境。

不論用什麼工具方法,核心邏輯都是 MECE 原則 (mutually exclusive collectively exhaustive)

另外,還記得我在質化訪談的三大 Takeaway 中有提到「以終為始」嗎?同樣的道理其實也適用於問卷設計。

當開始設計問卷的時候,就要先一步思考到「我為什麼要問這個問題」,有了答案可以幹嘛,是作為某個論點的驗證?是要跟其他題目做交叉分析?還是作為報告呈現的亮點?

我印象很深刻的地方是,當我們在逐一針對問項討論時,大家都能夠很明確地說出「為什麼要放入這個問題?」。有了對應的目的,團隊在討論的過程就可以迅速掌握到為什麼要放這個問題?而這個問題的問法或選項真的能達到該目的嗎?

像是有一題「疫情遠距期間,您是否願意認真參與「非強制出席」(如:不點名)的遠距課程?」所對應到的目的是「作為報告發出後的行銷亮點」。那大家就可以很有方向地探討,這真的能作為亮點嗎?或是有沒有其他也能作為亮點的問項?

如果問卷最終的回覆沒辦法對整體分析有幫助,那就要思考這是不是有價值的問題了。

最後一點則是常常被忽略的屬性資料,屬性資料是交叉分析時的重要基準,像是商管科系跟理工科系對遠距學習有什麼不同期待,大一大二對遠距學習的感受跟大三大四有什麼差異。

屬性資料的問題仔細思考,會對後期的分析有很大幫助,不會到時候才因為資料不足,導致無法解釋自己的論點。

問卷推播策略

當問卷完成後,就要規劃如何推播這些問卷出去,當時我們設定的目標是收集到 1000 份回覆,最後在沒有任何誘因的條件下,回收 2456 份問卷。總之,圍繞著 1000 這個數字,我們先列出兩個關鍵指標,分別是觸及率以及轉換率。針對這兩個指標,我們再往下拆可以提升相關指標的策略,最後,才提出對應的行動。

但當然,還不只如此,以「跟學生類 KOL、社團合作」來說,KOL 要找哪些?為什麼他們要跟我們合作?合作的形式是如何?KOL 之間是否有接洽的優先順序?是否有對應的負責人?注意到每個行動執行的小細節,在跟整個團隊報告計畫時,也才可以更有準備的回覆。

問卷分析

問卷回收後,最後就是來分析啦!以下展示的是當時為了和組員討論,我所繪製的分析架構,讓我們一層一層來看。

第一層分析大綱:報告的主體要怎麼呈現,有哪些主要面向是要包含進去?

第二層 Finding:從問卷的初步分析來看,有哪些趨勢、亮點值得放入?

第三層交叉分析:有哪些潛在可以交叉分析的項目,預計要如何分析?

注意,到目前為止,我們都還沒真正開始分析問卷,只是規劃「我們要如何分析」。與其花大把時間直接做交叉分析,先弄懂最終產出的框架更是重要。

經過一番討論確定問卷分析架構之後,我們才真正開始著手分配實際要分析的問項。

紫色便利貼是最終確定要分析的主要面向,例如「學生學習端遇到的問題」、「學生對遠距的期待與實際狀況是否吻合」。

下面則是我們分析出來的各種圖表與洞察,這是整個分析過程最花時間的部分,所以如果一開始的架構沒有確立清楚,就會浪費很多時間在事後修改上。

接著,當問卷已經分析得差不多後,就要來思考最後要傳遞出去的故事線、核心理念,搞清楚讀者是誰、他們為什麼要知道?

這時候的故事線並非從 0 開始思考,而是奠基在已有的問卷分析架構上修正,因為分析架構(理想上)應該包含團隊想要傳遞給受眾的主要訊息。

不過,分析架構用意是讓輔助分析過程更有順序性,但不見得最符合受眾的閱覽習慣,也不見得能達到最佳的社群傳播效果。

因此,組員要執行的任務是,將分析出來的每一個論點、洞察(上面五彩繽紛的便利貼)重新排列組合,將這些論點與數字整合成一個有趣、具啟發性的敘事。

與此同時,質化訪談也正要啟動(其實原本沒計畫作質化),有了最終要呈現的文章對標,訪綱的擬定也可以更貼合文章需求。

像是我們發現文章中有些論點的單靠問卷數字還不夠有解釋力,或是我們在問卷中發現了一些矛盾點,我們的訪綱就可以更有針對性地補足。

這樣帶來的好處是,我們在訪談的過程中,很清楚每一個問題是要填補文章的什麼區塊,因此 follow-up 可以問得更精準,也較不容易被受訪者帶著走。

先量化後質化 v.s. 先質化後量化

對我來說,這次最特別的體驗是,兩個專案的研究順序恰好是顛倒的,在遠距學習調查中,我們是先量化再質化;而在 GoGet 的使用者研究中,我們是先質化再量化。

順序的不同究竟有何用意呢?

先量化後質化

由於我們一開始對遠距學習的研究並不多,其實很難知道學生對遠距學習的想法是什麼,即便有,也只是根基於新聞報導、或觀察身邊同學。

在這樣的前提下,我們需要先透過大量的搜集回覆,才能建立整個學生群體對遠距學習各方面態度的了解。

如果先執行質化,那其實我們只能兩眼一黑的去驗證我們本來單純猜測、具有偏誤的假設。

因此,先量化後質化的好處是,讓我們先快速了解學生對遠距學習不滿、喜歡的點,再搭配後續的質化訪談往下深挖。

先質化後量化

另一方面,由於 GoGet 每週會分析貼文的數據,並討論用戶會喜歡的內容形式,我們就可以站在過往的資料上,向使用者尋求解答。

等從訪談中聆聽到用戶自己的痛點、對我們的期待後,再透過廣發問卷去驗證猜想,或是其他人是否有相同的需求。

所以,先質化後量化的好處是,可以從使用者身上深度了解需求,建立假設後,再用量化去驗證猜想。

哪個比較好呢?

其實端看你的情境,包括你的研究目的、手邊上擁有的資源,綜合考量後,再選擇最適合的方法。

兩個 Takeaway

量化分析的分享差不多到這,一樣就以兩個我覺得最核心的 Takeaway 作結吧!

  • 要很細節

不管是問項的設計、推播、分析,都需要拆得很細很細,舉個例,跟大家報告問卷推播要採取的行動時,不能只是說我要找 KOL,而是要連找誰、怎麼合作、誰要負責都列出來。

檢視問卷回覆的時候也一樣,看到統計圖表馬上想到「如何解釋」,從顯示出來的趨勢中,還能如何往下拆解可能的原因。

  • 要很宏觀

最能凸顯這點的應該是問卷分析的過程,要綜覽整份問卷的架構與彼此之間的關聯,從中找到潛在可以挖出洞察的機會點。

在具備宏觀視角的同時,也不能忘記研究細節,真是一件累人的事呀!

謝謝,看到最後的你

若喜歡我在 Medium 的內容, 可以拍個手(不用付任何錢,但卻能幫助到我)按住不放可以連續拍喔!覺得要登入太麻煩也沒關係,在Medium上追蹤我也很高興!

--

--

賴澤霖
二十一世紀教育現場

教育/終身學習者/初出茅廬的寫作者/嘗試當個給予者。期許自己能在這分化、矛盾的世界裡,找到自己的立足點。 如果對我的文章有任何想法或是有任何疑惑,歡迎寄信到s10355186@gmail.com