小兵立大功:群眾外包如何完成意想不到的事

Ching Liu
人機共生你我它
7 min readMay 23, 2018

什麼是群眾外包(Crowdsourcing)?

群眾外包是一種利用大量分散的人力(Crowds)進行特定的微任務(Micro-task),再將產生的結果組合成資料的方法。這邊我們先跳過歷史的部分(可以參考wiki),現在群眾外包產生的資料基本上有兩個主要的用途:增進機器的能力增進人的能力。增進機器能力的需求主要來自於機器學習所需的大量標記資料,例如教會機器辨識一張圖片裡包含什麼物件,我們會需要很多描述圖片的標籤;而增進人的能力的應用大概可以分成取代低階人力(例如,製作影片字幕)跟集合眾人知識和創造力(維基百科是一個很典型集合眾人知識例子,過去還有藝術家利用群眾外包做非常有趣的藝術作品)的兩個方向。

下圖是一個群眾外包藝術創作的例子,Aaron Koblin 找了10,000個人畫羊,做了一個The Sheep Market作品。

什麼時候使用群眾外包?

  • 需要大量的人力標記資料:人工智能或機器學習領域裡很多是模擬人類行為的任務(例如機器翻譯、聊天軟體機器人、物體辨識、音樂分類),這些都需要人類產生產生大量訓練機器的資料,這時候群眾外包可以讓你更快的取得足夠資料。
  • 隨時都可以取得的即時資料:當你需要一個24小時不間斷而且即時的服務的時候,或許可以考慮讓來自世界各地不同時區的群眾來幫你解決問題。但是要解決“即時”的問題,往往需要特別的設計來加速找到人力即整合資料的方法。

VizWiz 即是一個利用群眾外包的手機app,盲人可以使用手機相機拍攝眼前的景象向來自世界各地的工人詢問眼前的視覺資訊,他們在研究中成功的在133.3秒內取得第一個回答以及高達86.6%的準確率!

當你需要大量腦力的時候,特別是需要創造力的工作,我們可以直接利用群眾外包產生獨特的成品,也可以收集群眾的想法給設計師靈感。Voyant 研究團隊創作了一個收集、整合群眾回饋的系統來幫助設計師尋找可以改進的方向。群眾可以帶來多樣的回饋,而且他比專家更容易取得,但是對於沒有受過設計訓練的人來說要怎麼讓他們提供有深度的建議呢?這是一個很有挑戰性的問題,我們下次再討論,你也可以先去看他們的論文

如何找群眾來完成群眾外包任務?

目前已經有一些平台如Amazon Mechanical Turk, 可以媒合工人(crowds)與任務要求者(requester),並幫助任務要求者製作自動化的任務(Task)。但不要以為取得這些資料是便宜的!勞工在爭取提高最低工資的時候,在Amazon Mechanical Turk上的工人們也同樣要求合理的待遇 (建議基本上要滿足USD6~10/hr才能得到理想的結果)。不過有別的方法可以降低你的成本,甚至是根本不用付工資!下面舉幾個例子:

註:Amazon Mechanical Turk是目前最大的全球群眾外包平台,現在已經開放台灣了,你也可以發任務或成為Turker賺外快!

ESP Game:用遊戲化方法讓大家在玩遊戲的時候產生你需要的資料

reCAPTCHA:你也可以悄悄地收集資料,像是我們每天在驗證用戶(是不是人)的同時,也收集了有價值的資料 (數位化文章、辨識圖片中的物品)

Duolingo 利用學習的動機,讓學生學習語言同時也把許多網頁翻成多國語言

總結來說,群眾外包是一個讓我們可以集結眾人力量產生資料的方法,他的好處包括集合大量的人力比專家還便宜的價格多樣性的想法跨時區的服務,但即使有這麼多好處,成功的群眾外包案例需要非常多細膩的設計,避免有蓄意破壞者(真的有很多人士來搞破壞的)或是達到1+1>2的合作,只有好的設計才能讓一群烏合之眾發揮最大的效能。

這篇文章最後對於這些困難點給出一些關鍵字,我們在之後的文章會再詳談這些難點的解法。

群眾外包的困難點

  • 微任務設計(Micro-task design):做什麼?用什麼工具?
  • 工作流程設計(Workflow design):同步還是非同步(Synchronous vs. Asynchronous)?平行工作還是接續工作(Parallel vs. Sequential)
  • 資料的整合方法(Aggregation Method):如何統整相近的資料?如何去除不要的雜訊?
  • 確保資料的品質(Quality Control):如何定義資料的品質?怎麼透過微任務設計、工作流程設計、資料整合方法來確保品質?
  • 群眾的意願(Motivation):如何吸引群眾來完成一個工作?除了金錢獎勵還能帶給他們什麼?

如果到目前為止還算喜歡,請按住左方 👏 按鈕給編輯團隊一些掌聲,或者填寫回饋問卷,鼓勵「人機互動你我它」繼續致力於科普文章的撰寫!

Reference:

  1. Alexander J. Quinn and Benjamin B. Bederson. 2011. Human computation: a survey and taxonomy of a growing field. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ‘11).
  2. Luis von Ahn and Laura Dabbish. 2004. Labeling images with a computer game. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI ‘04).
  3. Geovanny Abaunza and M. José Rodríguez-Conde. 2016. Bibliographic review on web applications used to learn a foreign language. In Proceedings of the Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM ‘16)
  4. Anbang Xu, Shih-Wen Huang, and Brian Bailey. 2014. Voyant: generating structured feedback on visual designs using a crowd of non-experts. In Proceedings of the 17th ACM conference on Computer supported cooperative work & social computing (CSCW ‘14).

作者:劉淨

感謝蘇晴、施秉寬提供修改意見

--

--