優拓 Paper Note ep.15: Few-Shot Learning (Part I)

註：以下的圖皆截自這篇論文 《Make SVM Great Again with Siamese Kernel》

早在 2000 年初，史丹佛教授李飛飛以及 Hinton 等人即提出 Few-Shot Learning 這類問題，但沒受到較大關注。由於優拓的 NLU 自動訓練系統，經常需要面對這樣情況，因此我們特別關注相關領域發展。

Few Shot Learning?

在不少應用情境中，有標記的資料相當稀有，甚至只有一筆，比如說字跡辨識、聲紋辨識，或是一些標記資料難以取得的分類問題（e.g. 生醫相關的應用）。

在缺乏大量標記資料的情況下，一般模型較不適用，比如說很容易受到 Curse of Dimensionality 的影響，或是不易進行 Optimization。

直覺上，Few-Shot Learning 可以有三種解法：

• 使用複雜度較低的模型，例如線性模型，SVM 等等，但就失去了原先期望的 Predictive Power。
• 使用 Transfer Learning，利用有大量標記資料的 Source Domain 所訓練出來的模型，應用到 Few-Shot Target Task 上。 這在 Deep Learning 上尤其常見，比如說影像辨識裡，很常拿 VGG19 訓練在 ImageNet 的模型來抽取特徵，然後用其他較簡單的模型來做分類器。
• 使用 Non Parametric Models，比如說 Kernel SVM, KNN 等方法。這些方法比較不受模型的參數假設所限，很容易利用一些標記資料就形成模型本身。

Few-Shot Learning 還有許多套路，而受益於深度學習模型強大的預測能力以及彈性，Transfer Learning + Non-Parametric Method 成為一種熱門的 Few-Shot Learning 作法。

Make SVM Great Again with Siamese Kernel

這篇 ICLR 2018 尚在 Review 中的論文，講的是先用 Deep Learning 模型抽取資料特徵，然後再使用 SVM 進行 Siamese Learning：也就是，拿任兩個 Sample，判斷兩者是否相同的 Binary Classification Task。

這是個概念簡單且有效，但可惜論文缺乏夠多的實驗，但他所引用的和比較的兩篇論文：《Optimization as a Model for Few Shot Learning》和 《Matching Network for One Shot Learning》相當有趣，我們將在之後的 paper note 分享。

優拓資訊 (Yoctol Info Inc.)

At YOCTOL, We AI Your Business by Bot.

優拓為新銳 AI 團隊，利用自行研發的機器人框架、自然語意理解、網路爬蟲、推薦引擎，為企業提供全方位的商務機器人解決方案，不僅可以即時回應顧客的客服需求，也能主動推播個人化商品推薦，提昇企業經營效能。

若您有相關業務需求或是任何建議、疑問，都歡迎寄信至 service@yoctol.com，我們將盡速與您聯繫，期待您的來信！