如何預測資料：分類模型的評估
以準確率作為評估依據
A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E.
Tom Mitchel
在如何預測資料：尋找羅吉斯迴歸的係數一文中我們暸解如何使用在 Python 與 R 語言的環境中尋找羅吉斯迴歸模型的係數，並且運用散佈圖（Scatter Plot）與等高線圖（Contour Plot）完成決策邊界圖（Decision Boundary Plot）繪製，藉此以視覺化方式觀察資料點的正確分類與錯誤分類，對分類模型有更多的暸解。接著我們會應用準確率（Accuracy）來評估分類模型在驗證資料集上的表現，準確率愈高代表決策邊界愈能有效地區隔資料；藉由比較不同模型的準確率，資料科學家團隊可以挑選出適合部署至正式環境的分類模型，精進評估的方式除了在訓練資料中納入新變數以及增加變數的次方項以外，還包含像是應用不同的成本函數（變更分類演算法）和集成學習（納入多個分類演算法）等進階方法。
在試圖提高準確率的過程中也會發現羅吉斯迴歸模型面臨新的挑戰，像是建立非線性決策邊界、伴隨非線性決策邊界帶來的過度配適以及多元分類模型，這時資料科學團隊會引進高次項係數、正規化與 One-vs.-all 等技巧來因應。
摘要
本文使用部分鐵達尼號資料與手寫數字資料簡介學習資料集、如何在 Python 與 R 語言的環境中自行計算或用內建函數取得分類模型的混淆矩陣、納入高次項係數來建立非線性的決策邊界、在成本函數增加懲罰項以避免分類模型過度配適、還有 One-vs.-all 將二元分類模型延展至多元分類應用。
學習資料集
機器學習是透過輸入資料將預測或挖掘特徵能力內化於電腦程式之中的方法，模型涵蓋三個元素：資料（Experience）、任務（Task）與評估（Performance）以及一個但書。
以一個船難乘客生存預測模型為例，它的三要素是：
- 資料（Experience）：一定數量具備年齡、性別、社經地位和生存與否等變數的乘客資訊
- 任務（Task）：利用模型辨識測試資料中沒有生存與否標籤的觀測值
- 評估（Performance）：模型預測的分類正確率
