資料前處理-特徵工程
目錄
◈ 前言
◈ 為什麼要找出特徵
◈ 特徵建構
◈ 特徵轉換
◈ 特徵提取
◈ 特徵選取
◈ 總結
◈ 參考資料
前言
~~~本篇著重於特徵工程概念上的理解,欲了解詳細個別技術的讀者可以自行深入探索,在此不會過多著墨技術細節~~~
機器學習建模的流程大致再幫讀者複習一下,如下圖所示。
而本篇文章主要是鎖定在資料前處理中的特徵工程階段。特徵工程階段若再細分的話,可以分成
- 特徵構建(Feature Creation)
- 特徵轉換(Transformations)
- 特徵提取(Feature Extraction)
- 特徵選擇(Feature Selection)
為什麼要找出特徵?
特徵為什麼如此重要呢?還特別需要有個步驟將它萃取出來?
首先,若在進行建模時,input的資料量大小是會影響到運算效能及時間的,雖說資料量越多,建出的模型及預測效果也會大大提升,但是資料的筆數及向量是兩碼子事,因此可以縮減的話,是不會影響到預測效果又可以縮短時間的。同時也可解決 underfitting 的問題。
二來,若將冗贅的特徵刪除,在後續解釋性上也可幫助研究人員理解,避免為不重要的特徵想出合理性。
☞underfitting(欠擬和):缺少學習訓練資料,模型沒辦法很準確地解釋資料之間的關係,有可能是選擇的特徵過少,也可能是迭代的次數不夠。如果比喻成唸書的狀況,可以說是考生在應付平時的小考時,就已經準備不足了,所以就不要說是對付期中期末考,或是更大的升學考試。
特徵建構(Feature Creation)
特徵建構的處理是主觀的,利用對模型的理解與 Domain Knowledge (領域知識),將特徵之間做「加、減、乘、除」等等的操作,去建構適合模型的特徵。
範例:
我們以 covid-19 全球疫情地圖 的資料為例,在各縣市每日新增確診人數圖表中,我們可以發現,由於每個縣市的人口總數都不相同,導致有些人口數小的縣市會被擠在下方,不易觀察。
因此我們將資料下載後,依兩條件篩選
- 個案公佈日: 2022–05 月資料
- 區域:全區(各縣市全區)
再搭配內政部的縣市人口數資料,合併「區域人口數」欄位,將資料整理成以下格式。
為了查看「各縣市確診累計比例」,將「累計確診人數欄位」除以「區域人口數」,建構新的欄位「covid_ratio」。
透過視覺化可以更清楚看出「新北市與基隆市的確診比例是最高的兩縣市」
完整程式碼:
特徵轉換(Transformations)
特徵轉換是將特徵範圍、特徵分佈進行轉變,以符合易於模型理解的樣貌。最常見的是將特徵欄位進行標準化或正規化,讓數值型特徵縮放到同樣的範圍;而有些統計或機器學習會要求目標欄位需符合常態分佈,那就需要對資料偏態進行矯正。詳細的內容會在後續的文章中提到。
對於類別型欄位,則很常會用到 one-hot encoding 的特徵轉換,讓特徵能夠以數值形式傳入模型。
特徵提取(Feature Extraction)
特徵提取會從原始欄位提取出新的特徵,與特徵建構不同的地方是,特徵提取主要是「降低」資料的欄位數,將最符合最代表資料的內涵萃取出來,比如說透過分群的手法減少特徵,或著是很常使用到的非監督式降維 PCA 、監督式 LDA 降維,前者會找到最大變異量的特徵空間;而後者則是最大化目標欄位與資料點的區分。後續一樣會有文章專門介紹。
特徵選取(Feature Selection)
接著,為大家介紹特徵選取的方式~
特徵選取的方式共分為三種,分別為過濾法(filter)、嵌入法(embedded)和包裝法(wrapper),會依照特徵是否有發散、特徵和目標結果是否有相關性來決定保留與否。
☞特徵發散:若某特徵並無發散,則表示變異程度為零,因此有無此特徵都不會有影響,則可踢除掉。
☞特徵和目標有相關性:若欲分析的目標和其中的屬性有相當大的關聯,則該特徵就更應該保留下來,代表可能有很強烈直接或間接的影響關係。
- 過濾法(filter)
依發散性或相關性來對特徵進行評分,並設定閾值(threshold)或者待選擇閾值的個數來選擇特徵。會需要使用到許多的統計指標進行評分,例如:方差選擇法(Variance Threshold)會選擇方差低的特徵進行刪除(如果幾乎全部的資料都具有某個特徵或是某個特徵都是相同的值,則有與沒有並無差別)、相關性過濾法中的皮爾森相關係數(Pearson correlation coefficient)可檢驗出兩特徵是否存在相當高的關聯性,計算的值會介於-1~1之間,1表正相關、0表兩者獨立、-1表負相關。若存在高度相關,則可不需保留許多相似的特徵。
☞方差選擇法(Variance Threshold)
特別注意在使用此方法前,需要先進行 transformation 底下的標準化動作,因需先將數值調整到相同的值範圍內,否則,方差估計可能會在數值較大的特徵和較小的特徵之間產生誤差。可使用 scikit-learn 中的 MinMaxScaler、RobustScaler或 StandardScaler等來完成。
☞相關性過濾法
可用來探討兩特徵之間的相關程度,兩特徵越相關則越偏向1,越不相關則越偏向-1,而除了上述舉例的皮爾森相關係數,還有F-Score等其他數學運算指標可作使用。若想觀察整份資料集中所有特徵之間的相關程度,通常會使用相關矩陣(Correlation Matrix)表示,亦或是以heatmap圖表的形式表達。
- 嵌入法(embedded)
會同時進行模型訓練和特徵選擇,在訓練模型時得到各個特徵的權值係數,根據權值係數從大到小排序選擇特徵。而權值係數就表示每個特徵對於模型的重要性。和過濾法其實很像,只不過是換成以訓練模型的方式來進行選擇。 - 包裝法(wrapper)
用各種特徵的組合來進行模型學習並進行特徵的選擇。會先將資料集拆分成很多種特徵的組合(又稱子集合),在使用驗證資料集為每一種拆分都給出評分。不同於過濾法的是閥值並非人工設定出來的,是仰賴模型、目標函示自己訓練出來的,有點像是嵌入法的進化。不僅挑選出哪個特徵重要,也可得知以多少個特徵表示是效果最好的。不過這樣的方法也會花上相對較大的效能。(畢竟要跑出很多種的組合^^)
☞遞迴特徵消除 (Recursive Feature Elimination)
為包裝法的其中一種,是使用一個基本的模型架構來進行多輪訓練(迭代的概念),每輪訓練後會移除若干權值係數的特徵,再基於新的特徵集進行下一輪的訓練,直到達到了指定的特徵數量(並非人工設定出的),而排序的基準為模型的coef_
或feature_importances_
屬性。
☞閾值(threshold):類似限制數量的意思,假設閾值設定為5,則最多只選五個特徵~
總結
以上就是特徵選擇的介紹拉~介紹到了為什麼要做這個步驟以及可以怎麼做,大家又完成了一個建模的流程了,下個主題會為大家帶來的是資料前處理中標準化等的介紹,也是第二大段中提到的underfitting和overfitting相關內容,大家可以期待一下^^
參考資料
教育部補助大專院校STEM領域及女性研發人才培育計畫目標為建構一個「以智慧物聯技術與實務應用為基礎的教育環境和實作場域」,並規劃出符合此STEM教育領域的創新特色課程,以畢業前進入企業實習的方式,讓學生了解相關產業界所面對的問題,再輔以業界實作場域的教育訓練活動,共同帶領學生發展出動手做、判斷與解決問題的相關技能;本計畫也規劃讓學生以專題實作的組隊方式,跟業界協力領導學生對外參與智慧物聯技術的應用競賽,不僅可以累積學生實務開發的能力,更能激發其潛能來幫助企業解決所面臨的難題。
Data Science Meetup 台灣資料科學社群的使命是「為資料科學人士與企業創建經濟機會」。我們相信大數據蘊藏著巨量的信息和價值,如何處理好大數據並發掘其潛藏的商業價值,就要靠資料科學有效的應用。21世紀是資料科學決勝時代,我們社群將為大家提供與資料科學相關的最新技術和資訊實戰攻略,並透過全球業界人士和學者幫助相關職業規劃與挑戰,社群活動包含
- 台北實體版聚
- 線上版聚
- Mentorship Program
歡迎加入我們社團瞭解更多資訊: https://www.facebook.com/groups/datasciencemeetup/