Principal Component Analysis

งาน Machine learning เป็น Quant Analysis ขั้น advance ที่เน้นไปที่ตัวข้อมูล โดยเฉพาะข้อมูลจำนวนมาก และข้อมูลที่มีความซับซ้อน

Principal Component Analysis (PCA) คือ เทคนิคเชิงเลขอันหนึ่งที่เรานิยมนำมาใช้ในการทำ decomposition ข้อมูล ในกระบวนการเตรียมและคลีนข้อมูล เพื่อลด features redundancy และช่วยบีบอัด feature space ให้เล็กลง ตัดตัวแปรที่มีความสำคัญน้อยออกไป โดยไม่ทำให้สูญเสีย information หรือข้อมูลสำคัญไป

หลักการเบื้องต้นของ PCA เริ่มจากการทำ Normalize ข้อมูล ด้วย Standard deviation ได้ จากนั้นนำค่าที่ได้มาคำนวณหา Covariance Matrix จากนั้นนำไปคำนวณ Eigen vector และ Eigen value เพื่อใช้เป็นค่าในสกัดคุณสมบัติเด่นออกมา

แล้วทำการจัดเรียงลำดับค่าตาม Eigen vector เราก็จะได้ Feature ที่สำคัญตัว Top 3 หรือ Top 5 เพื่อนำมาใช้ในการกำหนดเป็น Feature หลัก หรือเป็นตัวแปรสำคัญในการวิเคราะห์ต่อไป โดย PCA จะให้ความสำคัญกับ Correlation ซึ่งเป็นอีกกระบวนการที่ช่วยเราในงาน Feature Selection และ Feature extraction ในการทำ Machine Learning ต่อไป

ตัวอย่างกระบวนการทำ PCA ในข้อมูลจริงบ้าง โดยทดลองกับข้อมูล ขนาดไม่มากเพื่อลดเวลาการสาธิตโดย ย่อยข้อมูล 4500 บรรทัดจาก จาก 7 Feature ให้เหลือ 2 Feature

ลองนำข้อมูลที่ผ่านการทำ PCA ไปรัน SVM แบบคราวๆ ไม่ optimize เพื่อลองดูผล สิ่งที่พบก็น่าสนใจ ดี

อ้างอิง

http://www.cs.otago.ac.nz/cosc453/student_tutorials/principal_components.pdf

http://setosa.io/ev/principal-component-analysis/

http://webspace.ship.edu/pgmarr/Geo441/Lectures/Lec%2017%20-%20Principal%20Component%20Analysis.pdf