Exhaustive Grid Search for Gaussian Kernel
บทความนี้บันทึกการทดลองทำ Hyper-parameters optimization โดยเลือกใช้ Exhaustive Grid Search เพื่อทำการสุ่มประเมินค่า ในการปรับแต่งโมเดล ให้สอดคล้องกับพฤติกรรมข้อมูลกลุ่มทดสอบ(Testing Sample) ก่อนทำการประเมินค่า ให้ได้ตามเกณฑ์อีกรอบหนึ่ง
เป้าหมายเน้นการทำให้ Training Model ไม่ Over fit เกินไป และ optimize ให้ได้ค่าเหมาะกับ Gaussian Kernel ที่นำมาใช้กับ Data ทดสอบ โดยเริ่มจากค่า C ใช้การกำหนดกรอบจากผลการทดสอบ CV ก่อนหน้า เป้าต้องระวังไม่ให้ค่า C ต่ำเกินไปเพราะอาจจะทำให้ Bias สูง เมื่อนำไป testing ผลอาจจะออกมาไม่ดี
ขั้นตอนการพัฒนาระบบ
จากนั้นทำการ optimize ค่าของ gamma สำหรับ RBF Function โดยใช้ค่าการสุ่มโดยกำหนดกรอบเพื่อให้ ได้ค่า cut off สำหรับ hyper plane ที่เหมาะสม
จำกัดจำนวนรอบการทำงานด้วยตัวแปร params ที่ไม่มากจนเกินไป ทดสอบรันบนเครื่อง workstation ผลการทดสอบ ใช้เวลาประมาณ 5 นาที
ทดลองรันค่าไป จำนวนหนึ่ง ได้ Best Param ออกมา เลือกค่าที่ accuracy เหมาะสมกับ RBF
รัน Confusion Matrix เพื่อทดสอบค่าที่ได้จาก Grid Search
ผลการ Classification ล่าสุดที่มีการ Optimization ค่า
อ้างอิง
